ASR5x00: Achtergedateerde CDR’s die naar CGF worden verzonden vanwege verkeerde configuratie in APN’s

Inleiding

Dit document beschrijft een specifiek scenario waarin GGN-Call Data Records (G-CDR’s) worden vastgehouden als gevolg van een foutieve configuratie in Access Point Name(APN), hetgeen resulteert in foutieve facturering voor abonnees en een Charging Gateway Functie (CGF) ontvangt gedateerde CDR’s die vastzitten in GSN. Dit probleem wordt gemeld in Cisco Aggregated Service routers (ASR) 5x00 Series.

Probleem

Vanwege verschillende redenen (zeer waarschijnlijk foutieve opstellingen) voor sommige APN's gaan CDR's naar de standaardgroep. In de standaard groep hebben we CGF-servers niet ingesteld en dus worden de verzoeken vastgehouden.

 bijvoorbeeld :

apn blackberry.net.40413pre

     selection-mode subscribed sent-by-ms chosen-by-sgsn

     accounting-mode none

     timeout idle 10800

     ip access-group ECS in

     ip access-group ECS out

     ip address pool name blackberry

     credit-control-group GY_LIVE_PRE

     active-charging rulebase test_prepaid

   exit

   apn blackberry.net.40443pre

     selection-mode subscribed sent-by-ms chosen-by-sgsn

     accounting-mode none

     timeout idle 10800

     ip access-group ECS in

     ip access-group ECS out

     ip address pool name blackberry

     credit-control-group GY_LIVE_PRE

     active-charging rulebase test_prepaid

   exit

   apn blackberry.net.40446pre

     selection-mode subscribed sent-by-ms chosen-by-sgsn

     accounting-mode none

     timeout idle 10800

     ip access-group ECS in

     ip access-group ECS out

     ip address pool name blackberry

     credit-control-group GY_LIVE_PRE

     active-charging rulebase test_prepaid

   exit

   apn blackberry.net.40484pre

     selection-mode subscribed sent-by-ms chosen-by-sgsn

     accounting-mode none

     timeout idle 10800

     ip access-group ECS in

     ip access-group ECS out

     ip address pool name blackberry

     credit-control-group GY_LIVE_PRE

     active-charging rulebase test_prepaid

   exit

   apn blackberry.net.40486pre

     selection-mode subscribed sent-by-ms chosen-by-sgsn

     accounting-mode none

     timeout idle 10800

     ip access-group ECS in

     ip access-group ECS out

     ip address pool name blackberry

     credit-control-group GY_LIVE_PRE

     active-charging rulebase test_prepaid

   exit

   aaa group default

   #exit

   gtpp group default

Problemen oplossen

Controleer de opdrachtoutput van de ondersteuningsdetails

******** show session subsystem data-info verbose *******

647274 Total gtpp acct requests           1 Current gtpp acct requests

       0 Total gtpp acct cancelled          0 Total gtpp acct purged

       0 Total gtpp sec acct requests       0 Total gtpp sec acct purged

     248 Total null acct requests           0 Current null acct requests

2482018515 Total aaa acct sessions       265064 Current aaa acct sessions

14529031 Total aaa acct archived       6518761 Current aaa acct archived

265064 Current recovery archives     259073 Current valid recovery records

   1108 Total aaa sockets opened         932 Current aaa sockets opened

Uit de huidige gegevensbank blijkt dat 6 miljoen CDR's vastzitten in alle programma's en dat er geen nieuwe CDR's worden verwerkt en overgedragen aan CGF in streaming mode.

Zodra de limiet per jaar is bereikt, worden CDR's gezuiverd en resulteren zij in verlies van CDR's en inkomstenderving voor de klant.

van de 6 miljoen gearchiveerde CDR's worden er enkele ontworpen

******** show session subsystem data-info verbose *******

1228764750 Total gtpp charg              6534523 Current gtpp charg
1221919009 Total gtpp charg success       311218 Total gtpp charg failure
       0 Total gtpp charg cancelled     311218 Total gtpp charg purged
       0 Total gtpp sec charg                0 Total gtpp sec charg purged
       0 Total prepaid online requests       0 Current prepaid online requests
       0 Total prepaid online success        0 Current prepaid online failure
       0 Total prepaid online retried        0 Total prepaid online cancelled
       0 Current prepaid online purged

Hier zijn de controlelijsten van CLI opdrachten die veel worden gebruikt om CDR-gerelateerde problemen te debug.

- show gtpp accounting servers
- show gtpp accounting servers group name <CGF>
- show gtpp counters all
- show gtpp counters cgf-address 172.16.10.11
- show gtpp counters cgf-address 172.16.10.11 gcdrs
- show gtpp counters group name CGF
- show gtpp counters group name CGF gcdrs
 
- show gtpp group all
- show gtpp group name CGF
 
- show gtpp statistics
- show gtpp statistics cgf-address 172.16.10.11
- show gtpp statistics group name CGF
 
- show gtpp storage-server streaming file counters all
- show gtpp storage-server streaming file counters group name CGF
 
- show gtpp storage-server streaming file statistics
- show gtpp storage-server streaming file statistics group name CGF

Oplossing

Methode van Procedure (MOP) om de CDR's op te ruimen die tot de standaardgroep behoren in een proxy-proces.

Stap 1. Noteer de gearchiveerde CDR’s. GTP-tellers allen tonen

Stap 2. Configureer de modus om lokaal te zijn in gagglux-configuratie van de context gaggsnctx gTP-groep standaard gtpp opslag-server-mode lokaal

Stap 3. Vermoord een proxy met deze opdracht in verborgen modus. task kill-faciliteit aproxy. (Task kill maakt de lokale modus zodat deze op de standaardgroep wordt toegepast.)

Stap 4. Ga weg uit de verborgen modus

Stap 5. Controleer de lokale bestandsstatistieken van de gTP-opslagserver aan.

Stap 6. Laat elke 30 seconden een gtpp-teller zien. Dit zou binnen een tijdspanne van 5 minuten naar nul moeten dalen.

Stap 7. Keer de modus terug naar ver. configuratie van context gagntx gtpp groep standaard gtpp opslagservermodus op afstand

Stap 8. Controleer de gearchiveerde teller (toon gtpp tellers allemaal) niet groter en toon de lokale bestandsstatistieken van gtpp-opslagserver niet groter.

Stap 9. Neem de SSD en stuur ons terug ter verificatie om er zeker van te zijn dat de configuratie intact is en alle stappen worden gevolgd.

Opmerking: Na voltooiing van de activiteit, als u de procedure kent om CDR-bestanden van HDD te verwijderen. Ga je gang. (Als dit niet het geval is, neem dan de TAC-ingenieur voor deze activiteit ergens op de dag in)

Als aaaproxy na 1 minuut niet terugkrijgt, raadpleeg dan de herstelprocedure.

Procedure voor terugvordering van een volmacht

a. Issue the command to check which controller takes care of aaaproxy task
show task table | grep aaaproxy


       task                           Parent
cpu facility   inst   pid pri   facility      inst pid
---- --------------- --------      -------       ---- ---
4/0 aaaproxy  1 6721  0  sessctrl      0 10565



b. Please execute the below commands and look out for instance of sessctrl on Active SMC

#Show task table | grep sessctrl

     Task                     parent
cpu facility inst pid pri facility inst pid
---- ------------------------------- --- ----------------------------
8/0 sessctrl 0 10565 -4 sitparent 80 2812

c. Issue the sessctrl instance kill command
Task kill facility sessctrl instance <>.

d. After the execution of command, wait for 30 secs and issue the commands to check state of sessctrl and aaaproxy

1. Show task table | grep "8/0 sessctrl"
2. Show task resources | grep aaaproxy

Technische toelichting

Vanwege verschillende redenen (waarschijnlijk misconfiguraties) voor sommige APN's gaan CDR's naar standaard groep. In standaard groep hebt u geen CGF servers ingesteld en dus worden de verzoeken vastgehouden. Voor APN’s waarvoor een geldige gtpp-groep is ingesteld, moeten CDR’s niet worden gearchiveerd, maar kunnen zij naar de archiefwachtrij gaan.

Vanuit archiefwachtrij kunt u slechts vijf verzoeken tegelijk verwerken. In het geval dat alle vijf verzoeken toebehoren aan de APN's die zich niet in de juiste vorm bevinden, worden de top vijf verzoeken nooit vrijgelaten waardoor alle CDR's achter de wachtrij worden geblokkeerd. Dit betekent dat de op een bepaalde maand gegenereerde CDR's daar vastzitten en ten onrechte worden verwerkt.

ASR5x00 heeft een bovengrens hoeveel CDR's kunnen worden gearchiveerd. Zodra de limiet is overschreden worden de gearchiveerde CDR's gewist. Dit maakt plaats voor de geldige CDR's die op een bepaalde maand worden gegenereerd en zij worden vrijgegeven. 

Bijvoorbeeld:

Als de rij vijf verzoeken heeft en de rest van de verzoeken behoort tot geldig APN met de juiste configuratie en wanneer u verwerkt, elke keer dat de vijf verzoeken nooit worden vrijgelaten omdat er geen server is gevormd en u blijft eeuwig vast zoals u slechts vijf CDR's per keer verwerkt. Als één van de verzoeken wordt gewist, betekent dit dat u 4 verzoeken hebt die tot de ongeldige configuratie APN behoren en volgende is geldig APN. Wanneer je vijf aanvragen verwerkt, zitten de vier aanvragen vast, maar de vijfde wordt nu verwerkt. Op deze manier zie je oude CDR's naar CGF gestuurd zoals CGF in januari CDR's van december zou verwerken omdat ze te laat worden vrijgegeven door GGSN.

Waarom de CDR's voor de juiste groep naar de archiefwachtrij worden gestuurd:  Het maximum pakket dat in User Datagram Protocol (UDP) kan worden verzonden, is 64K met inbegrip van de header. Nu we max-cdrs 255 wachttijd-tijd 60 hebben ingesteld, is er een kans dat 64 K buffer vol is voordat max 255 CDR's zijn bereikt. Het systeem zal controleren of nieuwe CDR kan passen in de 64K Buffer of niet. Als het systeem ze niet terugbrengt in de archiefwachtrij. Deze CDR. zette een maand lang terug in de archiefwachtrij, totdat de CDR's voor ongeldige groep zijn gezuiverd. Als er een correcte configuratie zou zijn geweest, dan had de archiefwachtrij nooit de CDR's voor APN's gehad die geen servers hebben en dit probleem zou nooit gezien hebben, omdat zelfs als CDR in de archiefwachtrij zou worden geplaatst, het zou zijn verwerkt.

Logic

U doodt proxy en verandert de gtpp opslagservermodus lokaal, dus worden de CDR's vastgezet naar Local harddisk en worden vermeden de CDR's te verwijderen zodra de limieten per camera zijn bereikt. Zodra alle CDR's op de lokale vaste schijf zijn geschreven, kunt u terugkeren naar de externe modus, wat standaard één is.