Derfor gik 3’s netværk helt i sort
Cirka kl. 13:30 tirsdag (27. september 2011) blev 3s netværk ramt af en fatal strømafbrydelse, som skabte ravage i netværket.
Først natten til onsdag blev de sidste dele af netværket genetableret.
Omkring 300.000 kunder på Sjælland, samt et større antal kunder i resten af landet, mistede helt forbindelsen til 3s netværk efter en fatal strømafbrydelse ramte selskabets svenske datacenter, hvor både 3 Danmark og 3 Sverige har hver deres Mobile Switching Center (MSC) stående.
MSC – en moderne telefoncentral
En MSC er en slags telefoncentral, der styrer alt mobiltrafik i hele 3s netværk – det er altså selve “hjertet”.
MSC’en i Sverige tager sig af Østdanmark. 3 også har en anden MSC, der tager sig af Vestdanmark – den MSC er dog ikke beliggede i Sverige, og den blev derfor heller ikke direkte påvirket af strømproblemerne.
Strømfejlen betød, at hele 3s netværk i Sverige blev afbrudt, mens 3s netværk på Sjælland, og i store dele af resten af landet, også blev kraftigt påvirket.
Kunderne på Sjælland var helt afskåret fra at bruge deres telefon, mens kunderne i resten af landet, oplevede et meget overbelastet netværk.
Svenskernes skyld?
I første omgang var 3s presseansvarlige hurtig til at give “Svensken” skylden for strømudfaldet – eller rettere sagt, så fik et svensk kraftværk i nærheden 3s MSC hele skylden, da dette værk havde et udfald, hvilket betød at strømmen til MSC’en blev afbrudt.
Senere kommer det så frem, at det var problemer med en 48 volt strømforsyning, som er blevet beskadiget ved overgangen af nødstrøm til bystrøm.
Fejlen opstod nemlig samtidig med at kraftværket i Sverige igen begyndte at producere strøm.
To dieselgeneratorer klar til at tage over
Men denne forklaring giver dog ikke hele billedet.
Alle vigtige dele af et mobilnetværk er normalt beskyttet af både backup-batterier (UPS) samt dieselgenerator (DRUPS), hvis den normale el-forsyning (bystrøm) forsvinder eller bliver ustabil.
Med andre ord så burde et lokalt strømudfald på et kraftværk ikke være nok til at give nævneværdige problemer for mobilnetværket.
I tilfælde af strømafbrydelser har 3s MSC to diesel-nødstrømsgeneratorer samt backup-batterier, som skal tage over og levere strøm til hele anlægget, så driften kan forsætte upåvirket.
Men i dette tilfælde virkede overgangen mellem bystrøm og nødstrøm ikke som forventet, og hele MSC’en blev afbrudt med katastrofale følger for hele selskabets netværk.
Derfor røg strømmen til netværket
Det er meget kritisk, når et mobilnetværk på den måde lukker helt ned, så vi har spurgt netværksansvarlig hos 3, Kim Christensen, om hvordan en sådan fejl alligevel kunne ske.
Han forklarer, at der er meget unormalt, at en 48 volt strømforsyning sætter ud, da de er meget robuste.
Endvidere så er 3s netværk opbygget redudant. Det vil sige, at alle kritiske funktioner findes i to eksemplarer, så hvis den ene del sætter ud, så har man normalt altid en anden del at skifte over på.
Et mobilnetværk bruger ikke 220 volt, som normale apparater kører på, men benytter derimod 48 volt.
Det betyder, at man kan køre hele netværket udelukkende på 48 Volt backupbatteri eller strøm fra nødgeneratorer.
For at sikre en jævn strømforsyning, så bliver den indgående strøm, uanset om det er bystrøm eller strøm fra nødgeneratorer, lavet om til 48 volt i en speciel redudant strømforsyning. Det var altså denne specielle strømforsyning, som gav problemer tirsdag eftermiddag.
48 volt strømforsyningen er tilsluttet både bystrøm, batteribackup og diesel nødstrømsgeneratorene, og den sørger selv automatisk for at skifte mellem disse strømkilder, når det er nødvendig – og det blev altså nødvendigt omkring klokken 13:30 tirsdag eftermiddag.
Strømforsyningen skiftede fint til nødstrøm, men det gik grueligt galt, da bystrømmen kom tilbage igen omkring klokken 14.
Da bystrømmen kommer tilbage, så opstår der nogle enorme spikes (ujævnheder i strømmen), hvilket muligvis beskadiger ikke bare hovedstrømforsyningen men også backup-strømforsyningen. Derved blev begge 48 volt strømforsyninger sat ud af spillet og alt strøm til MSC’en forsvandt.
Om det var disse spikes i strømmen, som er skyld i nedbruddet er endnu ikke helt klarlagt, men det er den tese som 3 arbejder ud fra.
Strømforsyningerne gik simpelthen i stykker, og teknikerne stod uden kritiske reservedele til strømforyningerne.
Teknikerne arbejdede på livet løs
Da først teknikerne konstaterer at det er strømforsyningen, den er galt med, så begynder de at straks at reparere.
Men under reparationen står de og mangler nogle kritiske dele, som skal hentes i Stockholm, der ligger små 20 km væk. Midt i myldretiden bliver delene hentet, og først omkring kl. 18:30 får teknikerne strømforsyningen repareret.
Derefter begynder teknikerne den langsommelige proces med at genstarte MSC’en og fejlsøge. Fejlsøgningen er et nødvendigt skridt på vejen tilbage til fuld drift, da systemerne ikke er blevet lukket korrekt ned, og derfor kan have taget skade.
Overbelaster resten af netværket
Det var dog ikke kun 3s kunder på Sjælland som oplevede nedbruddet.
Kunder på Fyn og i Jylland oplevede også problemer med telefonen.
Normalt kan disse kunder dog roame over på TDCs netværk. Denne form for “roaming” kaldes også interconnections, da det foregår i ens hjemland, mens “roaming” normalt er noget, der foregår i udlandet.
Interconnections håndteres af en server, som sørger for at kunderne kan skifte fra 3s til TDCs netværk, hvis kunderne ikke har 3 dækning. Desværre blev serveren overbelastet pga. af de mange kunder, der alle skiftede til TDCs netværk på en gang, hvilket igen betød at mange kunder stod med en ubrugelig telefon.
Problemerne blev endnu større, da en del af 3s backbone IP netværk også bliver styret fra den fejlramte central fra Sverige, hvilket betød sporadiske problemer for nogle kunder i Jylland og på Fyn.
3 undersøger forsat, hvordan et rutineskift mellem nødstrøm og bystrøm kunne ende så katastrofalt, og den endelige årsag foreligger endnu ikke.
Oppe igen om natten
Omkring kl. 19:30 blev fejlsøgningen afsluttet, og MSC’en kunne igen begynde at koble mobiltelefoner på netværket.
Men man kan ikke bare starte hele netværket op på en gang, for så opstår der overbelastning. Teknikerne blev derfor nødt til at starte netværket op i etapper, og de første kunder blev koblet på omkring kl. 19:30.
Klokken 23:00 var hele København igen på netværket, og derefter blev resten af Sjælland gradvist koblet på. De sidste dele af Sjælland blev koblet på kl. 01.40.
Klokken 02.15 meddelte 3, at alle problemerne var løst.
Læs også:
– Flere baggrunds-artikler
