Stefan Kärvlings blogg

Strax före jul, den 20 december 2016, kraschade IT-systemet i Vänersborgs kommun. Det skrev jag om i en blogg tidigare i år. (Se ”IT-kraschen”.)

Haveriet fick stora konsekvenser. Ingenting fungerade och personalen kunde inte utföra sitt jobb eftersom i stort sett allt arbete var, och är, beroende av datorer. Det gick inte att ringa eller skicka e-post till kommunen och verksamhetssystemen var nere. Och det finns ganska många olika system som används i verksamheten… Allvarligast var det på vård- och omsorgssidan där det fanns risk att ”tredje man” kunde ha drabbats på ett mycket olyckligt sätt.

IT-kraschen visade med all önskvärd tydlighet hur beroende kommunen är av IT och hur sårbart allting är om det inte fungerar. Kommunstyrelsens ordförande Marie Dahlin (S) gav ett uppdrag om att en oberoende granskning skulle göras av händelsen och hur kommunen kunde skydda sig mot liknande haverier i fortsättningen. Den totala kostnaden för uppdraget sattes till 390.000 kr och uppdraget gick till Ernst & Young.

Nu visade det sig att uppdraget blev dyrare, eftersom den avsatta tiden inte räckte till. Ernst & Young skriver:

”… det väsentliga överdraget av timmar som uppstått pga. den turbulens som varit i samband med faktagranskning och rapportering.”

Jag har ingen aning vad denna turbulens består i och det framgår inte heller av rapporten. Hur som helst bestrider kommunen de extra kostnaderna med motiveringen:

”Vi anser inte att det är vi som är orsak till den mertid som ni nedlagt i samband med slutrapportering.”

Det här beskedet lämnades av kommunen till  Ernst & Young, efter samtal med både Marie Dahlin och kommundirektör Ove Thörnkvist. Men visst undrar man vad orsaken var. Och varför tillfrågades inte IT-chefen? Ernst & Young meddelar att de inte delar uppfattningen, men de struntar i att debitera för mertiden.

Granskningsrapporten från Ernst & Young är nu alltså färdig. (TTELA skrev om rapporten i fredags, se ”IT-kraschen granskad”.)

Ernst & Young (EY), och IT-kontoret, hittar inga orsaker till haveriet och det är ju naturligtvis inte särskilt tillfredsställande.

Ur rapporten:

”Det identifierades att diskarna i SAN-miljön innehöll korrupt data varför verksamhetssystem på servrarna inte fungerade. Orsaken till att korrupt data har skrivits på diskarna är okänd.”

Haveriet var på morgonen och under dagen fick IT-kontoret igång det mesta. Troligen berodde haveriet på att en lastbalanserarnod (vad det nu är) hade satts i underhållsläge. Senare på kvällen inträffade dock nästa incident. IT-systemen havererade igen! Och denna gång har man ingen aning om varför:

”Den tekniska orsaken till varför den andra incidenten inträffade är dock fortfarande okänd.”

Det är dock troligtvis så att det andra haveriet skedde som följd av den första incidenten och det arbete som genomförts under dagen.

Granskningsrapporten från Ernst & Young tar framför allt upp för- och nackdelar med IT-systemen och handhavandet. EY hittar en rad brister och hela granskningsrapporten utmynnar i ett antal rekommendationer för att minska sårbarheten.

EY har iakttagit följande brister (jag har i stort citerat allt i nedanstående punkter, trots att jag inte har satt ut citationstecken):

• Kommunen har inte analyserat samtliga system och dess information och inte klassificerat dem utefter hur kritiska de är ur ett verksamhets- och säkerhetsperspektiv. Det kan få allvarliga konsekvenser vid incidenter liknande den som drabbade kommunen. Det kan nämligen innebära risk för felprioritering av resurser.
• Det finns inga avtalade nivåer som reglerar vilket stöd respektive förvaltning behöver från IT-kontoret, utan enbart outtalade förväntningar. Det riskerar att försvåra för IT-kontoret att stödja förvaltningarna på ett ändamålsenligt sätt och det försvårar när IT-kontoret ska prioritera sina resurser utifrån den budget som tilldelas dem. Det innebär även en risk för förvaltningarna att de bedriver sin verksamhet baserat på förväntningar som inte är möjliga för IT-kontoret att infria. EY har även noterat brister i samarbetet mellan verksamheterna och IT-kontoret.
• Det saknas en gemensam användarhanteringsprocess för kommunens informationssystem, som ställer krav på vilka nyckelkontroller som bör återfinnas inom behörighetsprocessen. En av riskerna med det är att processerna blir personberoende.
• Det finns en risk att olämplig personal eller konsulter har bredare behörigheter än vad deras befattning kräver.
• Ett stort antal personer är domänadministratörer på applikationsservrarna. Med denna åtkomst har användaren tillgång till samtliga applikationsservrar, vilket innebär en risk för medvetna eller omedvetna fel som kan påverka alla verksamhetssystem.
• Det finns en avsaknad av gemensam programförändringsprocess för kommunens system som ställer krav på vilka nyckelkontroller som bör återfinnas inom programförändringsprocessen. En risk är att processerna blir personberoende och att man får svårt att säkerställa en jämn nivå och ändamålsenlig kontrollnivå genom alla system.
• Beslut om tidpunkt för när uppdateringen skulle ske gjordes av IT-kontoret själva och det gjordes ingen dokumenterad riskanalys som tog i beaktning att uppdateringen rörde ett centralt system med påverkan på ett stort antal verksamhetskritiska funktioner och applikationer. Det skedde ingen kommunikation med verksamheten innan uppgraderingen. Det saknas dokumenterade riktlinjer för när och hur verksamheter ska kontaktas innan uppgraderingsarbete.
• Dokumenterade riktlinjer saknas kring när, hur och för vilka system testning ska genomföras i samband med programuppdatering. Vidare dokumenteras inte de tester som genomförs.
• Inför uppgraderingen upprättades det ingen återläsnings- eller återställningsplan för hur verksamheten skulle fortskrida vid en eventuell incident i samband med uppgraderingen.
• Vänersborgs kommun har ingen förändringsgrupp eller liknande forum som godkänner förändringar. Specifika rutiner för olika system finns i viss utsträckning men de är odokumenterade och saknar tydliga kontrollpunkter. Brist på tydligt godkännande ökar risken av att införa medvetna såväl som omedvetna opassande programförändringar.
• Tillåtelse för tid att införa förändringar har inte definierats, vilket innebär att det går att införa förändringar när som helst under dygnet, oavsett närhet till helgdagar eller semestertider. Ingen undersökning av verksamheternas syn på kritiska perioder för förändringsarbete är genomförd. Uppgraderingsarbetet som föranledde incidenten skedde under kontorstid, vilket kan anses vara en olämplig tidpunkt för en uppgradering av ett centralt system. Att genomföra en uppdatering under kontorstid minskar möjligheten att åtgärda eventuella incidenter innan de får inverkan på verksamheten. Att uppgraderingen genomfördes nära inpå en storhelg kan innebära ökade konsekvenser av en IT-incident eftersom beredskapen då riskerar vara sämre i verksamheterna.
• Det finns inga dokumenterade riktlinjer för när och hur verksamheten ska informeras i samband med förändringar av IT-miljön.
• Kommunen har en övergripande lednings- och informationsplan för särskilda och extraordinära händelser vilket beskriver krishantering i stora drag. Denna krisplan behöver dock kompletteras med en IT-specifik avbrottsplan, som beskriver hur IT-kontoret ska organisera sig och fördela arbetet vid ett eventuellt avbrott. Det här innebär en risk för att system och applikationer inte startas upp enligt rätt prioritering samt på ett effektivt och ändamålsenligt sätt vid ett eventuellt avbrott. Detta innebär att verksamheten kan äventyras.
• Återställningstiden vid IT-kraschen påverkades negativt av att den interna dokumentationsservern låg nere. Den innehöll diverse checklistor samt lista över IP adresser och system vilket hade varit högst användbar vid en incident. Eftersom denna server var oåtkomlig påverkades återställningstiden. En kritisk server som syftar till återställningsarbete efter IT-incidenter är lämplig att placera i molnet eller annan plats för att säkra tillgång till viktig dokumentation vid eventuellt haveri.
• All information som IT-kontoret hanterar, inklusive backuper och teknisk dokumentation (som är av högsta vikt att ha tillgänglig vid ett IT-haveri), är lagrad på samma ställe som övrig data och system. Om dessa går ner finns det en risk att informationen som behövs för återställning också är otillgänglig. Larmnotifieringar är alltså beroende av samma infrastruktur som de är satta att övervaka, vilket gör larmsystemet sårbart.
• Avsaknad av dokumenterad process för backuphantering av kommunens system som ställer krav på vilka nyckelkontroller som bör återfinnas inom backup-processen.
• Eftersom det inte finns några avtalade servicenivåer för IT-kontoret finns det heller inga krav från verksamheten gällande frekvens och lagringstid av backuper.
• Kommunen genomför inga återläsningstester av backuper, vilket innebär backuper inte regelbundet testas i syfte att säkerställa huruvida data är återläsningsbar och därmed går att använda sig av vid en eventuell incident.
• Bristen på snapshots av servrar gjorde återställningstiden betydligt längre och dessutom mer kostsam än den kunde ha varit då man blev mer beroende av konsulter. Vilka system som har behov av snapshots var inte utrett innan incidenten och det fanns heller inte diskutrymme att ta snapshots på alla system.
• Flera av de supportavtal Vänersborgs kommun har med konsulter för kritiska IT-komponenter är inte fullt ändamålsenliga. Detta då villkoren för tillgänglighet inte är tillräckliga för att säkerställa att kommunen kan bedriva sin verksamhet.

Det är en omfattande analys som Ernst & Young har gjort. Men den var vad jag kan förstå helt nödvändig.

Så nu har IT-avdelningen, och kommunen, en del att jobba med, och åtgärda. Men jag tycker att Ernst & Youngs rapport inte ska tas som någon slags förödande kritik, utan som ett redskap för att arbeta vidare med att säkerställa IT-systemens säkerhet i framtiden. Om granskningsrapporten tolkas på detta sätt så är kostnaden för Ernst & Youngs arbete väl värd pengarna.

Tror och hoppas jag.