Så mäter du faktisk beteendeförändring

Däremot lämnar människor hela tiden spår efter sina handlingar. De rapporterar incidenter, använder eller undviker vissa processer, begär undantag, kontaktar servicedesk, godkänner eller nekar MFA-förfrågningar, involverar säkerhetsfunktionen i projekt och delar information genom olika system. Mycket av det går att mäta, men först när vi vet vilket beteende vi faktiskt försöker förstå.

Den här guiden är därför inte en modell för att sätta ett enda KPI på säkerhetskommunikation, utanär ett sätt att gå från ett ganska allmänt kommunikationsmål till något observerbart som går att följa över tid.

01Börja med vad människor faktiskt ska göra

Mål som "öka medvetenheten om phishing", "stärka säkerhetskulturen" eller "öka förståelsen för regel x" kan vara fullt rimliga som övergripande ambitioner, men de är svåra att använda som grund för beteendemätning eftersom det inte framgår vad som ska förändras i människors handlingar.

Försök därför att fortsätta meningen "Om kommunikationen om den här mätpunkten fungerar kommer det bero på att människor ..."

Kanske ska de rapportera ett misstänkt mail utan att först interagera med det, kanske ska en projektledare involvera säkerhetsfunktionen innan ett visst tekniskt beslut fattas, eller kanske ska medarbetare använda en ny säker process istället för den workaround som vuxit fram runt den gamla. Ett beteendemål blir användbart först när det är tillräckligt konkret för att det åtminstone i teorin skulle gå att observera om handlingen inträffar.

Försök att utgå från var ni ser de stora riskerna. Lanserar ni ofta nya uppdateringar av system och behöver tillse att alla säkerhetsrutiner runt såna releaser följs? Ni kanske har problem med att obehöriga människor släpps in på kontoret i för hög grad? Eller så kringgår medarbetare MFA-krav, slarvar med dåliga lösenord, använder inte VPN vid hemmajobb trots krav, eller är alltför frikostiga med klick på konstiga länkar.

Oaktat område, försök att ringa in de situationer som är mest kritiska och riskfyllda och jobba med dessa som lågt hängande frukter. Att försöka mäta det som går att mäta bara för mätandets skull är sällan särskilt smart - leta fram några områden där säkerhet gör stor skillnad och där ni kan mäta förändringar på ett bra sätt.

02Fundera på vad hos beteendet som är viktigt

När beteendet är definierat behöver ni inte automatiskt börja räkna hur många gånger det inträffar. Frekvens är bara en av flera dimensioner och ibland långt ifrån den mest intressanta.

Vid incidentrapportering kan tiden mellan observation och rapport vara avgörande, men det kan också spela roll om rätt kanal används och om rapporten innehåller tillräckligt med information för att säkerhetsfunktionen ska kunna börja arbeta direkt. När det gäller säkerhet i projekt kan själva förekomsten av kontakt med säkerhetsfunktionen vara mindre intressant än när kontakten sker. En projektledare som involverar säkerhet några veckor före lansering har tekniskt sett involverat säkerhet, men det är sannolikt inte det beteende organisationen försökte åstadkomma.

Det går därför att mäta om ett beteende sker, hur ofta och hur snabbt det sker, hur korrekt det utförs, vid vilken punkt i ett arbetsflöde det inträffar och om det består över tid. Vilka dimensioner som är relevanta beror på vad beteendet ska åstadkomma.

Försök framför allt att inte välja ett mått bara för att det råkar vara enklast att plocka ut. Om målet är bättre incidentrapportering kan antalet rapporter vara intressant, men kombinationen av rapporteringstid, rätt kanal och rapporternas användbarhet kan säga betydligt mer om huruvida beteendet faktiskt förbättrats.

03Leta efter beteendespår innan ni skapar en ny enkät

När kommunikationsfunktioner ska mäta något är det lätt att reflexmässigt börja skriva enkätfrågor, men mycket av den data som behövs kan redan finnas någon annanstans i organisationen. Säkerhetsverktyg, servicedesk, incidenthanteringssystem, IAM, projektverktyg och andra verksamhetssystem kan innehålla beteendespår som ligger betydligt närmare det människor faktiskt gör än deras svar på frågan om hur de brukar göra.

Om ni vill mäta rapporteringsbeteende kanske ärendesystemet kan visa tidpunkt, kanal och vilken information som följde med rapporten. Vill ni veta om säkerhetsfunktionen kommer in tidigare i projekt kan datumet för första säkerhetskontakt jämföras med projektets beslutspunkter. Om en ny säkerhetsprocess införts kan systemdata kombineras med antalet undantagsansökningar, supportärenden och avbrutna försök.

Allt behöver heller inte finnas i ett system. Stickprov, observationer och genomgångar av ett antal verkliga ärenden kan ge information som annars försvinner i statistiken. I vissa fall räcker det långt att gå igenom tjugo ärenden före en insats och tjugo efter och undersöka om den kvalitet man försökt påverka faktiskt ser annorlunda ut.

Det betyder förstås inte att all data som går att samla in bör samlas in. Beteendemätning får inte bli ett svepskäl för onödig övervakning av individer och man bör använda aggregerade mått där det går, samla det som behövs för frågan och vara transparent med vad som mäts och varför.

04Ta reda på hur beteendet ser ut innan ni försöker förändra det

Utan en baslinje blir det svårt att veta vad en senare siffra betyder. För rapporteringsbeteende kan ni ex. titta på några månaders historik och undersöka mediantiden till rapport, andel via rätt kanal och hur stor andel rapporter som innehåller tillräcklig information för att kunna hanteras utan omfattande komplettering. För ett nytt arbetssätt kan det istället handla om att observera hur ofta den befintliga processen följs och vilka genvägar som används.

Notera samtidigt sånt som kan påverka jämförelsen, som förändrade rutiner och arbetssätt. Mätning i en organisation sker nästan aldrig under laboratorieförhållanden, men det viktiga är att känna till de viktigaste förändringarna runt omkring så att siffrorna inte får bära större slutsatser än de klarar.

05Följ beteendet över tid

En mätning direkt efter kommunikationen riskerar att främst fånga att människor just då tänker på frågan, men den mer intressanta frågan är vad som händer när några veckor har gått och organisationen samtidigt hunnit fyllas av hundra andra saker som kräver uppmärksamhet.

För beteenden som inträffar ofta kan det därför vara användbart att först skapa en baslinje, sen titta efter en tidig effekt efter några veckor och därefter följa upp efter ex. sex till åtta veckor och igen efter några månader. För beteenden som sker sällan kan tidsfönstret behöva vara betydligt längre för att det över huvud taget ska finnas tillräckligt många observationer.

Poängen är att skilja mellan en tillfällig reaktion och en förändring som börjar bli ett normalt arbetssätt, och för att lyckas med det bör man försöka vara uthållig med sin uppföljning.

06Våga titta på skillnaderna bakom genomsnittet

När det finns tillräckligt med data är det ofta värt att segmentera resultatet, inte för att skapa en topplista över vilka avdelningar som är "bra" och "dåliga" på säkerhet, utan för att skillnader kan avslöja vad som faktiskt påverkar beteendet.

Säg att tiden till incidentrapportering minskat från fjorton till åtta timmar i organisationen som helhet. Bakom genomsnittet ligger vissa avdelningar bättre till, och vissa sämre. Det förändrar förstås vad nästa åtgärd bör vara. Kanske når kommunikationen båda grupperna lika bra, men vissa kollegor är ute och rör sig mycket, kanske som fältsäljare, och rapporteringsprocessen är byggd för människor som sitter framför en dator och betydligt krångligare från en telefon.

Samma sak kan dyka upp mellan roller, geografier, arbetssituationer eller olika delar av en process. Om följsamheten till en säkerhetsrutin är hög när den passar det normala arbetsflödet och låg när användaren behöver lämna sitt system och göra tre manuella steg någon annanstans har segmenteringen börjat visa något intressant.

Var försiktig med små grupper och individdata, både av integritetsskäl och för att små datamängder lätt skapar stora men meningslösa procentuella skillnader.

07Kombinera flera signaler när det går

Det perfekta beteende-KPI:t finns sällan, så försök därför hellre hitta några signaler som tillsammans beskriver det beteende ni är intresserade av.

Phishingsimuleringar är ett tydligt exempel. Klickfrekvensen är enkel att förstå och kan vara användbar, men den blir mer intressant tillsammans med hur många som rapporterar mailet, hur många som gör det utan att först interagera med det och hur snabbt den första rapporten kommer in. Följ samma mått över flera tester och ni börjar få en bild av ett beteendemönster snarare än resultatet från ett enskilt test.

För incidentrapportering kan samma princip innebära att ni följer volym, hastighet, kanal och kvalitet. Om målet är att säkerhet ska involveras tidigare i projekt kan ni kombinera tidpunkt för första kontakt med hur stor andel projekt som kommer in före en viss beslutspunkt och hur ofta sena säkerhetskrav leder till omarbete.

08Mät hur svårt ni själva har gjort beteendet

Om beteendet inte förändras trots att människor verkar förstå vad de ska göra är nästa steg inte självklart ännu en kommunikationsinsats. Det kan vara dags att undersöka själva förutsättningarna för beteendet.

Ta en säkerhetsrutin som människor konsekvent går runt. Hur många steg krävs för att följa den? Hur lång tid tar det säkra alternativet jämfört med det osäkra? Var lämnar användare processen? Vilka frågor kommer till supporten, vilka undantag begärs och vilka informella lösningar har verksamheten skapat för att få jobbet gjort?

Mät därför gärna både det önskade beteendet och friktionen runt det. Det ger kommunikationsfunktionen en möjlighet att säga något mer användbart än att "budskapet behöver förstärkas" när resultatet uteblir.

09Kontrollera vad själva mätningen riskerar att skapa

Det finns till sist en lite obekväm egenskap hos mätning, nämligen att människor och organisationer ofta börjar anpassa sig till det som följs upp. Därför bör ni innan ett mått används som mål fundera på vilket beteende det skulle kunna skapa om alla började optimera mot det.

Om man mäter genomförandegrad i en utbildning får man ett starkt incitament att få alla genom utbildningen, även om det inte säger något om vad som händer efteråt. Och om phishingklick blir det enda beteendemåttet finns risken att hela säkerhetsbeteendet reduceras till förmågan att klara just organisationens simuleringar.

En bra kontrollfråga att ställa sig är därför om människors beteende kommer göra organisationen säkrare, om de försöker få just den här siffran att se bättre ut. Om svaret är tveksamt behöver måttet sannolikt sällskap av något annat.

10Från beteendemål till mätplan

En praktisk mätplan behöver inte vara särskilt avancerad, säg ex. att organisationen vill få misstänkta säkerhetshändelser rapporterade snabbare. Beteendemålet kan vara att såna händelser ska rapporteras via den avsedda kanalen samma arbetsdag. Baslinjen kan bestå av snittiden till rapport, antal rapporter per tio eller hundra medarbetare och andel via rätt kanal. Efter ett par veckor kan ni leta efter den första förändringen, efter sex till åtta veckor undersöka om den stabiliserats och efter några månader se om den består utan en ny kampanj.

Lägg sedan till en fråga om friktion. Om beteendet inte förändras, vad skulle kunna göra det svårt att utföra? Där kanske analysen visar att rapporteringskanalen fungerar bra på dator men dåligt på mobil, att medarbetare inte får någon återkoppling efter rapportering eller att de måste lämna för mycket information innan ärendet kan skickas in.

För ett annat beteende kommer planen se annorlunda ut. Om målet är att få säkerhet tidigare in i projekt kan baslinjen vara när säkerhetsfunktionen normalt kontaktas i relation till projektets beslutspunkter. Om målet är att minska osäkra workarounds kan ni behöva kombinera systemdata med observationer och samtal eftersom själva workarounden kanske inte registreras någonstans. Om målet gäller chefers säkerhetsbeteende kan observerbara handlingar, som hur incidentinformation förs vidare eller om säkerhetsfrågor faktiskt tas upp i relevanta forum, vara mer användbara än en enkät om chefers inställning till säkerhet.

Det gemensamma är att börja i beteendet och arbeta bakåt till datan, inte börja med den data som råkar vara lättast att få ut och därefter försöka göra den till ett mått på effekt.

Det kommer fortfarande finnas säkerhetskommunikation som är svår att mäta och beteenden där underlaget blir för litet för några stora slutsatser - det gör ingenting! Målet behöver inte vara att förvandla varje kommunikationsinsats till en vetenskaplig studie, utan att successivt komma närmare det vi faktiskt försöker förstå.