Jak měřit riziko s lepším OKR.

Stal jsem se velkým fanouškem cíle a klíčových výsledků (OKR) u společností, které je berou vážně. Popíšu uváženou metodu, která se hodí do OKR a měří snížení (nebo zvýšení) vybraného rizika. Toto bude informovat týmové rozhodnutí snížit nebo zvýšit inženýrské úsilí ke zmírnění tohoto rizika do budoucna.

Tato metoda je podobná tomu, jak meteorolog předpovídá počasí.

U hlubokých ponorů do OKR to můžete přečíst, sledovat nebo přečíst.

OKR jsou jednoduchý způsob, jak vyjádřit motivační cíl a zavázat se ke krátkému seznamu měřitelných výsledků, které tlačí skupinu k tomuto cíli. Někdy kaskádují od výkonného managementu až po všechny zaměstnance. OKR jsou běžnou praxí mezi technologickými společnostmi a mnoha bezpečnostními týmy, se kterými pracuji.

Vezměte například:

Cíl: Zlepšit ověřování z notebooků vývojářů do výroby.

Tento cíl není špatný, ale mnoho příležitostí k měření rizik chybí.

Pomocí kvantifikovatelné metody snížíme vzácné, dopadající riziko.

Tyto typy rizik se obvykle obtížně měří.

Historická data (nikdy se nestala) špatně informují naši budoucnost (mohlo by se to stát?).

Pomocí předpovědních a odhadovacích metod můžeme měřit, jak pravděpodobný by se mohl budoucí scénář objevit, i když v minulosti pro tento scénář chybí historická data. Jako nejistotu skupiny používáme „nejistotu“ skupiny a změříme ji. Budeme řídit kognitivní předpojatosti spojené s prognózami.

CÍL: Napište cíl s „rizikovým scénářem“.

Vaším cílem je snížit riziko, které je vyjádřeno ve scénáři.

Níže je uveden dříve uvedený cíl, který byl vytvořen za účelem snížení rizika. Je psána s určitým prostorem pro zlepšení:

Cíl: Zlepšit ověřování z notebooků vývojářů do výroby.

To není nutně špatný cíl, ačkoli to lze zlepšit přepsáním jako scénář.

Cíl: Snížit riziko „Protivník má přístup k produkci z vývojářského notebooku ve 3. čtvrtletí.“

Vypadají podobně, že?

  • Hlavní rozdíl je v tom, že scénář je pravděpodobný. Pravděpodobnostní fráze lze předpovědět. Prognóza je dobře prozkoumaná, běžně chápaná (např. Počasí), kvantitativní a měří vaši nejistotu.

Nejistota je ta věc ve vašem mozku, která vás nutí pokrčit rameny možností, nebo se cítíte silně o jedné z nich. Jak se ukazuje, nejistota skupiny může být měřena přímým způsobem. Učiníme z nejistoty odborníků proxy pro náš cíl měření.

  • Menší rozdíl spočívá v tom, že scénář odměňuje kreativitu inženýra.

Zlepšuje například ověřování snížení počtu vývojářů, kteří vyžadují výrobní pověření? Ne, to se trochu blíží. Ale snížilo by to riziko a klíčový výsledek je více slučitelný s pozměněným cílem. To byl lepší cíl, takže možná budou naše klíčové výsledky lepší.

Cíl „rizikového scénáře“ nepředepisuje řešení. Pouze stanoví čistou předpověď. Scénář může dělat lepší práci definováním rizika jako budoucí události, které je třeba se vyhnout.

Dobrý předvídatelný scénář zahrnuje promyšlenou kombinaci hrozby, vektoru, aktiva nebo dopadu. Můžete kreativně rozhodnout o konkrétním rozsahu nebo riziku přidáním zúžení nebo rozšíření specifičnosti. Prognóza musí rozhodnout o konkrétním časovém rámci.

KLÍČOVÉ VÝSLEDKY: Vyberte milníky nebo metriky a odevzdejte se prognóze.

Za prvé, snadné věci. Klíčové výsledky musí být měřitelné. V raných dobách Google Marisa Meyer řekla:

"Není to klíčový výsledek, pokud nemá číslo."

Jednou z jednoduchých forem měření jsou binární úspěchy: 1 pro hotové, 0 pokud není hotové. Například: „Do naší platformy Single Sign On jsme přidali obchodní aplikaci XYZ“. Pokud jste to udělali, dostanete „1“!

Další možností je výběr kvantitativních metrik, jako je „oprava chyb X“ nebo „snížení počtu incidentů X“ nebo „pronájem techniků N“. Jsou to nezbytné, společné a představují cíle projektu a provozní metriky. Pravděpodobně jste na ně zvyklí. Mohou také udělat pěkné klíčové výsledky.

Ve skutečnosti však nesměřují snížení rizika spojeného s naším scénářem. Jsou spíše zpožděným ukazatelem provedené práce. Tato práce vytvořila hodnotu při zmírňování rizika, ale ve skutečnosti jste dosud nesměřovali snížení rizika. Jednoduše předpokládáte, že riziko klesá kvůli vašemu úsilí.

Ale o kolik? Co když to vlastně vzrostlo?

Porovnání metriky zabezpečení versus měření jistoty

Tradiční bezpečnostní metriky jsou velmi užitečné pro svou informativní hodnotu. Informují naši nejistotu ohledně rizika, ale nepředstavují pravděpodobnostní povahu rizika a často nevyjadřují obrovské nejistoty, které můžeme mít ohledně konkrétního scénáře.

Například se domnívám, že historický počet zranitelností nebo četnost regresí přímo nepředstavuje riziko, ale rozhodně to pomáhá informovat moji nejistotu ohledně toho, zda by v důsledku těchto dat došlo nebo ne k přidruženému scénáři.

Je to proto, že hodnota, kterou přiřazujeme k jednotlivým metrikám, je ve stálém toku.

Jakákoli konkrétní metrika může být mým nejinformativnějším datovým bodem… až do doby, než ji něco nahradí. Můj úsudek by bývalé údaje znehodnocil okamžitě poté, co jsem vyslechl nové informace, které křičí „kecy“ tváří v tvář starým datům, nebo jakémukoli křehkému modelu, který jsme se v této záležitosti pokusili vytvořit.

Nyní se dostaneme k „tvrdé části“. Udělejme to OKR.

To je vlastně opravdu snadné, když to pochopíte.

Příklad OKR, který je určen k měření:

Jak již bylo zmíněno, chystáme se postavit tento OKR tak, aby byl kompatibilní pro měření rizika pomocí předpovědních a odhadovacích technik.

Zde je příklad OKR pro malý bezpečnostní tým AWS:

Objektivní:

Snižte pravděpodobnost, že „výrobní pověření AWS bylo ve třetím čtvrtletí vystaveno veřejnosti“.

Klíčové výsledky:

  1. Závazky uvádějící AWS_SECRET_KEY se objeví v #security slack.
  2. Potrubí pro fotobunku bude přesunuto do role AWS.
  3. Kompletní bezpečnostní výstražný kanál Monkey směřující k našemu detekčnímu hovoru.
  4. Vyplňte před a po předpovědi a CloudTrail lov.

První klíčové výsledky (1–3) nevyžadují diskusi. Jedná se pouze o strojírenské práce v mlýně a můžete si vybrat, co chcete. Poslední klíčový výsledek (č. 4) je to, na co se budeme soustředit.

K měření tohoto scénáře rizika použijeme panel prognózy. To posílí naši schopnost měřit základní rizikový scénář OKR pravděpodobnostním způsobem.

1. Než začnete pracovat: Předběžná předpověď.

Předpokládejme, že se jedná o OKR pro třetí čtvrtletí roku. Počátkem června předpovídá několik různorodých a vyškolených jednotlivců, kteří jsou dobře obeznámeni s OKR, pravděpodobnost, že se scénář bude konat pravděpodobnostně (procentuální přesvědčení).

Našimi účastníky jsou opice (), jednorožec (), kráva () a tučňák (). Krátce je kalibrujeme, aby mysleli pravděpodobnostmi (online školení). Mají přístup ke všem dostupným metrikám, modelům, post mortem, auditům konzultantů nebo diagramům infrastruktury. Je to všechno užitečné a informuje jejich předpověď.

Výše uvedená předpověď má 78% jistotu, že lov CloudTrail neodhalí žádný incident. Existuje 14% jistota, že incident může být odhalen, a 6% jistota, že budeme mít skutečné velké potíže.

Nyní se domnívejte, že odpověď 33% panelu pro každou kategorii by naznačovala úplnou nejistotu, jako by nemají doslova žádné informace ani názor. Scénář mohl být například napsán v jiném jazyce. V tomto případě tomu tak není, účastníci nevěří, že každá možnost je stejná jako druhá. Myslí si, že je velmi pravděpodobné, že k žádnému incidentu nedojde, vzhledem k jejich znalosti prostředí a možných hrozeb.

Tento panel tedy vyjadřuje pravděpodobnostní názor, že je pravděpodobné, že v tomto časovém rámci nedojde k incidentu. Avšak objevený incident není zcela vyloučen. Stává se to u mnoha dalších společností. Musí věřit, že existuje určitá malá pravděpodobnost.

Ve skutečnosti se zdá, že panelista (Monkey ) bude jistější, že něco bude nalezeno.

Je v pořádku, že Monkey má odlišný názor od skupiny. Budeme o tom diskutovat později - není třeba, aby panel souhlasil!

2. Nyní udělejte svou práci a pokračujte jako obvykle.

Uprostřed čtvrtletí se zaměřuje na splnění vašich cílů jako obvykle. Jen to udělej.

Jak bylo uvedeno v našich cílech, tým vytváří výstrahy, opravuje aplikaci k použití rolí AWS a nasazuje bezpečnostní opici. Doufejme, že se jim daří a všechny je dokončují!

Tato metoda nemá žádný vliv na každodenní práci, kterou děláte. Jednoduše vede práci k měřitelnému výsledku. Útočte na riziko, jak byste normálně měli.

3. EOQ. Udělali jsme pokrok! Nyní porovnáváme se základní hodnotou.

Na konci čtvrtletí jsme se zavázali udělat dvě věci.

Nejprve vyvíjíme úsilí s lovem protokolů CloudTrail s kontrolou a uvidíme, zda můžeme z našeho vyšetřovacího úsilí vyloučit případy P0.

Za druhé, panel měří znovu, s výjimkou naší nejistoty pro příští čtvrtletí (Q4).

Náš panel je vyzbrojen novými znalostmi. Pokrok v tomto čtvrtletí a výsledek lovu CloudTrail výrazně změní naše názory na tento scénář.

Předpokládejme, že tým uspěl ve svých dalších klíčových výsledcích a hodnocení porušení se vrátilo čisté.

Znovu předpovídáme. Zde jsou výsledky.

Nyní můžeme pozorovat, jak velkou jistotu získal nebo ztratil panel na základě jejich úsilí. V tomto příkladu naše přesvědčení směřovalo příznivě ještě dále k jistotě (od 33%). Ovlivnila naše práce jistotu našeho panelu? Tento panel tomu věří.

V tomto případě jsme zvýšili naši jistotu ohledně tohoto rizika. Máme kvantitativní zlepšení o 5% správným směrem.

4. Udělejte rozhodnutí o vedení podle údajů.

Nyní jste vyzbrojeni pro efektivní rozhodování.

Zdá se, že to předpovídá porušení v jedné z každých deseti čtvrtletí.

  • Je to dost dobré?
  • Chceme to dále zlepšit, nebo zaměstnáváme jiná rizika?
  • Jaký je náš přijatelný práh?
  • Jak velké úsilí a zdroje potřebujeme, abychom to překonali?

Proč tento přístup?

Lidé jsou postaveni ke zpracování nesourodých zdrojů informací a rychle přijímají nové informace, aby se mohli rozhodovat.

Během celého čtvrtletí bezpochyby získáme informace, které změní naši úroveň jistoty ohledně rizik, která jsme vybrali.

Tyto informace pocházejí z mnoha míst: Samotná práce, trendy v oboru, porušení, možná zprávy o zranitelnosti v jiných oblastech infrastruktury, náš vlastní průzkum využití, tweet s odhalením bombardování atd.

Naše důvěra v tyto zdroje informací je však dynamická. Nemůžeme být závislí na individuálních statických metrikách, které představují naše riziko, protože jejich rozhodování o hodnotách se rychle mění. Můžeme použít naši vlastní jistotu jako náhradu za tato rizika, o nichž je známo, že jsou měřitelná, silně prozkoumávána, s rostoucím návodem ke zlepšování prognózových metod jako nástroje měření.

Ve skutečnosti je expertní elimitace důležitým faktorem při hodnocení pravděpodobnostních rizik v jiných průmyslových odvětvích, jako je jaderná energie, letectví a životní prostředí.

Není to pro nás nové, jen pro nás nové.

Izolace proti rizikům zkreslení.

Prognóza je nebezpečná, není-li k ní přistupováno přísně. Kognitivní zkreslení je dobře prozkoumáno a tato zjištění je třeba často opakovat. Rizika špatného předpovídání jsou různá.

Výzkum obhajuje, že prognózu lze zlepšit, když:

  1. Panelisté jsou vyškoleni, aby mysleli na pravděpodobnost a zaujatost.
  2. Panelisté jsou spojeni, aby kombinovali a vyhladili dopad zaujatosti. Rozmanitost v perspektivě je klíčová!
  3. Panelisté jsou opakovaně konfrontováni s výsledkem svých prognóz (Kalibrace). (Online trénink, dobrý úsudek otevřený, kalibrace důvěry)
  4. Účastníci panelu se vyzývají, aby scénář rozložili na podrobnější části a aby jim byl poskytnut transparentní přístup k dostupným údajům, které jim musí porozumět.
  5. Pevné porozumění pravému „Black Swan“. Klamou prediktory.
  6. Nesnažte se předpovídat a zmírňovat všechna rizika, buďte připraveni na nevyhnutelné selhání.
  7. Oddělte propagaci a plat od OKR a předpovědi výsledků, abyste se vyhnuli pytlům s pískem, což je již problém v řízení výkonu zaměstnanců.

Pouhé požádání panelistů o prognózu „přemýšlejte rychle!“ Vám jistě přinese špatné výsledky. Přísný přístup má vyšší náklady na měření (schůzky), ale je mnohem jednodušší než metody s ošklivými tabulkami rizikových matic.

Ale ... vždycky „předpokládám porušení“, takže to nefunguje!

Je naprosto platné předpokládat, že jste porušeni. Dala bych jakékoli organizaci velmi vysokou pravděpodobnost (99%), že někde, do jakékoli závažnosti, má nějaký druh kontradiktorní činnosti v systému, který vlastní. To pro mě znamená „předpokládat porušení“.

Je však nezdravé uvěřit, že každá součást každého systému je kompromitována každým protivníkem v daném okamžiku. Racionální lidé, dokonce i praky FUD, nejdou tak hluboko do hloubky.

Hluboko pesimistická mysl, která je racionální, stále ponechává prostor pro pochybnosti, víceméně než ostatní. Pokud máte víru, že úsilí jednotlivců zlepší rizika, můžete toto snížení nejistoty měřit pravděpodobnostně. Pesimista určitě nevěří, že jejich práce například věci zhoršuje.

Stručně řečeno, dokonce i pesimistický základ může být vylepšen a mít pár pesimistů v panelu je ve skutečnosti velmi, velmi dobrá věc.

Budoucnost odhadu a prognózy rizika

V průběhu mnoha čtvrtletí můžeme pravděpodobnostní metodu ještě více posílit. Můžeme představit červené týmy, skóre Brierů a vzorkování v průmyslu, abychom mohli řídit naše předpovědi. Můžeme se dohodnout na hodnotě dat a sledovat, jak kolísají. Můžeme „Chatham House“ nebo anonymizovat předpovědi a sdílet je s týmy rovnocenného zabezpečení.

Výsledky předpovědí můžeme vložit do simulací Monte Carlo, což nám umožňuje využívat ponaučení a odborné znalosti z NASA, Nuclear Licensing a dalších oblastí, které jsou v porozumění extrémním rizikům dále než kybernetická bezpečnost.

Organizace mají mnoho příležitostí zavést postup předpovídání rizik. K dosažení dobrých výsledků není nutná ohromná energie. Začínat malým, například pomocí OKR založených na riziku, může prokazatelně snížit riziko pro vaši organizaci a uvést vaši organizaci na cestu ke kvantitativnímu riziku.

Závěr

OKR jsou běžný způsob vedení technického týmu. Vytvoření OKR, které jsou kompatibilní s technikami odhadu a prognózy, nám umožní lépe měřit pokrok ve snižování rizik.

Tyto metody nezasahují do toho, „jak“ tým vykonává svou práci, jednoduše měří „kolik“ se v důsledku toho může změnit. Pokud v současné době nemáte žádnou metodu k měření rizika, pak by se jakákoli kvantitativní metoda měla hodit lépe, než jaká máte. Tato strategie má minimální dopad na inženýrské postupy a zároveň srovná tým s měřitelnou mírou snižování rizika.

Další čtení

Prognóza rizika: Prezentace této metody na vysoké úrovni.

Jednoduchá analýza rizik: Hluboký skok na předpovědi rizika.

Killing Chicken Little: Zkoumání omezení a možností předvídání rizik.

Rozložení bezpečnostního rizika na scénáře: Rozdělení rizik na hierarchii scénářů, z širokých na podrobnější scénáře.

Myšlení rychle a pomalu: Nobelova cena vyhrává výzkum lidských chyb poznání, většinou ve formě zaujatosti.

Superforecasting: Výzkum toho, jak mohou být chyby poznávání zmírněny a vyzbrojeny do efektivních prognostických týmů.

Jak měřit cokoli v riziku kybernetické bezpečnosti: Skvělý zdroj při obraně predikce jako metody měření. Silná debata, která podporuje roli měření v rozhodování.

Ryan McGeehan píše o bezpečnosti na médiu.