În ultimele zile, am citit despre întreruperile de serviciu de la Microsoft, FAA, United Airlines, Chase și Amtrak. De asemenea, am sunat prieteni, membri ai familiei și angajați afectați de aceste întreruperi, pentru a vedea dacă sunt bine și cum ajung acasă.
Cuvântul „întrerupere” capătă o altă semnificație atunci când o persoană dragă ți-e blocată la aeroport. În spatele explicației tehnice se ascund copii obosiți, pasageri în vârstă care așteaptă la coadă, legături pierdute și planuri care se duc de râpă. Pentru o companie, aceasta poate însemna comenzi pierdute, plăți întârziate și o zi de muncă pierdută.
Sunt fondatorul și directorul general al OPSWAT, o companie de securitate cibernetică specializată în protejarea infrastructurii critice. De asemenea, sunt pilot cu calificare de zbor instrumental. Analizând aceste incidente, mă întreb mereu același lucru: de ce nu aplicăm mai mult din modul de gândire care asigură funcționarea unui avion la infrastructura de care depindem în fiecare zi?
Un avion reușește să concentreze sistemele de alimentare, navigație, comunicații și comandă de zbor într-un spațiu remarcabil de redus. Aceste sisteme funcționează în mod coordonat, uneori în condiții dificile, iar viețile oamenilor depind de ele.
Proiectul pornește de la premisa că vor apărea defecțiuni. O mare parte din pregătirea piloților se concentrează pe recunoașterea acestor defecțiuni și pe cunoașterea măsurilor care trebuie luate în continuare. Te antrenezi cât încă îți poți permite să faci greșeli.
Să luăm, de exemplu, energia electrică. Un alternator generează energie electrică pentru avion. Da, poate că te ajută să-ți încarci iPhone-ul, dar pe mine mă interesează mai mult ca radiourile și instrumentele de zbor să funcționeze.
Într-un avion echipat cu două alternatoare, unul dintre ele poate alimenta sarcinile esențiale în cazul în care celălalt se defectează. Dacă ambele se defectează, bateriile pot asigura o autonomie limitată. Se reduce sarcina și se folosește acest timp pentru a gestiona situația de urgență.
Un aspect important este faptul că alternatorul și bateria funcționează diferit. Unul generează energie electrică, iar celălalt o stochează. Bateria îți oferă o altă modalitate de a menține în funcțiune echipamentele esențiale atunci când sistemul de generare a energiei nu mai funcționează.
Această abordare merge și mai departe. Airbus a documentat proiecte de sisteme de control al zborului care utilizează hardware și software diferite în calculatoarele primare și secundare, inclusiv sisteme secundare mai simple. Scopul este de a reduce riscul ca o singură defecțiune să blocheze toate modalitățile de îndeplinire a unei funcții critice.
De obicei, îmi iau iPad-ul cu aplicația ForeFlight alături de instrumentele care se află deja în avion. Este un instrument auxiliar, ale cărui funcționalități depind de senzorii conectați la acesta, și trebuie să îi înțeleg limitele. Cu toate acestea, faptul că dispun de o altă sursă de informații de zbor, pe un dispozitiv separat, cu baterie proprie, îmi oferă un anumit sentiment de siguranță.
Acum, să analizăm aceeași problemă din perspectiva tehnologiei informației, a sistemelor critice și a infrastructurii critice. Aceste sisteme trebuie să susțină viața sau libertatea, cum ar fi un avion, așa că ar trebui să adoptăm aceeași abordare în materie de proiectare.
Dacă sistemul meu principal și cel de rezervă rulează același software, primesc aceeași actualizare și depind de aceeași rețea, cât de independente sunt acestea? Mutarea unuia dintre ele într-o altă clădire nu elimină o eroare din cod. Un al doilea serviciu cloud ar putea să depindă în continuare de același serviciu de identitate sau de aceeași sursă de date.
Putem clona un sistem și, odată cu acesta, să îi copiem și punctele slabe.
Dacă aceeași defecțiune poate provoca căderea ambelor sisteme, mai avem oare cu adevărat o soluție de rezervă?
Incidentele recente demonstrează de ce această întrebare este cu adevărat importantă.
Microsoft, 12 și 13 noiembrie
Raportul lor preliminar descrie un defect ascuns al software-ului, o creștere a traficului la nivelul gateway-urilor și o capacitate redusă. Redirecționarea traficului de la serverele defecte a contribuit la propagarea defecțiunii către alte servere care prezentau aceeași vulnerabilitate. Microsoft dispunea deja de diverse arhitecturi de gateway, însă unele servicii, printre care și Exchange Online, nu au putut fi mutate pe arhitectura alternativă la scara necesară. Apreciez detaliile publicate de Microsoft. Concluzia din articolul „ My ” este că independența și capacitatea trebuie testate împreună. Consider că o arhitectură alternativă trebuie să preia sarcinile esențiale ca soluție de rezervă activă atunci când este cu adevărat necesar.
FAA, 13 noiembrie
FAA a descris o suprasolicitare a rețelei în timpul unei perioade de lucrări de înlocuire a routerelor. Blocarea a două locații suspectate a fi sursa problemei a stabilizat rețeaua. Controlorii de trafic și piloții au menținut siguranța, dar plecările au fost suspendate la nivel național. Cauza principală este încă în curs de investigare, iar FAA afirmă că sistemul SMART (Strategic Management of Airspace, Routes and Trajectories) nu a avut nicio legătură cu incidentul. Întrebarea legată de arhitectură este cum s-a putut ca o problemă apărută într-un număr redus de locații să se răspândească atât de mult și ce măsuri suplimentare de izolare și comunicații independente ar putea asigura desfășurarea mai multor operațiuni în condiții de siguranță. Totuși, ar trebui să ne întrebăm și ce a determinat prăbușirea arhitecturii existente și cum a fost exclus sistemul SMART?
Amtrak, 13 noiembrie
Au apărut probleme cu rezervările în timp ce pasagerii blocați ai companiilor aeriene căutau alternative. Amtrak a invocat o actualizare a sistemului și o creștere a cererii, deși cauza tehnică exactă rămâne neclară. Acesta este un scenariu pe care l-aș include în orice exercițiu de recuperare: atunci când o parte a infrastructurii noastre cedează, oamenii apelează la alta. Următorul sistem trebuie să aibă capacitate și pentru acești oameni.
United, 16 noiembrie
Reuters a relatat că o pană tehnică a afectat mai multe aplicații ale echipajului și a împiedicat compania United să furnizeze greutățile finale ale aeronavelor pentru zborurile de plecare. Cauza tehnică care a stat la baza acestei situații rămâne necunoscută. Gândiți-vă la asta: avionul, echipajul și pasagerii pot fi toți pregătiți, dar zborul nu poate decola fără informații esențiale. Orice soluție alternativă trebuie să dispună de date actualizate și precise privind încărcarea. Datele de rezervă de ieri nu ar fi suficiente. Trebuie să restabilim un sistem funcțional cu date actualizate.
Chase, 16 noiembrie.
O eroare internă de software a provocat întârzieri în efectuarea tranzacțiilor, inclusiv a plăților care implicau alte bănci. În acest caz, procesul de recuperare trebuie să asigure integritatea înregistrărilor financiare. Trecerea rapidă la sistemul de rezervă este utilă doar dacă plățile sunt înregistrate corespunzător, soldurile sunt corecte, iar tranzacțiile nu sunt procesate de două ori. Acest lucru trebuie demonstrat în condiții de volum real de tranzacții.
Este vorba despre incidente diferite și ar trebui să fim prudenți în ceea ce privește concluziile, atât timp cât anchetele sunt încă în curs. Totuși, există deja suficiente elemente pe care le putem include în propriile noastre discuții din domeniul ingineriei.
Iar acum integrăm inteligența artificială în sistemele de care depindem.
Recuperarea unei aplicații convenționale poate fi deja dificilă. Un sistem bazat pe inteligență artificială adaugă un model, un mediu de execuție, lacuri de date și fluxuri de date, ale căror relații pot fi greu de deslușit atunci când apare o problemă. Chiar și atunci când modelul rămâne neschimbat, datele și contextul de funcționare se pot modifica. Restaurarea unei versiuni anterioare a codului poate lăsa componente care nu mai funcționează corect împreună.
Programul poate funcționa din nou, chiar dacă sistemul continuă să ofere recomandări greșite.
De aceea consider un sistem de inteligență artificială ca fiind un mediu operațional viu. Recuperarea înseamnă să înțelegem ce s-a schimbat, să restabilim componentele compatibile și să verificăm comportamentul înainte de a ne baza din nou pe el.
Oamenii au în continuare nevoie de acest serviciu pe durata desfășurării lucrărilor.
În ceea ce privește funcțiile noastre cele mai critice, cred că ar trebui să luăm în considerare o implementare separată pe o arhitectură diferită, care să fie deja operațională și gata să preia controlul. Aceasta ar putea fi o altă platformă de IA. Ar putea fi un sistem convențional mai simplu, capabil să mențină funcționarea operațiunilor esențiale.
Independența trebuie să se extindă dincolo de aplicație. Este posibil ca alte programe din aceeași rețea defectuoasă să rămână indisponibile. Două modele diferite care utilizează aceleași date corupte pot genera în continuare rezultate eronate. Trebuie să analizăm întregul traseu de care depinde serviciul. Trebuie să adoptăm aceeași abordare pe care am descris-o în exemplul cu arhitectura cabinei de pilotaj a unui avion Airbus.
Știu că acest lucru implică costuri și sporește complexitatea. Alternativa nu are nevoie de toate funcționalitățile sistemului principal. La fel ca bateria unui avion, aceasta trebuie să asigure funcțiile esențiale pentru o perioadă determinată, folosind o arhitectură diferită.
Începeți prin a stabili ce trebuie să funcționeze în continuare, la ce capacitate și pentru cât timp. Dacă operațiunea nu poate suporta decât o întrerupere de câteva milisecunde sau secunde, aceasta devine o cerință tehnică pe care trebuie să o îndeplinim. Restabilirea tuturor celorlalte funcții poate dura mai mult.
Apoi, testați rezistența sistemului în condiții controlate. Dezactivați IA. Deconectați rețeaua. Introduceți date învechite, un patch defectuos sau o breșă de securitate cibernetică. Testați sistemul atunci când capacitatea de rezervă a scăzut deja parțial. Observați ce se întâmplă atunci când utilizatorii reali trebuie să efectueze tranziția și evaluați dacă serviciul rămâne funcțional și corect.
În cabina de pilotaj, trebuie să știu ce mai funcționează după o defecțiune, cât timp va mai funcționa și ce trebuie să fac în continuare. Am nevoie de aceste răspunsuri înainte de decolare.
Familiile care încearcă să ajungă acasă și întreprinderile care așteaptă plățile merită aceeași pregătire din partea noastră.
La următoarea ședință de conducere, întreabă-ți echipa: „dacă sistemul nostru principal s-ar defecta chiar acum, ce ar continua să funcționeze și ar putea aceeași defecțiune să afecteze și acea funcționalitate?”
Analizează în detaliu proiectarea și arhitectura și încearcă să găsești puncte vulnerabile. Server căderi de rețea, întreruperi ale comunicațiilor, un incident cibernetic. Dacă este vorba de un sistem de IA precum SMART, studiază-i componentele. Presupune că acesta ar putea scăpa de sub control, limitează lățimea de bandă și asigură-te că ai un al doilea sistem, cu o arhitectură diferită, gata de funcționare în cazul în care întregul sistem se oprește.
Apoi roagă-i să-ți arate.
Următoarea întrerupere a alimentării cu energie electrică nu ar trebui să fie prima ocazie în care aflăm dacă sistemul de rezervă funcționează.
