Dva prekida zbog konfiguracije, s godinom dana razmaka: CloudFront i 1.1.1.1
Prošlog četvrtka, 16. srpnja, AWS-ov CloudFront počeo je vraćati pogreške 5xx za svaku distribuciju koja koristi VPC Origins, i radio je to od 7:45 do 11:18 po UTC-u: tri sata i trideset tri minute. AWS je korijenski uzrok stavio u „interno ograničenje na skupini strojeva koja upravlja vezama prema privatnim VPC izvorima”, zbog kojega ta skupina nije mogla učitati svoju ažuriranu mrežnu konfiguraciju. 1 Distribucije s drugim vrstama izvora ostale su netaknute, ali CloudFront stoji pred tolikim dijelom interneta da je kvar jedne značajke slomio ili pogoršao usluge poput Canvasa, Blackboarda, Hugging Facea i Ubiquitija. 2
Dva dana ranije, 14. srpnja, gotovo neprimijećena prošla je prva godišnjica kvara istog oblika. Cloudflareov javni DNS razlučitelj 1.1.1.1 nestao je 2025. na 62 minute. Predprodukcijska usluga Data Localization Suitea početkom je lipnja greškom bila povezana s prefiksima za 1.1.1.1, i ta je greška tiho ležala dok druga promjena nije dodala testnu lokaciju izvan mreže i pokrenula globalno osvježavanje konfiguracije, povukavši te prefikse iz svih Cloudflareovih podatkovnih centara odjednom. Unatoč tadašnjim nagađanjima, nije bila riječ o otmici BGP-a. Cloudflareova je analiza izričita: rute je povukla njihova vlastita automatika. 3
Nijedno vlakno nije prekinuto. Nijedan podatkovni centar nije izgorio. U oba su slučaja strojevi bili ispravni, a upute pogrešne.
Krhki je dio sada upravljačka ravnina
Ove smo godine pisali o fizičkim kvarovima: AWS-ovim događajima na Bliskom istoku u ožujku, prekidu Zayoova vlakna koji je 22. lipnja pogoršao rad polovice web aplikacija, podmorskim kabelima općenito. Njih je lako razumjeti i, na neki čudan način, umiruju. Kabel je stvar, a stvari se mogu udvostručiti.
S distribucijom konfiguracije teže je, i to iz strukturnih razloga, a ne zbog nesposobnosti.
Globalna je po zamisli. Cijela vrijednost raspodijeljene konfiguracijske ravnine u tome je da promjena brzo stigne posvuda, a upravo to svojstvo čini da i loša promjena brzo stigne posvuda.
Ona je ujedno i put oporavka. Ako vam je konfiguracijski sustav bolestan, mehanizam kojim biste inače popravljali onaj je koji se pokvario. Fizička redundancija tu ne pomaže; imate hrpu ispravnih poslužitelja koji svi poslušno rade krivu stvar.
I nema prirodnu granicu radijusa eksplozije. Regije i zone dostupnosti ograničavaju fizički kvar. Jedna skupina strojeva unutar CloudFronta nije uspjela učitati jednu konfiguraciju, a pogreške su bile svjetske. Objava konfiguracije te granice ne poštuje, osim ako je netko tako nije projektirao, a postupno uvođenje ona je vrsta discipline koja se tiho troši pod pritiskom rokova.
DNS je ista priča sloj više. Povlačenje rute konfiguracijska je izjava. Razlučitelj je bio zdrav; prestao je biti dostupan jer je mreži rečeno da ga nema.
Pet navika koje vrijedi preuzeti
Neugodno je to što su ovo dvije operativno najzrelije organizacije na internetu. Ako raspodijeljena konfiguracija ugrize njih, pokretanje Ansiblea u pet popodne u petak kod običnog tima nije ništa sigurnije.
Sve uvodite postupno, i konfiguraciju. Ako promjena odjednom stigne do 100 % vaših strojeva, radijus eksplozije vam je globalan, koliko god regija držali.
Držite put oporavka koji ne prolazi kroz konfiguracijsku ravninu: konzolu, statičku pričuvu, datoteku koja se uređuje ručno — nešto što radi kad automatika ne radi.
Mjerodavni DNS nemojte kupovati od pružatelja iza kojega skrivate izvor. Kad taj proizvođač ima loš dan, jednim vam potezom oduzme i problem i sposobnost da ga zaobiđete.
Namjestite drugi rekurzivni razlučitelj, i javno i interno. Srpanj 2025. najbolji je argument: razlučitelj može biti posve zdrav, a ipak nedostupan, drugi ne stoji ništa, a ako razlučivanje imena ne radi, ništa drugo što ste sagradili nije važno.
I znajte svoje vrijeme povrata, izmjereno, a ne procijenjeno. „Možemo se vratiti unatrag” nije plan dok to netko nije izmjerio štopericom.
Ulaz kad automatika otkaže
Mali smo pružatelj i nećemo se pretvarati da nam je konfiguracijska ravnina složenija od Cloudflareove. Manja je, što mijenja odnos kompromisa, a ne rješava ga; povremeno nam ide u prilog: manje pomičnih dijelova i manje mjesta na kojima globalna objava postane doista globalna.
Klijentima dajemo ono što je važno baš kod kvara ovog oblika: ulaz koji ne ovisi o tome je li naša automatika zdrava.
Svaki VPS i VDS u našem trenutačnom katalogu ima noVNC konzolu iz korisničkog portala, neovisnu o mreži samog gostujućeg sustava. Kad je mrežna konfiguracija kriva, kad vas je vatrozid zaključao van ili se stroj ne uspije podignuti, dobivate zaslon i tipkovnicu. Bez SSH-a, bez tiketa i bez ijedne lozinke poslane bilo kome.
Pun KVM s root pristupom znači da stroj oporavljate sami, bez čekanja da proizvođač gurne popravak u ploču koju ne možete zaobići. A looking glass omogućuje da naše rutiranje provjerite vlastitim očima, iz Tirane, Skoplja, Amsterdama i Dublina, umjesto da vjerujete stranici statusa na riječ.
Tu je i naš stalni savjet koji ponavljamo jer se iznova pokazuje korisnim. Stavite VPS od 5 €/mj. negdje gdje s vašim glavnim mjestom ne dijeli upravljačku ravninu. Ne drugu regiju istog pružatelja, nego drugog pružatelja u drugoj zemlji. Oba bi ta dana upravo taj stroj i dalje mogao reći vašim korisnicima što se događa.
Trend koji vrijedi pratiti
Većina ovogodišnjih vijesti o prekidima bila je fizička: AWS-ov kvar na Bliskom istoku u ožujku, prekid Zayoova vlakna u lipnju. Četvrtkov nije bio ni jedno ni drugo, kao ni onaj čiju je godišnjicu zamalo dijelio. Industrija je dvadeset godina učila preživljavati kvarove hardvera, a znatno manje truda uložila u preživljavanje vlastitih uputa.
Dobro projektiran raspodijeljen sustav sve češće ne otkazuje tako da se slomi. Otkazuje tako da besprijekorno radi, posvuda, na krivom ulazu.