16 novembre 2026
Outlook giù per 36 ore: anatomia di un outage “a domino” e cosa insegna su health check, rollback e capacità
Quando troppi server risultano “malati” nello stesso momento, il bilanciamento del carico può trasformarsi da rete di sicurezza a amplificatore del disastro.
Un’interruzione prolungata di Exchange Online ha trascinato con sé diversi servizi Microsoft 365. Dietro la cronaca c’è una dinamica tecnica ricorrente: health check che tolgono capacità, riconnessioni di massa che impediscono la ripartenza e un cambio di rete/capacità che espone un bug latente. Vediamo cosa può succedere in questi scenari e quali contromisure adottare, con implicazioni pratiche anche per chi progetta sistemi e piattaforme web.
Negli incidenti su larga scala c’è spesso una narrazione superficiale: “troppo traffico”, “un cluster è caduto”, “basta riavviare”. La realtà operativa è più interessante (e più utile): alcuni meccanismi pensati per rendere un sistema resiliente — health check, bilanciamento, autoscaling, failover — se stressati fuori dai parametri, possono diventare l’elemento che accelera il collasso.
Un outage prolungato che colpisce la posta (e i servizi dipendenti) è un esempio perfetto per parlare di tre concetti che ritornano in quasi tutti i post-mortem seri:
- Failure a domino indotta dai health check
- Thundering herd / riconnessione di massa che impedisce la ripartenza
- Cambi di rete/capacità che scoprono bug latenti
Di seguito, una lettura “da ingegneria” di cosa può succedere e cosa portarsi a casa.
1) Quando i health check tolgono capacità invece di proteggerla
Il pattern è noto:
- Un load balancer esegue health check periodici sui nodi (HTTP probe, TCP connect, endpoint /healthz, ecc.).
- Se un nodo non risponde nei tempi o restituisce errori, viene rimosso dalla rotazione.
Questo è ottimo quando fallisce un server o pochi server. Ma se accade qualcosa che fa degradare molti nodi nello stesso intervallo temporale, la logica di protezione si trasforma in un moltiplicatore:
- I nodi “malati” vengono esclusi.
- Tutto il traffico si riversa sui nodi rimasti.
- I nodi rimasti si sovraccaricano e iniziano a fallire i check.
- Vengono esclusi anche loro.
Effetto domino.
Il dettaglio che fa la differenza: che cosa stai controllando?
Spesso il check misura “risponde la porta?” o “l’endpoint ritorna 200?”. Ma nei sistemi complessi il vero collo di bottiglia non è l’HTTP handler: è ciò che sta dietro.
Un caso ricorrente riguarda i componenti che gestiscono connessioni sicure (TLS termination, handshake, session resumption, autenticazione, token validation). Se questa pipeline viene saturata:
- l’handshake rallenta;
- le code crescono;
- l’istanza appare “down” al check;
- il balancer la toglie, concentrando ulteriore pressione sugli altri nodi.
In pratica, il check sta rilevando un sintomo reale, ma la reazione automatica peggiora la condizione globale.
2) Perché “riavviare tutto” può non funzionare
Il riavvio (o il recycle di un pool) risolve davvero una grande percentuale di incidenti: ripulisce stato, libera memoria, resetta connessioni. Il punto è che, in un outage globale, la fase di recovery può essere il momento più duro.
Thundering herd: tutti rientrano insieme
Quando un servizio di posta (o login, o API core) torna a rispondere, milioni di client non riprendono gradualmente: tentano di riconnettersi in massa.
Quindi succede questo:
- le macchine ripartono “pulite”;
- ricevono immediatamente una valanga di richieste;
- ricadono nello stesso collo di bottiglia (es. handshake TLS / auth);
- tornano non responsive;
- i health check le rimuovono di nuovo.
Questo spiega perché un ripristino può oscillare per ore: non basta “far tornare su” i nodi, serve gestire la pressione del rientro.
La tentazione pericolosa: aggirare i health check
In incidenti estremi, può comparire l’idea di “forzare” nodi in rotazione anche se risultano unhealthy, con check alternativi o bypass temporanei. È una leva legittima in emergenza, ma è rischiosa:
- se il nodo è davvero degradato, aggiungerlo aumenta errori e latenza;
- se lo fai su larga scala, trasformi un problema di capacità in un problema di qualità generalizzata (e il sistema diventa imprevedibile).
La domanda corretta non è “possiamo farlo passare come healthy?”, ma:
- possiamo ridurre la domanda (rate limit, backoff, shed)?
- possiamo aumentare la capacità effettiva sul collo di bottiglia vero (auth/TLS/DB)?
- possiamo orchestrare un rientro graduale?
3) Il ruolo dei cambi di rete/capacità: quando l’upgrade rimuove capacità
Un elemento che ritorna spesso nei grandi incidenti è la frase: “È successo durante/ dopo una modifica di rete o un upgrade di capacità.”
Sembra paradossale, ma ha senso:
- un cambio di configurazione può modificare percorsi, timeouts, MTU, policy di sicurezza, limiti di connessione;
- una manutenzione “di routine” può esporre un bug latente che prima non emergeva;
- un incremento di capacità può cambiare il profilo del traffico e creare code in un punto prima non stressato.
Se il punto critico è il livello che stabilisce connessioni sicure, basta poco per passare da “ok” a “tutto in coda”. Una volta che le richieste di connessione si accumulano, il sistema finisce per consumare CPU in operazioni costose (handshake, crypto, validazioni), e le code peggiorano ulteriormente.
Perché il rollback è spesso la prima misura seria
Quando il sospetto cade su una modifica recente, il rollback è potente perché:
- riporta lo stato a una baseline nota;
- riduce variabili durante la diagnosi;
- permette di capire se l’evento è change-induced.
Ma attenzione: anche il rollback, in sistemi enormi, non è istantaneo. Propagazione, convergenza di configurazioni, warm-up di cache e soprattutto il thundering herd possono far sembrare che “non funzioni”, quando in realtà sta solo lottando contro la domanda di riconnessione.
4) Implicazioni pratiche (utili anche a chi fa frontend e piattaforme)
Anche se lavori su UI, app o frontend platform, questi incidenti toccano temi che impattano direttamente il prodotto:
a) Client resilience: backoff, jitter, e retry sensati
Se un client (web, desktop, mobile) fa retry aggressivi e sincronizzati, contribuisce al thundering herd.
- usa exponential backoff;
- aggiungi jitter (randomizzazione);
- rispetta
Retry-Afterquando presente; - distingui errori retryable da non-retryable.
b) Degrado controllato
Quando la posta o l’autenticazione sono instabili, l’app dovrebbe:
- mostrare uno stato chiaro e non “spinner infinito”;
- offrire modalità offline / cache dove possibile;
- evitare di generare richieste ridondanti (polling aggressivo, refresh loop).
c) Dipendenze e blast radius
Se un servizio centrale cade e trascina dietro altri pezzi (admin center, strumenti interni), la lezione è: separare dove possibile.
- pannelli admin e strumenti di incident response dovrebbero avere dipendenze minime dai servizi che devono diagnosticare;
- autenticazione e controllo accessi vanno progettati con percorsi di emergenza (break-glass) e operatività ridotta ma stabile.
Sintesi finale
Un outage lungo non è quasi mai “un server morto”: è spesso una catena di feedback tra health check, bilanciamento e componenti critici (come l’instaurazione di connessioni sicure), aggravata dal rientro simultaneo di milioni di client.
La lezione pratica è chiara: la resilienza non è solo avere ridondanza, ma anche progettare come si fallisce e soprattutto come si recupera. Health check più intelligenti, strategie anti-thundering herd, rollback rapidi e strumenti operativi indipendenti dai servizi in crisi sono differenze che, nel mondo reale, separano un disservizio breve da 36 ore di stop.