La fatigue d'alerte se produit lorsqu'un système de surveillance génère tellement d'alertes — notamment des faux positifs, des doublons ou des notifications non exploitables — que le personnel d'astreinte se désensibilise et cesse de réagir rapidement aux véritables incidents.
Quand les seuils sont trop sensibles ou que les règles d'alerte manquent de déduplication et de corrélation appropriées, le même problème sous-jacent déclenche plusieurs notifications distinctes sur différents outils. Le personnel commence à faire un triage superficiel, retarde la reconnaissance ou désactive complètement les canaux de notification, augmentant le MTTR pour les vrais problèmes et créant une cécité aux alertes.
Causes courantes :
- Règles de seuil trop sensibles (par exemple, alerter à chaque redémarrage de pod au lieu de pannes soutenues)
- Alertes dupliquées provenant de plusieurs sources de surveillance
- Notifications de faible sévérité ou non exploitables mélangées aux alertes critiques
- Logique de corrélation et de regroupement d'alertes manquante
- Gestion inadéquate des fenêtres de maintenance
Exemple : Un cluster Kubernetes configuré pour alerter à chaque redémarrage de conteneur génère des centaines de pages de faible valeur par jour ; l'ingénieur d'astreinte finit par désactiver entièrement le canal de notification, risquant qu'une véritable alerte de défaillance de nœud passe inaperçue.
WarningSimplement augmenter les seuils ou supprimer les alertes pour réduire le bruit peut masquer une véritable dégradation. La solution réside dans une meilleure conception des alertes — utiliser des alertes basées sur les symptômes, exploitables, avec une déduplication appropriée et un routage au niveau du pipeline d'alerte, et non une suppression généralisée.
Le réglage approprié des alertes, le routage des alertes en fonction de la sévérité et la configuration des contrôles de santé qui distinguent les défaillances temporaires des défaillances soutenues sont essentiels pour réduire la fatigue tout en maintenant une visibilité critique intacte.
Termes associés
Les nouveaux articles, directement dans votre boîte mail
Je souhaite recevoir par e-mail les nouveautés produit et les nouveaux articles d’InfraNest. Je peux me désabonner à tout moment. Politique de confidentialité