Vous avez d\u00e9j\u00e0 pass\u00e9 des heures \u00e0 \u00e9plucher des fichiers de logs de plusieurs millions de lignes pour trouver ce qui cloche ? Genre une pauvre erreur bizarre qui se produit une fois sur 100 000, noy\u00e9e dans un oc\u00e9an de messages r\u00e9p\u00e9titifs et d’infos inutiles ? Moi, oui plein de fois !<\/p>\n
Mais \u00e7a c’\u00e9tait avant de tomber sur Cordon est un outil en Python qui utilise des mod\u00e8les de transformers et du scoring k-NN pour d\u00e9tecter les anomalies s\u00e9mantiques dans vos logs. En gros, au lieu de chercher des mots-cl\u00e9s comme un bourrin avec grep, Cordon comprend le sens des messages et rep\u00e8re ce qui sort de l’ordinaire.<\/p>\n Les patterns r\u00e9p\u00e9titifs sont alors consid\u00e9r\u00e9s comme du bruit de fond normal, m\u00eame si ce sont des erreurs parce que si vous avez la m\u00eame erreur FATALE qui se r\u00e9p\u00e8te 10 000 fois, c’est probablement un probl\u00e8me connu. Et vous, ce que vous voulez trouver, c’est l’\u00e9v\u00e9nement rare, celui qui se produit une seule fois et qui est s\u00e9mantiquement diff\u00e9rent du reste.<\/p>\n L’installation est simple comme bonjour. Un petit Et hop, Cordon va analyser tout \u00e7a et vous sortir uniquement les trucs int\u00e9ressants. Par d\u00e9faut, il garde les 10% les plus “anormaux” s\u00e9mantiquement. Vous pouvez ajuster ce pourcentage avec Sous le capot, \u00e7a utilise le mod\u00e8le all-MiniLM-L6-v2 de sentence-transformers pour vectoriser les logs. Le fichier est d\u00e9coup\u00e9 en fen\u00eatres de N lignes (4 par d\u00e9faut), chaque fen\u00eatre est transform\u00e9e en vecteur, puis un score de densit\u00e9 k-NN est calcul\u00e9. Les fen\u00eatres qui ont des vecteurs tr\u00e8s diff\u00e9rents du reste sont marqu\u00e9es comme anomalies.<\/p>\n Et si vous avez un GPU, Cordon peut l’utiliser automatiquement avec l’option Y’a aussi un mode “range” qui est pratique pour explorer par tranches. Genre si vous voulez exclure le top 5% (trop bizarre, probablement du garbage) mais garder le top 5-15%, vous faites :<\/p>\n \u00c7a permet d’affiner l’investigation de mani\u00e8re it\u00e9rative.<\/p>\n Pour les environnements conteneuris\u00e9s, Cordon propose \u00e9galement une image Docker avec un backend llama.cpp au lieu de sentence-transformers. Pratique si vous voulez utiliser des mod\u00e8les GGUF ou si vous \u00eates dans un contexte o\u00f9 les d\u00e9pendances PyTorch posent probl\u00e8me.<\/p>\n
\nCordon<\/a>
\n!<\/p>\npip install cordon<\/code> et c’est r\u00e9gl\u00e9. Pour l’utilisation de base, vous balancez juste votre fichier de logs en argument :<\/p>\ncordon system.log<\/code><\/p>\n--anomaly-percentile 0.05<\/code> pour \u00eatre plus s\u00e9lectif (top 5%).<\/p>\n--device cuda<\/code>. D’apr\u00e8s les benchmarks, \u00e7a donne un speedup de 5 \u00e0 15x sur le scoring pour les gros datasets. Sur des logs HDFS de 1 \u00e0 5 millions de lignes, l’outil arrive \u00e0 r\u00e9duire le volume de 98%. Autant dire que \u00e7a filtre s\u00e9v\u00e8re.<\/p>\ncordon --anomaly-range 0.05 0.15 app.log<\/code><\/p>\n