[MONITORING][FEATURE] Implémenter un système de suivi des statistiques

[hacherix]

En coopération avec les devops, réfléchir à un système de monitoring des mesures générées par les différents DAGs.

Exemple: le DAG Spectacle enverrait le nombre de SIREN traités à chaque exécution. Le système de monitoring nous permettrait de suivre l'évolution de cette mesure, voire de créer des alertes.

Idées:
Kibana
Metabase
Dash

[hacherix]

Après discussion avec @MKCG l'idée serait la suivante:

• Monter les logs Airflow sur Filebeat
• Structurer les logs qu’on écrit sur Airflow d’une manière où Filebeat peut les parser facilement, et de manière suffisamment générique pour qu’on puisse tracker tout ce qu’on veut. Example:
  • [2025-01-15, 17:59:47 CET] {data_processor.py:96} INFO - ::KIBANA-STATS:: KEY:SIREN VALUE:52395
  • [2025-01-15, 17:59:47 CET] {data_processor.py:96} INFO - ::KIBANA-STATS:: KEY:SIRET VALUE:453
  • ..
• Parser les logs suivant les patterns définies
• Isoler sur un nouvel index Elasticsearch les logs parsés Airflow qui nous intéressent pour les faire persister dans le temps
• Créer les viz Kibana
• Enjoy
• Pros :
  • Avoir un historique
  • Viz
  • Alerting automatique
  • Réduire le volume d’infos des notifications Tchap
  • Facilité d’implémentation

@MKCG a déjà commencé un POC côté infra:

• Ingestion des logs Airflow
• Dashboard Kibana

Côté équipe Data Engineering il nous reste à:

• Déterminer ce que l'on veut tracker
• Déterminer la structure des logs et les patterns adéquates
• Lister les fichiers logs à exclure pour optimiser l'indexation