[Epic] Validation NeTEx

[ptitfred]

Intégrer le validateur Chouette Valid d'enRoute.

Documentation d'API.

Sujets voisins :

• Proposition d'organisation du fichier ZIP du profil NeTEx France transport-profil-netex-fr#56
• Premiers extracteurs NeTEx (StopPlaces) #4026
• Décrire le layout des NeTEx présents sur le PAN #3992
• Validation NeTEx hors XSD #4285
• [Very WIP] Consolidation brute pour le registre d'arrêts #4354

À faire

• Client d'API. Fait dans Client for the enRoute Chouette Valid API #4106.
• Validateur bas niveau. Fait dans Validateur NeTEx avec enRoute's Chouette #4140.
• Intégrer dans le OnDemandLive (en cours). Fait dans Validateur NeTEx : validation "à la demande" #4158.
• Intégrer dans la validation en arrière-plan. En cours dans Validation NeTEx automatique #4204 et Validation NeTEx : statistiques dans les cartes de ressources NeTEx d'un dataset #4227.
• Extracteurs NeTEx pour affichages de statistiques ou des cartes d'arrêts ; voir [Very WIP] Consolidation brute pour le registre d'arrêts #4354.
• Adapter DatasetComplianceScore pour gérer validations NeTEx ; voir Adapter DatasetComplianceScore pour gérer validations NeTEx #4376.
• Monitoring & performance :
  • Rendre non bloquant la récupération des résultats de validation. En cours dans Validateur NeTEx : polling des résultats #4326.
  • Monitoring : compteurs dans Appsignal (comme fait par exemple dans ResourceHistoryJob : ajout de compteurs AppSignal #4137)
  • Validation NeTEx : Implémenter les notifications en cas d'erreurs #4380
  • Gérer les timeouts HTTP (Validation NeTEx : gérer les éventuels timeout sur appels d'API enRoute Chouette Valid #4355).
• Meilleurs règles de validation
  • Affichage plus précis des règles de validation
  • Profil Français à implémenter via les rulesets de Chouette (Q1 2025)
  • Règles de validation à énumérer dans le profil

(Liste non exhaustive.)

Pistes pour shipper

• Validation juste du XSD (avec include_schema). Fait dans Validateur NeTEx : validation du XSD #4165.

Questions ouvertes

• Comment interpréter les codes de messages ?
  Réponse d'Alban : pour l'instant le mieux est de se fier au code source du validateur
• Liste des valeurs possibles pour l'attribut "code" ?
  Réponse d'Alban : idem point précédent
• Possible d'avoir dans des champs spécifiques la valeur observée et la valeur attendue (pour affichage) ?
• Certains messages n'ont pas l'attribut "code" .
  Réponse d'Alban : bug qui sera corrigé lors du sprint 116 (vendredi 13/09/2024)
• Quand le fichier est pas un xml/zip valide le validateur reste coincé en pending. Edit: j'ai un exemple de fichier XML qui coince également mais qui passe une fois archivé en zip. Aucun fichier simple ne passe ?
  Réponse d'Alban : On a vu ça dans notre supervision. On a fait des changements pour rattraper l'erreur (qui vient du validateur de la XSD).
• Nos plus gros fichiers semblent coincer (voire notamment b047ed5f-0820-403e-867d-142bf009b824 pour un fichier zip de 432Mo). Un timeout de notre côté sera implémenté. (Le plus gros fichier est un XML non compressé.)
  Réponse d'Alban : On va changer la configuration en production pour augmenter les resources maximums disponibles. On va tester en interne ce fichier en particulier.
• N'accepter que les archives zip.

Quelques stats

As of 2024-09-19

+---------------------------------+--------+
|              code               | count  |
+---------------------------------+--------+
| frame-calendrier-resources      | 101428 |
| frame-arret-resources           |  86397 |
| version-any                     |  84895 |
| frame-horaire-resources         |  83949 |
| unknown-reference               |  77777 |
| frame-ligne-resources           |  11528 |
| frame-reseau-resources          |  10346 |
| xsd-1877                        |   1772 |
| latitude-mandatory              |    503 |
| longitude-mandatory             |    503 |
| uic-operating-period            |    450 |
| valid-day-bits                  |    450 |
| composite-frame-ligne-mandatory |     92 |
| xsd-1845                        |     62 |
| xsd-1840                        |     19 |
| xsd-1871                        |     11 |
+---------------------------------+--------+

Conversations front

• "Premiers retours après 2 semaines"
• "Mise à disposition API Validateur NeTEx"

Sujets connexes :

• A propos de validation de NeTEx convertis automatiquement.

[ptitfred]

OnDemand disponible en production.