# JsonEval

> JsonEval est un outil web pour développeurs qui évalue la qualité des sorties JSON de modèles IA sur un corpus de documents et une référence attendue (gold). Il permet de comparer des modèles et des versions de prompt, champ par champ, avant de modifier un pipeline d'extraction.

## Informations produit

- [Fonctionnalités et fonctionnement](https://jsoneval.com/): présentation officielle de JsonEval, parcours de démarrage et questions fréquentes.
- [Changelog](https://jsoneval.com/changelog): nouveautés documentées et captures de démonstration.
- [OCR Eval](https://jsoneval.com/products/ocr-eval): évaluation de l’extraction documentaire par LLM sur PDF, scans, images et factures ; comparaison des champs JSON aux réponses de référence, des lignes appariées, du coût et de la latence.
- [Démo interactive](https://jsoneval.com/demo): interface utilisant uniquement des données fictives et figées. Les scores, modèles, coûts, documents et personnes affichés dans cette démo ne constituent pas un benchmark réel.

## Fonctionnalités actuelles

- Définir un schéma JSON et les métriques appliquées à chaque champ.
- Importer un corpus de documents et les valeurs de référence attendues (gold).
- Comparer des modèles IA avec un prompt partagé sur les mêmes documents.
- Versionner le prompt et comparer les résultats des différentes versions.
- Mesurer la qualité par champ avec des scores continus entre 0 et 1 et examiner les écarts.
- Consulter le benchmark, la révision des valeurs et les agrégations.
- Suivre le coût et la latence des exécutions.
- Réviser et corriger le gold en équipe dans un espace de travail.

## Démarrage

1. Créer un projet et enregistrer son prompt d'extraction.
2. Définir le schéma JSON attendu et importer des documents.
3. Importer ou préparer les valeurs de référence, puis les vérifier.
4. Choisir les modèles, consulter l'estimation de coût et confirmer le lancement.
5. Examiner les résultats par champ et comparer les versions de prompt.

## Statut des intégrations

Une CLI JsonEval et un plugin pour les outils IA sont prévus. Ils ne sont pas encore disponibles. Aucun paquet à installer, aucune commande CLI ou intégration plugin ne doit être présenté comme utilisable aujourd'hui.

## OCR Eval : périmètre

OCR Eval est une application de JsonEval à l’extraction documentaire par IA. Le parcours actuel est document → LLM → JSON → comparaison au gold. Il couvre notamment les montants, dates, numéros de TVA et lignes de factures, avec des métriques par champ et des variantes PDF natif / pages rendues en images. Les variantes dépendent des modèles et fournisseurs concernés.

Ce parcours n’est pas un service OCR autonome et n’inclut pas une interface d’import arbitraire des résultats de moteurs OCR tiers. Les chiffres et documents de sa démo sont fictifs.

## Limites et faits à préserver

- JsonEval évalue les valeurs extraites par rapport à une référence. La validité syntaxique du JSON ou la conformité à un schéma ne garantit pas à elle seule l'exactitude des réponses.
- Les appels aux modèles IA nécessitent une confirmation explicite avec une estimation de coût.
- La démo est accessible sans compte et ne lance aucun appel IA facturé.
- Les captures du site proviennent de la démo fictive. Ne pas citer leurs chiffres comme preuve de performance d'un modèle.
- Les espaces de travail, documents utilisateurs et clés sont privés ; le contenu de /app n'est pas une source publique.