NOTRE SPÉCIALITÉ
Factures → JSON
Le total TTC, la TVA et toutes les lignes. Comparez aussi vos scans difficiles.
invoice_numbertaxtotalitems[].quantity JSON QUALITY WORKBENCH
Comparez les modèles IA.
Champ par champ.
Évaluez leurs sorties JSON sur les mêmes documents et références.
Trouvez le meilleur modèle pour votre extraction.
Essayez avec
Préparez sans compte. Vous confirmez le coût avant toute évaluation par un modèle.
PDF & scansEmails & textesPlusieurs LLMUne référence commune
VOTRE CAS MÉTIER. VOS CHAMPS. VOS CRITÈRES.Une extraction à fiabiliser ?
Une extraction à fiabiliser ?
Commencez ici.
Un même atelier.
Des jeux d’évaluation qui vous ressemblent.
USE CASE / 02
Emails & agents
La bonne intention, la bonne commande, la bonne échéance.
customerorder_idintentdue_dateUSE CASE / 03
Reçus & notes de frais
Enseigne, devise, taxes et montant. Les petites lignes aussi comptent.
merchantdatecurrencytotalUSE CASE / 04
Contrats & documents
Parties, dates et clauses. Distinguez ce qui est écrit de ce qui est inventé.
parties[]effective_datejurisdictionrenewal_clauseUSE CASE / 05
Commandes & livraisons
Références, quantités et adresses. Retrouvez les lignes, quel que soit leur ordre.
order_iditems[].skuitems[].quantitydelivery_addressUSE CASE / 06
Fiches produits & catalogues
Prix, unités, caractéristiques et variantes. Un catalogue mérite des données fiables.
skupricedimensionsvariants[]Importez un corpus représentatif et ses réponses attendues. Les emails et fiches produits s’évaluent à partir d’exports texte, PDF ou images.
L’ATELIER D’ÉVALUATION
Ouvrir ce benchmark Tout voir. Puis zoomer sur ce qui compte.
Un corpus fictif. Plusieurs modèles. Les erreurs deviennent visibles.Scores illustratifs · aucune performance réelle revendiquée
Votre prompt a changé.
Qu’est-ce qui a vraiment changé ?
Un montant légèrement faux. Une date mal normalisée. Une ligne manquante. Un score global ne suffit pas : JsonEval montre où votre extraction s’améliore, et où elle régresse.
UN PREMIER BENCHMARK, SANS ÉCRIRE UN HARNAISVotre premier projet.
Votre premier projet.
Trois temps, un parcours guidé.
Vous apportez le contexte.
JsonEval organise la comparaison.
- 01
Votre prompt. Votre JSON.
Créez un projet, collez votre prompt et un exemple de la structure JSON attendue. Le schéma peut aussi être proposé par l’IA, puis ajusté.
prompt.txt + exemple.json - 02
Des documents et leurs réponses.
Importez un premier échantillon de PDF, images ou textes. Ajoutez les valeurs attendues, ou faites-les préremplir par un modèle et relisez-les.
documents + valeurs de référence - 03
Comparez. Corrigez. Itérez.
Choisissez vos modèles, confirmez l’estimation du coût, puis explorez les scores. Changez un prompt et voyez précisément ce qui évolue.
benchmark → prochaine itération
✓
Commencez petit. Un premier échantillon permet de vérifier votre parcours. Élargissez ensuite le corpus pour mesurer la qualité sur des cas représentatifs.
DémarrerDANS L’APPLICATION WEB AUJOURD’HUITout ce qu’il faut pour
Tout ce qu’il faut pour
évaluer le fond du JSON.
De la préparation du corpus
à la prochaine version du prompt.
Illustrations et données fictives. Les scores ne représentent aucune performance réelle de modèle.
01
Modèles et prompts, côte à côte
Comparez plusieurs LLM et versions de prompt sur les mêmes documents. Repérez les améliorations et les régressions, champ par champ.
02
Votre JSON, vos règles
Partez d’un exemple JSON, importez-le ou utilisez le builder visuel. Configurez la métrique de chaque champ, y compris les objets et collections imbriqués.
03
7 métriques de scoring
Exactitude, casse, proximité textuelle, sens, tolérance numérique, dates et appartenance à un ensemble. Des scores continus entre 0 et 1.
04
Un corpus qui vous ressemble
Importez vos PDF, images ou textes. Organisez vos documents en groupes et choisissez ceux qui participent à la comparaison.
05
Des réponses de référence
Importez ou saisissez les valeurs attendues, ou amorcez-les avec un modèle. Relisez ce gold : c’est lui qui donne du sens aux scores.
06
Des collections bien appariées
Comparez les lignes d’un tableau même si leur ordre change. Identifiants et texte de secours aident à retrouver les éléments correspondants.
07
Une erreur, son contexte
Passez de la heatmap au document, à la prédiction et à la valeur attendue. Le Réviseur aide à corriger et arbitrer les références douteuses.
08
Des prompts versionnés
Conservez vos itérations, comparez leurs résultats et choisissez la version active. Un même prompt pour tous les modèles d’une comparaison.
09
Qualité, coût et latence
Regardez ce qu’un point de qualité vous coûte. Suivez extraction et juge, coût par document, latence et échecs facturés.
10
Recalculer sans tout réextraire
Les prédictions JSON sont conservées. Réévaluez-les après une correction du gold ou des règles ; un juge sémantique peut rester facturé.
11
Des variantes comparables
Comparez un PDF natif avec ses pages rendues en images, ou imposez un fournisseur. Chaque variante apparaît séparément dans le benchmark.
12
Un atelier pour l’équipe
Partagez le projet dans un workspace, discutez des valeurs et retrouvez l’historique des corrections. Gardez une référence commune.
DES MÉTRIQUES ADAPTÉES À CHAQUE CHAMP
exactcase_insensitivefuzzysemanticnumber_tolerancedate_matchset_member
LE SCORE EST LE DÉBUT DE L’ENQUÊTEDu résultat.
Du résultat.
À la raison.
La prédiction, la référence et le document.
Le même contexte pour toute l’équipe.
Des références que vous pouvez vérifier.
La réponse attendue se lit avec le document. Relisez, corrigez et discutez les valeurs douteuses.
Explorer les documents
Gardez la trace de ce qui marche.
Une instruction devient une version. Comparez ses résultats avant d’en faire le prompt actif.
Explorer les promptsLA SUITE, DANS VOTRE ENVIRONNEMENTLe web aujourd’hui.
CLI & PLUGIN AI · À VENIRLe web aujourd’hui.
Votre terminal et votre assistant demain.
Une CLI pour les développeurs.
Lancer et consulter les évaluations depuis le terminal, conserver le contexte des projets et préparer leur intégration à vos workflows de développement.
INTERFACE ENVISAGÉE · NON DISPONIBLE
Prévu · commandes et intégration CI à définir$ jsoneval evaluate
↳ projet · corpus · prompt · modèles
↳ scores par champ · coût · régressionsUn plugin pour vos outils AI.
Donner à votre assistant de développement le contexte de vos évaluations : vos prompts, les champs qui régressent et les résultats à explorer ensemble.
PARCOURS ENVISAGÉ · NON DISPONIBLE
Prévu · outils compatibles et protocole à préciser« Quels champs régressent
avec mon nouveau prompt ? »
Contexte du projet → résultats d’évaluation
L’application web est disponible. La CLI, le plugin AI et l’intégration CI sont annoncés, pas encore publiés.
LE PRODUIT AVANCEDu concret.
Tout le changelog Du concret.
À chaque itération.
Expérience
Un atelier d’évaluation, pensé pour les développeurs.
Une identité noire et blanche, un besoin décrit en quelques mots et une démo à explorer avant de créer un compte.
Voir les nouveautés BenchmarkComparez aussi la façon d’envoyer vos documents.
PDF natif ou pages en images, fournisseur imposé : les variantes de modèle enrichissent la comparaison. Les analyses de coût gagnent en précision.
Voir les nouveautés DonnéesMoins de clics pour améliorer vos références.
Retrouvez une valeur dans les documents et corrigez les répétitions depuis le Réviseur. Les références restent au cœur de l’évaluation.
Voir les nouveautésQUELQUES RÉPONSES AVANT LE PREMIER RUN
Les bonnes questions.
Vous cherchez un outil pour évaluer les outputs JSON de vos requêtes AI ? Voici ce que JsonEval couvre, et ce qui arrive ensuite.
À quoi sert JsonEval ?
JsonEval est un outil d’évaluation des réponses JSON produites par des modèles d’IA. Il benchmarke l’extraction structurée : vous fournissez un prompt, un schéma, des documents et des réponses de référence, puis comparez les LLM et versions de prompt champ par champ.
Quelle différence avec un validateur JSON Schema ?
Un validateur vérifie la structure et les types. Un JSON parfaitement valide peut pourtant contenir un montant faux, une ligne manquante ou une valeur inventée. JsonEval compare le contenu avec vos réponses attendues et attribue des scores par champ. Il complète la validation de structure.
Faut-il écrire du code pour démarrer ?
Non. L’interface web guide la création du projet : prompt, schéma issu d’un exemple JSON, documents, valeurs de référence et première comparaison. Le builder visuel et l’amorçage assisté du gold aident à préparer le jeu d’évaluation.
Puis-je comparer des modèles de plusieurs fournisseurs ?
Oui. JsonEval utilise le catalogue OpenRouter. Vous pouvez comparer plusieurs modèles sur le même corpus et le même prompt, ainsi que des variantes de transport PDF ou de fournisseur. Leur disponibilité dépend des modèles et fournisseurs concernés.
Que sont le gold et les scores par champ ?
Le gold est la réponse attendue, votre vérité de référence. Chaque champ extrait est comparé à cette référence avec une métrique adaptée : exactitude, texte, sens, nombre, date ou ensemble. Les scores sont continus entre 0 et 1 ; ils ne remplacent pas la relecture humaine du gold.
La CLI et le plugin pour les outils AI sont-ils disponibles ?
La CLI et le plugin pour les outils AI sont prévus. Ils ouvriront l’évaluation depuis le terminal et les assistants de développement. Aujourd’hui, l’expérience disponible est l’application web ; aucune commande à installer ni intégration CI n’est encore publiée.
La démo appelle-t-elle une IA ou utilise-t-elle mes données ?
Non. La démo publique utilise uniquement des documents, réponses, scores et coûts fictifs, préparés à l’avance. Elle ne demande ni compte ni clé API et ne lance aucune inférence. Les interactions restent dans votre navigateur.
Comment sont gérés les coûts d’évaluation ?
L’application affiche une estimation avant les actions qui appellent un LLM. Les analyses distinguent extraction et juge, et signalent les estimations. Les crédits prépayés, Stripe et la connexion d’une clé personnelle dans JsonEval sont encore prévus ; la démo ne représente pas une offre tarifaire.
Moins de « ça a l’air bon ».
Plus de « voilà les résultats ».
Explorez un projet fictif. Puis passez à vos propres documents.
Démo sans compte · Données fictives · Aucune inférence