Les lignes se retrouvent.
Appariez les éléments d’une collection avec leurs identifiants et un texte de secours. Comparez les valeurs correspondantes même si l’ordre des lignes a changé.
JsonEval Produits OCR EvalDOCUMENT → LLM → JSON → EVALOCR Eval.
OCR Eval.
Du document au JSON vérifié.
Vos factures, PDF et scans deviennent du JSON. Mesurez ce que votre IA a vraiment extrait. Comparez les modèles et les prompts aux réponses attendues, champ par champ.
Un prompt. Un échantillon. Des références vérifiées.
PDF & imagesFactures & lignesScores par champ
facture_lumen_0142.pdfEXEMPLE FICTIF
ATELIER LUMEN / FACTURE
TVA FR12345678901 · EUR
LUM-2026-014218.09.2026
Conseil technique — septembre
12 × 95,00 €1 140,00 €
gold.jsonRÉPONSE ATTENDUE
{
"invoice_number": "LUM-2026-0142",
"supplier_vat": "FR12345678901",
"issue_date": "2026-09-18",
"currency": "EUR",
"total_amount": 1140,
"lines": [
{
"description": "Conseil technique — septembre",
"quantity": 12,
"unit_price": 95,
"line_total": 1140
}
]
}La référence se vérifie dans le document.
UN JSON VALIDE PEUT CONTENIR UNE ERREURLa virgule passe.
La virgule passe.
Le montant aussi ?
Une structure correcte ne prouve pas l’exactitude d’une extraction. Une décimale déplacée, une date inversée ou une ligne oubliée peuvent suffire à rendre le résultat inutilisable.
total_amountEXEMPLE FICTIFAttendu dans le gold1140.00
Extrait par le modèle11400.00
Le type est correct. La valeur ne l’est pas. Le benchmark permet d’inspecter cet écart.
LE MÊME PROTOCOLE POUR CHAQUE MODÈLEVotre extraction.
Votre extraction.
Un test reproductible.
Commencez avec un document.
Élargissez aux cas qui vous posent problème.
- 01
Décrivez le JSON attendu.
Collez votre prompt et un exemple JSON. JsonEval détecte la structure ; vous ajustez les types, les collections et les métriques dans le builder.
prompt.txt + exemple.json - 02
Posez les bonnes références.
Importez un échantillon de documents. Ajoutez les réponses correctes ou faites-les préremplir par un modèle, puis relisez ce gold.
documents + gold - 03
Mesurez. Puis itérez.
Choisissez les modèles, confirmez l’estimation de coût et lancez le run. Comparez les champs, le coût et la latence avant de changer votre prompt.
benchmark + écarts
CHOISISSEZ CE QUI COMPTE DANS VOTRE JSONChaque champ.
Chaque champ.
Sa règle d’évaluation.
Des scores entre 0 et 1.
Le détail derrière la moyenne.
| Champ JSON | Type | Ce qu’on vérifie | Métrique possible |
|---|---|---|---|
invoice_number | string | Le bon identifiant | exact |
supplier_vat | string | Le bon numéro de TVA | exact |
total_amount | number | Le montant et sa tolérance | number_tolerance |
issue_date | date | Une date normalisée | date_match |
lines[].description | string | Un libellé comparable | fuzzy / semantic |
lines[].quantity | number | Une quantité sur la bonne ligne | number_tolerance |
Le transport se compare.
PDF natif ou pages rendues en images : créez des variantes séparées pour observer l’effet sur l’extraction, avec le même prompt.
La qualité a son contexte.
Explorez les erreurs, le coût par document et la latence. Les prédictions conservées peuvent être rescorrées après une correction du gold.
DU SCORE À LA VALEUR EXTRAITERepérez le champ.
Explorer ce benchmark Repérez le champ.
Ouvrez le document.
Heatmap → champ → document → référence → prédiction.Captures et scores fictifs ; aucune performance réelle revendiquée.
POUR VOTRE PIPELINE DOCUMENTAIRE
Avant le premier run.
Le schéma définit ce que vous évaluez. Le gold définit la réponse attendue. Le run montre l’écart.
Que recouvre OCR Eval dans JsonEval ?
OCR Eval est le parcours d’évaluation de l’extraction documentaire par IA : document → LLM → JSON. Vous fournissez des PDF, scans ou images, un prompt, un schéma et des réponses attendues. JsonEval compare les modèles et les versions de prompt sur ces données. Ce parcours évalue les champs extraits ; il ne constitue pas un service OCR autonome ni une interface d’import de résultats de moteurs OCR tiers.
Puis-je comparer un PDF natif avec des pages en images ?
Oui. Les variantes permettent de comparer le transport du PDF natif et de ses pages rendues en images, avec un prompt partagé. Chaque variante apparaît séparément dans le benchmark. La prise en charge dépend du modèle et du fournisseur choisis.
Comment préparer les réponses de référence ?
Le gold est le JSON correct attendu pour chaque document. Vous pouvez importer ces valeurs, les saisir ou les préremplir avec un modèle de référence. Relisez-les avec le document et corrigez-les avant de vous appuyer sur les scores : une référence erronée fausse la comparaison.
Comment comparer les lignes d’une facture ?
Une collection regroupe les lignes à évaluer. Configurez les identifiants d’appariement et, si nécessaire, un champ texte de secours pour retrouver les éléments correspondants lorsque leur ordre change. Les champs sont ensuite scorés sur les lignes appariées ; les éléments absents deviennent visibles.
Quels scores et coûts vais-je voir ?
Les valeurs extraites sont comparées au gold avec la métrique choisie pour chaque champ : exactitude, proximité textuelle, sens, tolérance numérique ou dates. Les scores vont de 0 à 1 et les analyses présentent aussi le coût par document et la latence. Une estimation précède chaque action qui appelle un LLM ; le scoring sémantique peut faire appel à un juge facturé.
Moins de « ça a l’air bon ».
Plus de « voilà les résultats ».
Explorez un projet fictif. Puis passez à vos propres documents.
Démo sans compte · Données fictives · Aucune inférence