Quand les modèles sont d’accord, quelles preuves montrent qu’ils ont raison ?
L’accord entre modèles est un signal, pas une vérité de référence. Notre recherche étudie quand une preuve indépendante doit confirmer, nuancer ou renverser ce consensus.
Tester une trace de Recherche Judge.
Activez ou retirez des catégories de preuves pour voir pourquoi le verdict ne dépend pas du nombre de modèles d’accord.
« Le traitement reste exclusivement dans l’EEE. »
NON ÉTABLI
Les preuves disponibles restent insuffisantes pour établir un traitement exclusivement dans l’EEE.
Comment le Judge tranche une affirmation.
Le nombre d’IA favorables ne décide pas du verdict. Les positions des modèles sont confrontées aux preuves disponibles.
Recherche Judge
MODÈLE PROPRIÉTAIRELes preuves établissent l’affirmation.
Le consensus des modèles ne suffit pas : les preuves disponibles n’établissent pas un traitement exclusivement dans l’EEE.
Les preuves disponibles contredisent l’affirmation.
Six questions de recherche falsifiables.
Le programme est structuré autour de questions mesurables dont la réponse peut évoluer avec les modèles, les sources et les conditions de déploiement.
Erreurs corrélées
Mesurer quand différents fournisseurs se trompent ensemble et si l’ajout d’un modèle apporte réellement une information indépendante.
Adjudication au niveau du claim
Évaluer si des verdicts fondés sur les preuves surpassent le vote entre réponses complètes ou le jugement générique par LLM.
Qualité des preuves
Modéliser autorité, fraîcheur, provenance et preuves contradictoires plutôt que de traiter toutes les citations de manière équivalente.
Calibration
Mesurer si la confiance et les états non résolus correspondent à la justesse observée selon le domaine et le temps.
Économie de la vérification
Étudier quand une vérification plus profonde améliore suffisamment la qualité pour justifier coût et latence supplémentaires.
Regret de routage
Mesurer si une autre combinaison de modèles ou de vérification aurait atteint une qualité comparable avec moins de coût ou de latence.
Comment savoir si le système progresse
Les évaluations comparatives doivent être versionnées car modèles, fournisseurs et sources évoluent. Les résultats doivent distinguer les mesures observées des objectifs.
Les modes de défaillance font partie du résultat scientifique.
Maturité actuelle
Recherche.fr est un prototype de recherche construit sur une plateforme multi-fournisseurs existante. Les fondations d’orchestration et de comparaison existent ; l’adjudication au niveau des affirmations, la calibration du Judge, la vérification adaptative et la validation industrielle représentative restent en R&D active.
Une question de recherche doit pouvoir échouer.
Explorez hypothèse, mesure et critère de falsification sans convertir un schéma conceptuel en faux benchmark.
Aucune valeur numérique ici n’est présentée comme une performance observée.
Recherche-Eval-01 — le protocole avant les performances.
Le premier benchmark public doit répondre à une question étroite : l’adjudication au niveau des affirmations, confrontée à des preuves indépendantes, réduit-elle les faux états « établi » par rapport à des baselines plus simples ? Aucun résultat de performance n’est publié tant que le benchmark, la vérité de référence et le protocole d’évaluation ne sont pas figés.
Mesurer la réduction des erreurs factuelles au niveau des claims et des faux verdicts « établi » sans masquer l’incertitude.
Recherche.fr doit être comparé à des approches moins coûteuses et plus simples à déployer, pas à un homme de paille.
Le coût et les latences P50/P95 sont suivis avec la qualité, car une vérification plus profonde a un coût opérationnel.
Ces cas testent si le Judge suit les preuves plutôt que la confiance, le style, la majorité ou la présentation des sources.
Les claims nécessitent une vérité de référence contrôlée, une provenance des sources et une politique d’évaluation figée avant tout score.
Les résultats mesurés seront distingués des objectifs et des exemples illustratifs.
Test de réponse fausse persuasive.
Un système qui ne gère que les hallucinations évidentes ne suffit pas. L’un des cas d’évaluation décisifs est une réponse fausse, fluide, confiante, bien structurée et appuyée par une source faible mais plausible en apparence.
L’accord est volontairement corrélé et la réponse la plus forte est formulée de manière persuasive.
La couche de vérification doit distinguer preuve indépendante, répétition et simple apparence d’autorité.
Le bon état peut être Non établi, Contredit ou explicitement non résolu selon les preuves disponibles.
Le verdict ne devrait pas changer simplement parce que la mauvaise réponse est plus longue, plus élégante ou affichée en premier.