Monographie de recherche · Validation externe

Critique externe, reproductibilité et droit au désaccord

Note de version — 14 septembre 2026. La traduction principale de La Bible Savoy comporte désormais sept restitutions : Clarté · Lecture · Proclamation · Déployée · Littérale · Philologique · Paraphrase. Les mentions à six restitutions conservées dans ce chapitre décrivent un état antérieur du modèle, un protocole ou un snapshot quantitatif établi avant l’intégration de Paraphrase ; elles sont maintenues pour la traçabilité historique et empirique.

Une méthode élaborée principalement par son propre concepteur ne peut être considérée comme suffisamment éprouvée tant qu’elle n’a pas été exposée à des critiques compétentes indépendantes. La critique externe ne vise pas l’homologation du projet : elle vise la détection d’erreurs, de présupposés et de catégories mal définies.

Principe. La critique utile est celle qui peut conduire à une décision identifiable : confirmer, préciser, réviser ou réouvrir.

1. Dispositif de critique externe

Profils d’évaluateurs

La validation externe devrait réunir plusieurs compétences : hébreu biblique, grec du Nouveau Testament, critique textuelle, traductologie, exégèse, oralité/performance, édition numérique et français éditorial. Aucun évaluateur individuel n’est supposé couvrir l’ensemble.

L’indépendance des évaluateurs doit elle aussi être décrite. Un collaborateur ayant participé à la rédaction d’un passage peut fournir une relecture experte mais ne constitue pas, pour ce passage, une critique entièrement externe. Le protocole doit donc distinguer relecture interne, expertise associée et évaluation indépendante, sans dévaloriser les deux premières.

Les conflits d’intérêts intellectuels ou institutionnels n’annulent pas automatiquement un jugement, mais ils doivent être déclarés lorsqu’ils peuvent influencer l’interprétation des résultats. La pluralité des profils réduit le risque qu’une seule école philologique ou théologique devienne la norme implicite de l’évaluation.

Échantillons préenregistrés

Pour limiter la sélection opportuniste des « bons exemples », certains corpus de test devraient être déterminés avant l’évaluation : passages simples, difficiles, doctrinalement sensibles, textuellement instables, poétiques, narratifs et argumentatifs. La procédure doit conserver la liste initiale même lorsque les résultats sont défavorables.

Première lecture partiellement aveugle

Lorsque cela est possible, l’évaluateur reçoit d’abord le passage source, les sept restitutions et leurs cahiers fonctionnels sans lire la justification détaillée du projet. Il relève les problèmes perçus, puis confronte ensuite ses observations au dossier commun. Cette séquence réduit le risque de valider une formulation parce qu’on a déjà lu sa défense.

Matrice des tâches d’expertise

La pluralité des compétences ne doit pas conduire à demander la même chose à tous. Un hébraïsant peut évaluer morphosyntaxe et lexique sans être chargé de juger la prosodie française ; un spécialiste de lecture publique peut détecter une ambiguïté auditive sans prétendre résoudre une variante textuelle. Chaque campagne externe doit donc publier une matrice indiquant quelles dimensions chaque évaluateur était mandaté pour examiner et lesquelles restaient hors de son périmètre.

Cette répartition protège le projet contre l’argument d’autorité généralisé. La compétence reconnue dans un domaine ne transforme pas automatiquement toute préférence stylistique ou théologique de l’évaluateur en verdict méthodologique. L’expertise doit être localisée comme les décisions de traduction elles-mêmes.

Évaluation du dossier, pas seulement du français

Une critique externe ne doit pas se limiter au style des sept textes. Elle doit pouvoir remonter vers le dossier commun : variante retenue, analyse syntaxique, lexique, statut épistémique, dette documentaire et provenance. Le désaccord le plus important peut porter sur une décision amont alors même que la phrase française paraît excellente.

Droit au désaccord documenté

Le modèle n’exige pas que tous les spécialistes aboutissent au même choix. Il exige que le lieu du désaccord soit localisable. Deux analyses peuvent rester défendables ; dans ce cas, le résultat correct n’est pas toujours de trancher, mais parfois de classer le dossier en statut D et de répartir l’information entre restitution et Étude.

2. Enregistrement et reproductibilité

Enregistrement des critiques

Une objection substantielle doit pouvoir recevoir un identifiant, être liée aux décisions concernées, enregistrer la réponse du projet et conserver son statut : acceptée, partiellement acceptée, rejetée avec justification, ou ouverte. L’histoire critique fait partie de la provenance intellectuelle du modèle.

La réponse du projet doit conserver le texte de l’objection suffisamment précisément pour qu’un tiers puisse juger la décision. Résumer une critique en termes trop généraux risquerait de la rendre plus facile à rejeter. Le registre peut donc distinguer l’énoncé original, la qualification méthodologique du problème, la réponse argumentée et l’action entreprise.

Une objection rejetée n’est pas nécessairement supprimée. Si elle repose sur une analyse défendable mais minoritaire, elle peut rester ouverte comme alternative documentée. Le droit au désaccord implique que la gouvernance ne transforme pas toute divergence externe en anomalie à résoudre.

Reproductibilité raisonnable

Reproduire le travail ne signifie pas imposer qu’un autre traducteur écrive la même phrase. Une reproductibilité pertinente exige qu’un tiers puisse reconstruire les données de départ, les analyses admissibles, les critères appliqués et la logique de la décision. Le résultat peut diverger, mais le chemin du désaccord doit être inspectable.

Paquet de reproduction

Pour un échantillon publié, un paquet de reproduction devrait idéalement contenir : texte source identifié, variantes utiles, dossier morphosyntaxique, lexique mobilisé, bibliographie, registre décisionnel, sept restitutions, version de la grille et historique des révisions. Les données soumises à licence peuvent être référencées plutôt que redistribuées.

Le paquet doit également identifier les versions logicielles ou scripts lorsque ceux-ci ont produit des mesures utilisées dans l’argument. Il n’est pas nécessaire de reproduire toute l’infrastructure du site ; il faut fournir les éléments dont dépend la conclusion : données d’entrée, transformation, paramètres, résultats et version des règles.

Une reproduction réussie ne signifie pas nécessairement obtenir mot pour mot la même traduction. Elle peut consister à reconstruire le même dossier, retrouver les mêmes alternatives principales et comprendre pourquoi la décision finale diverge. Cette forme de reproductibilité argumentative est particulièrement adaptée aux humanités interprétatives.

Évaluation inter-évaluateurs

La grille doit être assez précise pour que plusieurs évaluateurs classent de manière raisonnablement convergente les mêmes défauts. Les divergences d’annotation ne sont pas uniquement du « bruit » : elles peuvent révéler qu’une catégorie est trop vague et doit être redéfinie.

Accord entre évaluateurs

Lorsque plusieurs évaluateurs appliquent la même grille, leur accord ne doit pas être apprécié par simple impression. Les travaux sur l’accord inter-codeurs montrent qu’un coefficient d’accord doit être choisi en fonction du type de donnée, du nombre d’évaluateurs, de l’échelle utilisée et de la place du hasard attendu (Artstein et Poesio 2008 ; Krippendorff 2018). La Bible Savoy n’impose donc pas d’avance un coefficient universel : elle exige que la mesure retenue soit justifiée et que les désaccords substantiels restent accessibles.

Un accord faible peut signaler trois réalités différentes : grille insuffisamment définie, phénomène réellement ambigu, ou évaluateurs insuffisamment formés à la fonction testée. Le protocole doit distinguer ces causes au lieu de transformer mécaniquement tout désaccord en erreur humaine.

Rapport minoritaire

Lorsque plusieurs évaluateurs convergent contre un avis minoritaire substantiel, le résultat ne doit pas nécessairement être réduit à la majorité. Si l’avis minoritaire mobilise des données ou une analyse admissible, il peut être publié comme rapport minoritaire ou alternative ouverte. Cette pratique est particulièrement adaptée aux passages où le statut épistémique reste C ou D.

Le vote peut être utile pour une décision éditoriale lorsque le projet doit publier une formulation, mais il ne crée pas de certitude philologique. La gouvernance doit pouvoir distinguer « option éditorialement retenue » et « analyse dominante dans la recherche », puis conserver les raisons du désaccord.

Critère de suffisance documentaire

Une critique externe fournit également un test de la documentation elle-même. Si plusieurs spécialistes compétents ne peuvent comprendre pourquoi une décision a été prise sans interroger directement le concepteur, la provenance publiée est insuffisante, même si la décision finale s’avère correcte. Le paquet de reproduction doit permettre au désaccord d’exister sans dépendre de la mémoire orale du projet.

Reproductibilité et explicabilité du processus

Dans les humanités numériques, le versionnage peut servir non seulement à préserver les fichiers mais à rendre les étapes de recherche explicables et reproductibles (Huskey 2024). Pour la Bible Savoy, la reproductibilité signifie qu’un tiers puisse retrouver l’état des données, les règles, les décisions et les transformations ayant conduit à une version donnée, sans prétendre que ce tiers doive nécessairement produire la même formulation française.

3. Calibration et critique adversariale

Calibration des évaluateurs

Avant une campagne principale, les évaluateurs doivent appliquer la grille à un petit ensemble commun de passages de calibration qui ne fait pas partie du test final. L’objectif n’est pas d’obtenir artificiellement un accord maximal, mais de vérifier que les catégories sont comprises de la même manière : qu’est-ce qu’une perte structurelle, une explicitation indue, une dette documentaire non acquittée ou une contradiction avec le dossier ?

Les désaccords de calibration doivent conduire soit à préciser la grille, soit à accepter explicitement qu’une catégorie comporte une part de jugement irréductible. Une campagne où les évaluateurs utilisent les mêmes mots pour désigner des phénomènes différents produirait une précision statistique trompeuse. La formation et la documentation du désaccord font donc partie du protocole.

Critique adversariale

La validation externe gagne à inclure au moins une phase où l’évaluateur reçoit pour mission non de « relire » le projet, mais de chercher activement les conditions de son échec. Il peut sélectionner les passages où les frontières semblent les plus fragiles, rechercher une analyse source incompatible entre deux restitutions ou tenter de démontrer qu’une fonction ne produit aucun bénéfice distinct.

Cette critique adversariale ne présuppose pas une hostilité au projet. Elle transforme les critères de réfutation en tâches concrètes. Une objection documentée qui résiste à la réponse du dossier possède davantage de valeur pour la recherche qu’une appréciation générale positive ou négative.

4. Réplication interne et réplication externe

Deux formes de réplication doivent être distinguées. La réplication interne consiste à refaire une analyse à partir du même dossier, des mêmes sources et du même protocole, éventuellement par un autre évaluateur. La réplication externe consiste à reconstruire le problème à partir des éditions et références publiées sans dépendre des notes privées du projet. La seconde est plus exigeante et mesure réellement la suffisance documentaire de la publication.

Une décision peut être reproductible au premier sens mais non au second si des données essentielles restent implicites dans l’environnement de travail. L’objectif de la monographie est donc de rapprocher progressivement les deux : le paquet de reproduction doit contenir assez d’éléments pour qu’un chercheur compétent puisse reconstruire le désaccord sans accès privilégié au poste de travail du concepteur.

Adjudication : résoudre sans effacer le désaccord

Lorsqu’une campagne produit des jugements divergents, l’adjudication ne doit pas réécrire rétrospectivement les annotations comme si un consensus avait toujours existé. Elle constitue une étape distincte : les évaluations initiales sont conservées, puis un tiers ou un groupe restreint examine le point de désaccord à partir des mêmes données. La décision finale peut retenir une analyse, maintenir plusieurs options ou demander une réouverture du dossier.

Cette séparation permet deux lectures du résultat. L’accord avant adjudication renseigne sur la clarté de la grille et la stabilité du phénomène ; l’état après adjudication renseigne sur la décision éditoriale effectivement retenue. Fusionner les deux ferait paraître la méthode plus consensuelle qu’elle ne l’est réellement.

Critique aveugle et critique contextualisée

L’aveuglement possède une valeur particulière lorsqu’il s’agit d’évaluer la réception d’une restitution ou d’éviter l’effet de réputation du projet. Il devient moins pertinent lorsqu’un spécialiste doit juger la cohérence d’une décision avec le dossier commun : il doit alors accéder aux données et aux arguments. Le protocole doit donc alterner deux temps plutôt que choisir une seule modalité.

Une première lecture partiellement aveugle teste le texte tel qu’il se présente. Une seconde lecture contextualisée teste la justification et la provenance. Une formulation peut échouer au premier temps mais apparaître défendable après examen du dossier ; ce résultat révèle alors un problème de lisibilité documentaire plutôt qu’une erreur philologique. Inversement, une phrase convaincante à première vue peut se révéler fondée sur une analyse faible lorsque le dossier est ouvert.

Indépendance de sélection et indépendance de jugement

Un évaluateur peut être indépendant dans son jugement tout en recevant un échantillon sélectionné par le projet, ou sélectionner lui-même des passages tout en connaître l’architecture et ses hypothèses. Ces deux formes d’indépendance doivent être distinguées. Pour les campagnes les plus fortes, il est souhaitable qu’une partie de l’échantillon soit déterminée par le protocole ou par des tiers avant que le concepteur n’en connaisse les résultats détaillés.

Cette précaution réduit un biais subtil : même sans modifier les restitutions, le projet peut choisir inconsciemment les passages où il sait que le modèle fonctionne bien. Une sélection partiellement externe oblige l’architecture à affronter des zones qu’elle n’aurait pas spontanément privilégiées.

Critique de la méthode et critique de l’implémentation

Une objection peut viser le modèle théorique ou seulement la manière dont il a été appliqué. « Cette Philologique devient un commentaire » critique une réalisation locale ; « la frontière Philologique/Étude ne peut jamais être définie de façon reproductible » vise la conception même des catégories. Le registre doit distinguer ces niveaux pour éviter deux erreurs symétriques : protéger la théorie en qualifiant toute objection de simple défaut d’exécution, ou abandonner l’architecture à cause d’une mauvaise réalisation ponctuelle.

Une objection architecturale exige des preuves plus larges : répétition du problème dans plusieurs genres, désaccord persistant entre évaluateurs compétents, impossibilité de formuler une règle opérationnelle ou absence de bénéfice fonctionnel mesurable. Une objection locale, elle, peut être résolue par révision sans modifier le modèle.

Critique externe cumulative

La validation ne devrait pas être conçue comme un événement unique où un comité attribuerait un label définitif. Chaque campagne peut examiner un périmètre différent : critique textuelle, oralité, français éditorial, numérique, cohérence inter-restitutions. L’état de validation du projet résulte alors de l’accumulation de ces contrôles, chacun daté et limité.

Cette structure cumulative est plus adaptée à une traduction évolutive. Un domaine déjà fortement examiné peut rester stable tandis qu’un nouveau corpus entre en révision. Le statut de validation devient une carte des contrôles effectués plutôt qu’une affirmation binaire « validé / non validé » appliquée à toute la Bible Savoy.

Réplication après correction

Lorsqu’une critique conduit à modifier une règle du modèle, il faut distinguer vérification de la correction et réplication indépendante. Revenir sur le passage qui a révélé le défaut permet de vérifier que le problème local est résolu ; cela ne démontre pas que la nouvelle règle généralise. Une seconde série de passages, non utilisée pour construire la correction, doit être examinée.

Cette procédure évite une forme de surapprentissage méthodologique. Un modèle peut devenir excellent sur une petite collection de cas célèbres simplement parce qu’il a été ajusté à chacun d’eux. Sa valeur pour la recherche dépend de sa capacité à traiter correctement des difficultés nouvelles qu’il n’a pas encore rencontrées.

Réponse publique structurée

Lorsqu’une campagne externe produit plusieurs objections, la réponse du projet doit éviter deux extrêmes : une défense narrative globale qui rend difficile le suivi de chaque point, ou une série de corrections sans mémoire de l’argument initial. Une matrice de réponse peut associer à chaque objection son identifiant, le passage concerné, le diagnostic externe, la réponse, les données nouvelles, la décision prise et l’effet sur les restitutions ou sur la méthode.

Cette structure permet également de publier les désaccords persistants. Une objection peut être suffisamment sérieuse pour rester ouverte sans bloquer tout le projet. Le lecteur doit pouvoir distinguer « objection examinée et rejetée », « objection ayant conduit à correction », « objection ayant réduit le degré de confiance » et « désaccord non résolu ».

Indépendance réelle de la critique

L’indépendance ne se réduit pas à l’absence de participation directe au projet. Un évaluateur peut partager les mêmes présupposés philologiques, utiliser les mêmes ressources secondaires ou avoir été formé dans la même tradition méthodologique. Une critique robuste gagne donc à diversifier les profils : critique textuelle, linguistique, traductologie, exégèse, oralité, édition numérique et expertise de la langue française.

Cette diversité ne vise pas un équilibre idéologique artificiel. Elle vise à exposer le modèle à des compétences qui détectent des classes d’erreurs différentes. Le projet doit documenter le périmètre de chaque expertise plutôt que présenter plusieurs relectures partielles comme une validation globale homogène.

Critique du cas favorable

La critique externe ne doit pas porter seulement sur les passages problématiques. Un évaluateur devrait aussi examiner certains « bons exemples » utilisés dans la monographie et tenter de montrer qu’ils n’établissent pas ce que le projet prétend. Cette procédure est importante parce qu’un cas exemplaire peut avoir été sélectionné précisément parce qu’il illustre bien la théorie.

Si un exemple central résiste à une lecture adversariale — c’est-à-dire si la différenciation fonctionnelle reste justifiable même lorsqu’on cherche à l’expliquer par style, pipeline ou préférence personnelle — sa valeur probatoire augmente. S’il échoue, le modèle gagne à perdre un exemple trop favorable plutôt qu’à conserver une démonstration fragile.

5. Réponse, maturité et publication des résultats

Protocole de réponse aux objections

Le protocole de réponse doit surtout expliciter la conséquence de l’objection : correction d’une restitution, réouverture du dossier commun, baisse du statut épistémique, révision méthodologique ou absence d’effet traductif malgré une amélioration documentaire.

Les réponses doivent en outre éviter le déplacement du critère après coup. Si une restitution est critiquée selon une règle publiée, le projet ne peut pas simplement redéfinir la fonction pour rendre la formulation conforme. Toute modification du cahier fonctionnel est une révision méthodologique et doit être versionnée comme telle, puis retestée sur un corpus qui n’a pas servi à produire cette modification.

Seuil de maturité de la critique externe

Le niveau M5 ne doit pas être attribué parce qu’un spécialiste a lu quelques pages ou formulé une appréciation favorable. Il suppose un examen indépendant documenté sur un périmètre annoncé, avec conservation des objections et de leurs suites. Plusieurs expertises partielles peuvent être complémentaires — par exemple critique textuelle sur un échantillon et oralité sur un autre — sans qu’aucune ne prétende valider seule l’ensemble de la Bible.

La maturité méthodologique viendra ainsi d’une accumulation de contrôles traçables, non d’un label global. Un projet qui publie ses désaccords, ses corrections et les limites de chaque expertise possède une base de confiance plus robuste qu’un projet qui revendique une validation indifférenciée.

Publication des résultats négatifs

Une validation crédible doit conserver les cas où le modèle échoue : frontière mal définie, restitution redondante, surinterprétation, ambiguïté perdue, amélioration d’oralité non démontrée. Supprimer ces cas du corpus de recherche rendrait la démonstration circulaire.

Les résultats négatifs doivent être analysés à leur niveau propre. Une fonction peut échouer dans un genre précis sans être inutile ailleurs ; un critère peut produire un accord faible parce qu’il est mal défini ; un passage peut invalider une décision locale sans toucher à l’architecture. Publier le résultat négatif signifie donc aussi publier sa portée, ni minimisée ni extrapolée.

Publication des annotations d’évaluation

Lorsque les droits et la confidentialité le permettent, les évaluations devraient être publiées sous une forme structurée : référence, restitution, critère, gravité, commentaire, statut de l’objection et décision finale. Cette granularité permet de recalculer certains indicateurs, de réexaminer une campagne avec une grille ultérieure et de distinguer les conclusions du projet des observations initiales des experts.

La publication structurée protège aussi contre le biais de sélection narratif : un rapport de synthèse pourrait involontairement mettre en avant quelques objections spectaculaires et ignorer une multitude de corrections plus modestes. Les annotations constituent le niveau de preuve ; la synthèse explique ce niveau sans le remplacer.

Séparer validation du modèle et validation du texte

Le modèle peut être cohérent alors qu’un verset est mal traduit ; un verset peut être excellent sans démontrer la valeur générale du modèle. La monographie doit donc distinguer trois niveaux : validité d’une décision locale, adéquation d’une restitution à sa fonction, robustesse de l’architecture générale.

Critique et révision gouvernée

Une critique acceptée suit le même circuit que toute donnée nouvelle : réexamen du dossier commun si le fond change ; révision locale si seule la réalisation fonctionnelle est en cause ; contrôle des sept restitutions ; versionnage et documentation.

6. Publication ouverte

À mesure que la monographie se stabilisera, les protocoles, grilles, échantillons et résultats de critique externe gagneront à être publiés avec un identifiant de version et une archive pérenne. La transparence n’impose pas de publier toutes les notes de travail privées ; elle impose de publier suffisamment de données pour rendre les conclusions contestables.

Critère de maturité méthodologique. Le modèle Savoy gagnera en crédibilité non lorsqu’il cessera d’être critiqué, mais lorsqu’il démontrera qu’il sait enregistrer les objections, localiser les désaccords et réviser ses décisions sans perdre la cohérence du système.