Monographie de recherche · Partie VI

VI. Évaluation et validation méthodologique

Note de version — 14 septembre 2026. La traduction principale de La Bible Savoy comporte désormais sept restitutions : Clarté · Lecture · Proclamation · Déployée · Littérale · Philologique · Paraphrase. Les mentions à six restitutions conservées dans ce chapitre décrivent un état antérieur du modèle, un protocole ou un snapshot quantitatif établi avant l’intégration de Paraphrase ; elles sont maintenues pour la traçabilité historique et empirique.

Le modèle Savoy doit être évalué contre ses propres prétentions. La distinction entre description du fonctionnement et jugement d’adéquation reprend un principe classique de l’évaluation traductologique (House 2015). L’objectif n’est pas d’établir qu’il serait « meilleur » en général, mais de déterminer si son architecture produit effectivement des bénéfices fonctionnels identifiables sans fragmenter l’analyse source ni masquer ses propres erreurs.

Dans cette partie. 6.1 Évaluation critique · 6.2 Corpus de validation · 6.3 Maturité des corpus · 6.4 Critique externe et reproductibilité · 6.5 Évaluation par lecteurs réels · 6.6 Contrôle qualité automatisé.

1. Trois objets différents à évaluer

La validation doit distinguer trois niveaux. Une décision locale peut être correcte ou erronée ; une restitution peut remplir plus ou moins bien sa fonction ; l’architecture générale peut être cohérente ou non. Un excellent verset ne valide pas le modèle entier, et une mauvaise traduction locale ne réfute pas automatiquement son principe.

Les conclusions de la monographie doivent donc annoncer explicitement leur niveau : diagnostic local, résultat fonctionnel ou inférence sur le modèle.

2. Ce que le modèle prétend gagner

Sa force théorique principale est la séparation de fonctions que les traductions uniques doivent souvent négocier simultanément : lisibilité immédiate, continuité, oralité, explicitation, visibilité structurelle, exposition philologique et reformulation discursive contrôlée. Cette séparation n’a cependant d’intérêt que si elle produit des différences contrôlables lorsque le texte les exige.

Une convergence fréquente n’est donc pas une réfutation ; une divergence fréquente n’est pas une validation. Le critère pertinent est la capacité d’une restitution à intervenir de manière justifiée précisément lorsque sa fonction devient déterminante.

La qualité doit être appréciée selon deux axes orthogonaux : exactitude commune et adéquation fonctionnelle. Une restitution peut être très claire et pourtant fausse ; elle peut être très fidèle au dossier et pourtant échouer à sa fonction de réception. L’évaluation ne doit jamais permettre à une bonne performance fonctionnelle de compenser une erreur de sens, ni à une fidélité locale de masquer l’inutilité d’une fonction annoncée.

Cette séparation rejoint les approches contemporaines de qualité qui distinguent type et gravité des erreurs. Le modèle Savoy ajoute une dimension : certaines erreurs sont communes à toutes les restitutions parce qu’elles proviennent du dossier, tandis que d’autres n’affectent qu’une réalisation fonctionnelle. Les conséquences de révision ne sont donc pas les mêmes.

3. Risques internes de l’architecture

Les principales défaillances possibles sont désormais identifiées : Clarté peut simplifier le contenu au lieu de la réception ; Lecture peut lisser une aspérité signifiante ; Proclamation peut devenir une rhétorisation de Lecture ; Déployée peut glisser vers le commentaire ; Littérale vers l’interlinéaire ; Philologique vers l’appareil d’étude ; Paraphrase vers l’amplification libre, l’harmonisation ou l’ajout doctrinal. À un niveau plus profond, les sept textes peuvent aussi commencer à reposer sur des diagnostics sources incompatibles.

Ces risques ne sont pas des objections extérieures ajoutées après coup : ils constituent des critères d’échec internes et doivent être recherchés activement dans les corpus de validation.

Les risques doivent également être hiérarchisés par gravité. Une ponctuation maladroite en Proclamation ne possède pas le même statut qu’une négation mal portée, une variante textuelle ignorée ou une explicitation doctrinale non justifiée. Une typologie utile doit séparer : défaut stylistique mineur ; inadéquation fonctionnelle ; perte structurelle ; explicitation indue ; erreur de sens ; contradiction avec le dossier ; erreur de critique textuelle. Le dernier groupe impose généralement une réouverture en amont.

L’évaluation doit éviter l’illusion d’un score total unique. Additionner une faute typographique, une légère lourdeur de Lecture et une erreur de référent pour obtenir un nombre global masque la nature des problèmes. Les scores peuvent servir à agréger des observations homogènes ; ils ne doivent pas remplacer le diagnostic qualitatif.

4. Subjectivité, biais et fausse précision

Le dossier commun ne supprime ni le jugement du traducteur ni ses présupposés. Le choix des données pertinentes, la hiérarchisation des analyses, le degré d’explicitation et la formulation française restent des décisions humaines. L’indépendance confessionnelle est donc une procédure de justification, non une garantie d’absence de biais.

L’abondance d’outils peut en outre produire une fausse impression de certitude. Certaines ambiguïtés textuelles, lexicales, pragmatiques ou historiques restent irréductibles. Le système doit représenter l’incertitude plutôt que l’effacer derrière la technicité de l’interface.

5. Reproductibilité et critique externe

La reproductibilité pertinente ne signifie pas qu’un autre traducteur écrira nécessairement la même phrase. Elle concerne la possibilité de reconstruire les données, décisions et procédures, dans un sens proche des pratiques documentées de recherche reproductible en humanités numériques (Huskey 2024). Elle exige qu’un tiers puisse retrouver les données, reconstruire l’espace des analyses admissibles, comprendre les critères appliqués et localiser précisément son éventuel désaccord.

La validation forte requiert donc des lecteurs extérieurs — hébraïsants, hellénistes, traductologues, exégètes, spécialistes de l’oralité et de l’édition numérique — ainsi que la conservation des résultats négatifs. Une critique qui oblige à réviser une décision constitue un gain méthodologique.

La critique externe doit pouvoir porter sur quatre objets distincts : le texte source retenu, le dossier analytique, la formulation française et la définition même de la fonction. Un évaluateur peut donc conclure que la traduction est fidèle à un dossier qu’il juge lui-même erroné, ou au contraire que le dossier est solide mais que la réalisation française ne remplit pas sa fonction. Cette décomposition permet d’éviter les désaccords vagues sur la « qualité générale ».

Le protocole devra aussi enregistrer les cas où plusieurs évaluateurs défendent des solutions différentes mais également compatibles avec le dossier. Le désaccord n’implique pas automatiquement une erreur. Une méthode mature doit pouvoir distinguer pluralité admissible et incohérence.

6. État empirique actuel

Les premiers pilotes ont déjà joué un rôle critique : Actes 18 et le Psaume 117 ont révélé des problèmes de frontière ; Esther a montré qu’une forte convergence peut être légitime ; Job a mis en évidence les tensions entre Littérale et Philologique. Depuis lors, le recensement structurel s’est élargi à 41 livres complets et 19 115 unités à six restitutions. Le Nouveau Testament est désormais entièrement couvert, et plusieurs grands corpus prophétiques sont complets. Cette croissance renforce fortement la puissance descriptive du chantier sans transformer automatiquement les nouveaux fichiers en corpus validés méthodologiquement.

Ces résultats restent internes. Ils établissent que la méthode peut produire des diagnostics et provoquer des révisions ; ils ne constituent pas encore une validation académique indépendante.

7. Deux risques symétriques : sous-différenciation et sur-différenciation

Les corpus actuels rendent visible une tension que le modèle doit assumer. Dans Job, Clarté et Lecture sont identiques dans 99,1 % des unités ; dans Esther, 98,2 %. Une telle convergence peut être parfaitement légitime si les fonctions spécialisées ne sont activées que lorsqu’une difficulté réelle apparaît. Elle peut cependant révéler une sous-différenciation si, sur des passages où l’oralité, la structure ou l’explicitation devraient produire des décisions propres, les restitutions restent identiques par inertie.

À l’autre extrême, Clarté diffère de Lecture dans 99,5 % des unités d’Actes et 99,3 % de l’Apocalypse ; Philologique diffère de Lecture dans 100 % des unités de ces deux corpus. Une telle divergence peut refléter une spécialisation forte, mais elle peut aussi signaler une sur-différenciation : tendance à reformuler parce qu’une colonne distincte existe, surcharge analytique, ou production des restitutions avec une indépendance pratique trop grande.

La validation doit donc rechercher les deux erreurs. Pour les corpus convergents : les fonctions se déclenchent-elles lorsque nécessaire ? Pour les corpus divergents : chaque écart est-il réellement motivé par une contrainte fonctionnelle et compatible avec le même dossier ? Le modèle ne possède pas de taux optimal de différence ; il possède une exigence de divergence motivée et de convergence non forcée.

8. Effet de pipeline : nouvelle hypothèse critique

Le corpus élargi conserve un contraste spectaculaire mais le rend plus difficile à expliquer. Les onze livres principalement hébreux/araméens totalisent 9 505 unités et présentent 54,6 % d’identité intégrale ; les 29 corpus grecs totalisent 9 080 unités et n’en présentent aucune ; Daniel, corpus mixte de 530 unités, n’en présente pas non plus. Mais l’hétérogénéité interne devient décisive : Jérémie converge fortement, Ézéchiel beaucoup moins, et les quatre Évangiles n’activent pas Proclamation de la même manière. L’état courant renforce donc moins une hypothèse linguistique qu’une exigence de modélisation multivariée : langue, genre, livre, maturité et pipeline doivent être séparés.

Le modèle doit traiter cette distribution comme une question de recherche. Une cause linguistique ou générique est possible, mais le contraste peut aussi refléter des chaînes de production différentes : consignes, ordre de génération, politique de variation, intervention humaine, révision ou maturité. Si un pipeline incite implicitement à produire six formulations différentes, il peut créer artificiellement la preuve apparente de non-redondance que la monographie cherche justement à tester.

La validation future devra donc enregistrer le pipeline comme variable de provenance du corpus. L’objectif sera de déterminer si, à difficulté comparable, des procédures différentes produisent des profils de divergence différents. Ce contrôle devient une condition de validité des analyses quantitatives.

L’audit du code de construction transforme l’effet de pipeline en hypothèse documentée. Dans certains corpus hébraïques, les restitutions sont initialisées par héritage depuis Lecture puis modifiées seulement lorsqu’une fonction impose un écart. Dans plusieurs corpus grecs récents, les six formulations sont fournies séparément dans les fichiers de travail puis assemblées. Ces deux procédures n’ont pas la même probabilité de produire une identité exacte, indépendamment du passage traduit.

La validation doit donc distinguer non-redondance fonctionnelle et non-identité procédurale. Une architecture peut être fonctionnellement non redondante tout en produisant souvent la même phrase ; inversement, six chaînes différentes peuvent résulter d’un processus qui incite chaque sortie à être reformulée même lorsqu’aucune fonction ne le nécessite. Les statistiques de surface ne deviennent interprétables qu’après prise en compte de cette provenance.

Cette découverte est méthodologiquement importante parce que l’analyse du corpus corrige ici la manière même d’évaluer le modèle. La bonne réponse n’est pas d’harmoniser rétrospectivement les taux, mais de conserver les corpus existants comme témoins de deux régimes de production, puis de construire des tests nouveaux où le mode de dérivation est contrôlé à l’avance.

Validité de construit

La première menace concerne la définition même des fonctions. Si « Clarté », « Lecture » ou « Proclamation » ne sont pas opérationnalisées avec assez de précision, un évaluateur peut attribuer à la fonction ce qui relève simplement d’une préférence stylistique. La validité de construit exige donc que chaque fonction soit liée à des tâches observables : compréhension immédiate, continuité, première écoute, perception d’un implicite, visibilité d’une structure ou examinabilité d’un phénomène linguistique. Une différence entre chaînes n’est pas une mesure directe de ces construits.

Validité interne

La seconde menace porte sur les causes des différences observées. Genre, langue source, longueur, difficulté, maturité, ordre de production et pipeline sont actuellement partiellement confondus. Le contraste spectaculaire entre corpus hébraïques et grecs ne peut donc être attribué à une seule cause. La validité interne impose des échantillons appariés, des procédures de production contrôlées et, lorsque possible, une re-réalisation des mêmes passages sous plusieurs pipelines.

Validité externe

Une fonction qui réussit sur Job, Esther ou Actes ne peut être généralisée automatiquement à toute la Bible, encore moins à d’autres langues. La généralisation doit suivre la couverture réelle des genres, langues sources, maturités et difficultés. La Prophétie est désormais représentée par plusieurs corpus complets — Isaïe, Jérémie et Ézéchiel — mais leurs profils très différents montrent précisément qu’une catégorie de genre ne suffit pas à expliquer le comportement des restitutions. La Loi reste, elle, insuffisamment représentée dans le snapshot empirique 0.58 à six restitutions ; cette limite devra être réévaluée dans l’architecture normative actuelle à sept restitutions.

Validité écologique

Les tests doivent ressembler aux usages revendiqués. Proclamation ne peut être validée seulement par une métrique de ponctuation ; elle doit être entendue. Lecture ne peut être évaluée sur une phrase isolée ; elle doit être lue sur une séquence. Clarté doit être testée auprès de lecteurs dont la compréhension peut réellement être mesurée. Une validation réalisée uniquement par des spécialistes sur écran risquerait de mesurer l’expertise des évaluateurs plutôt que l’utilité des restitutions.

Validité des mesures

Enfin, toute métrique est un proxy. Longueur, identité exacte, segmentation, densité de crochets ou fréquence des translittérations peuvent signaler un comportement ; aucune ne mesure directement fidélité, clarté, oralité ou qualité philologique. La validation doit donc combiner métriques de surface, annotation fonctionnelle, jugement expert et tests utilisateurs. Plus un indicateur est éloigné de la fonction revendiquée, plus sa conclusion doit rester prudente.

Ces cinq niveaux de validité fournissent une discipline générale : avant d’interpréter un résultat, la monographie doit demander ce qui a réellement été mesuré, quelles variables concurrentes peuvent l’expliquer, à quelle population le résultat peut être généralisé et dans quelle situation d’usage il a été obtenu.

Trois explications concurrentes de la bimodalité

Le contraste entre corpus hébraïques et grecs peut actuellement recevoir au moins trois familles d’explications qui doivent rester concurrentes. La première est linguistique : certaines constructions grecques pourraient activer plus souvent des choix fonctionnels distincts. La deuxième est générique et discursive : épîtres argumentatives, narration, poésie et prophétie n’imposent pas les mêmes contraintes. La troisième est procédurale : des pipelines différents peuvent produire plus ou moins d’identité avant même l’évaluation qualitative.

Une quatrième variable, la maturité, interagit avec les trois autres. Un corpus en première passe peut présenter une différenciation forte qui se réduira après harmonisation, ou au contraire une convergence qui révélera ensuite une sous-différenciation. Le projet ne doit donc chercher à confirmer aucune explication unique avec les chiffres actuels. Le rôle de la monographie est de transformer ces explications en plans de test séparables.

La stratégie la plus forte consiste à construire des échantillons appariés et des re-réalisations contrôlées. Si l’effet langue demeure lorsque pipeline, difficulté et genre sont rapprochés, l’explication linguistique gagne du poids. Si le profil change surtout avec la procédure de production, l’hypothèse de pipeline devient plus forte. Si aucune variable simple ne suffit, le modèle devra accepter une causalité multifactorielle plutôt que chercher une règle générale séduisante.

Résultats qui compteraient contre le modèle

La croissance du corpus permet de préciser les observations qui affaibliraient réellement l’architecture. Premièrement, si des évaluateurs indépendants constatent que Clarté, Lecture et Proclamation ne produisent aucun bénéfice fonctionnel distinct sur des passages où leurs briefs devraient diverger, la spécialisation de ces fonctions serait remise en cause. Deuxièmement, si Littérale et Philologique ne peuvent être distinguées de manière fiable autrement que par la quantité d’annotation, leur séparation devrait être réexaminée.

Troisièmement, une récurrence de diagnostics sources incompatibles entre restitutions toucherait l’axiome le plus central : l’unité amont. Quatrièmement, si la plupart des divergences des corpus grecs disparaissent lorsqu’ils sont re-réalisés avec identité autorisée, sans perte mesurable de fonction, une partie importante de la non-redondance observée serait un artefact du pipeline. Cinquièmement, si les lecteurs réels ne bénéficient pas de Proclamation ou de Clarté selon les tâches définies, l’intention éditoriale ne suffirait pas à justifier ces restitutions.

À l’inverse, aucun taux de réussite global ne suffira à « prouver » définitivement le modèle. L’architecture est soutenue progressivement si les fonctions restent distinguables, si les erreurs communes sont localisées en amont, si les révisions peuvent être reproduites et si la critique externe améliore réellement le système. La validation est donc cumulative et révisable, comme le corpus lui-même.

Conditions qui interdisent une conclusion positive

La validation ne doit pas être formulée comme accumulation de points favorables seulement. Certaines observations doivent empêcher explicitement une conclusion positive tant qu’elles ne sont pas résolues : contradiction récurrente entre restitutions sur le diagnostic source, impossibilité pour des évaluateurs de distinguer deux fonctions autrement que par leur nom, bénéfice utilisateur absent sur les tâches correspondant à la fonction, dépendance systématique à un texte pivot ou taux élevé d’erreurs critiques masquées par de bonnes performances stylistiques.

Ces conditions sont plus fortes qu’un seuil global. Même si la majorité des passages fonctionne bien, une architecture qui produit régulièrement une classe d’erreur structurelle doit être révisée avant d’être déclarée validée. Cette logique est cohérente avec le principe de non-compensation de la grille.

Validation graduelle plutôt que verdict unique

Il est improbable qu’un projet de cette ampleur passe en une seule étape de « non validé » à « validé ». La conclusion de recherche doit être graduelle et localisée : telle fonction possède un soutien empirique dans tels genres ; telle frontière reste fragile ; tel pipeline a été contrôlé ; telle langue source reste insuffisamment testée. Une synthèse générale peut ensuite décrire le degré de soutien de l’architecture sans effacer ces différences.

Cette formulation protège également contre l’usage publicitaire du mot « validé ». Une campagne positive sur Proclamation ne valide pas automatiquement Philologique ; une critique externe favorable d’Actes ne valide pas le Psautier ; un livre arrivé à S5 n’élève pas tous les corpus au même niveau de maturité.

9. Programme de validation

Les sous-sections suivantes organisent ce passage de l’auto-évaluation à une validation plus robuste : échantillonnage stratifié et échantillons tenus à l’écart ; niveaux de maturité ; critique externe et reproductibilité ; tests avec lecteurs et auditeurs réels ; contrôle automatisé limité aux signaux que la machine peut effectivement détecter.

Instruments détaillés. Le protocole opérationnel et la grille passage par passage sont conservés en annexes méthodologiques.

Une validation robuste demande enfin des critères d’arrêt. Le projet ne peut pas déclarer le modèle validé parce qu’un certain nombre arbitraire de versets ont été examinés. Les campagnes devront annoncer ce qu’elles cherchent à établir : absence de contradictions systémiques, bénéfice mesurable de Proclamation, stabilité de la frontière Littérale/Philologique, cohérence terminologique ou autre hypothèse précise. Le volume d’échantillonnage découlera de cette question.

Cette logique implique un pré-enregistrement minimal des campagnes importantes : corpus, métriques, critères de révision et conditions de conclusion doivent être définis avant l’examen final des résultats. Le but n’est pas de reproduire mécaniquement les protocoles expérimentaux des sciences de laboratoire, mais d’empêcher une validation construite a posteriori autour des exemples qui réussissent.

10. Hiérarchie des affirmations de validation

La monographie doit employer un vocabulaire proportionné aux preuves disponibles. « Structure complète à six colonnes » signifie que les six restitutions historiquement déployées sont présentes et contrôlées formellement ; elle ne signifie pas que Paraphrase est déjà complète. Une future « structure complète à sept restitutions » supposera la couverture effective de Paraphrase. « Révisé méthodologiquement » signifie que les frontières ont été examinées. « Évalué » signifie qu’une grille et un protocole ont été appliqués sur un périmètre déclaré. « Soutenu empiriquement » suppose plusieurs observations convergentes. « Critiqué extérieurement » exige une intervention indépendante documentée. Aucun de ces termes n’autorise à déclarer le modèle « validé » sans préciser la question, le corpus et le niveau d’épreuve.

Cette hiérarchie protège le projet contre une inflation rhétorique fréquente dans les travaux méthodologiques : transformer une preuve de faisabilité en preuve de supériorité, ou une absence d’échec observé en confirmation générale. La Bible Savoy peut montrer que six fonctions sont réalisables avant de démontrer qu’elles sont toutes nécessaires ; elle peut montrer leur utilité sur certains genres avant de démontrer leur généralité.

11. Résultats capables de modifier le modèle

Une campagne de validation n’a de valeur que si ses résultats peuvent entraîner une conséquence réelle. Une sous-différenciation systématique peut conduire à redéfinir une fonction ; une sur-différenciation persistante peut imposer de modifier le pipeline ; une frontière Littérale/Philologique impossible à maintenir peut conduire à fusionner ou redéfinir des catégories ; l’absence de bénéfice mesurable de Proclamation sur des tests correctement conçus remettrait en question son autonomie.

La possibilité d’une telle conséquence doit être annoncée avant le test. Sans cela, le projet risque de réinterpréter tout résultat comme confirmation. La falsifiabilité du modèle ne réside donc pas seulement dans des axiomes abstraits : elle réside dans l’engagement à modifier l’architecture lorsque les critères publiés d’échec sont rencontrés.

Carte actuelle des preuves

À ce stade, la preuve la plus forte concerne l’existence et la spécification de l’architecture : les sept fonctions sont définies, leurs frontières sont explicites et le corpus montre qu’elles peuvent être réalisées sur une grande échelle. La preuve est également forte pour la traçabilité méthodologique dans les corpus les plus mûrs, notamment le Psautier arrivé à S5, où les étapes structurelle, philologique, critique, littéraire et éditoriale sont documentées séparément.

La preuve est intermédiaire pour la non-redondance fonctionnelle. Les études de cas et les contrastes de formulation montrent que les fonctions peuvent produire des opérations distinctes ; cependant, la fréquence avec laquelle chacune apporte un bénéfice réel reste à établir sur des échantillons tenus à l’écart et auprès d’utilisateurs appropriés.

La preuve est actuellement faible ou absente pour plusieurs affirmations plus ambitieuses : supériorité globale du modèle sur une traduction unique, bénéfice cognitif moyen pour les lecteurs, reproductibilité par une équipe entièrement indépendante, portabilité dans d’autres langues et stabilité des six fonctions après changement de pipeline. Ces questions appartiennent au programme futur et ne doivent pas être présentées comme résultats de la monographie.

Cette carte permet de formuler la contribution de manière positive sans surenchère. Le travail établit une architecture, un vocabulaire méthodologique, une formalisation, des procédures de gouvernance, un corpus substantiel et des instruments de validation. Il ne prétend pas que toutes les hypothèses attachées à cette architecture ont déjà reçu le même niveau de preuve.

Le résultat négatif comme information sur l’architecture

Les anomalies rencontrées — Philologique trop proche de l’interlinéaire dans certains pilotes, Déployée parfois surchargée, bimodalité suspecte des pipelines, convergence extrême de certains livres et divergence quasi totale d’autres — ne sont pas des éléments à retrancher du dossier pour rendre le modèle plus convaincant. Elles constituent une partie de la démonstration : l’architecture produit des critères capables de détecter ses propres dérives.

La qualité méthodologique future dépendra de la manière dont ces signaux seront transformés en tests. Si une anomalie conduit uniquement à une justification ad hoc, elle protège le modèle au lieu de l’éprouver. Si elle conduit à une règle révisée, un corpus tenu à l’écart et un résultat susceptible d’être défavorable, elle augmente au contraire la falsifiabilité du système.

12. Bilan critique provisoire

À ce stade, le modèle possède une cohérence conceptuelle et un début d’assise empirique, mais reste une architecture en cours d’épreuve. Ses principaux points faibles sont connus : dépendance à la qualité du dossier commun, poids du concepteur unique, frontières parfois instables entre restitutions analytiques et absence encore d’une critique externe systématique.

La maturité méthodologique ne se mesurera donc ni au nombre de versets produits ni à l’absence d’objections, mais à la capacité du projet à rendre ses décisions inspectables, à publier ses échecs, à supporter la reproduction de ses analyses et à réviser le corpus sans perdre la cohérence de l’ensemble.