Méthodologie de validation

Protocole méthodologique d’évaluation du modèle Savoy

Note de version — 14 septembre 2026. La traduction principale de La Bible Savoy comporte désormais sept restitutions : Clarté · Lecture · Proclamation · Déployée · Littérale · Philologique · Paraphrase. Les mentions à six restitutions conservées dans ce chapitre décrivent un état antérieur du modèle, un protocole ou un snapshot quantitatif établi avant l’intégration de Paraphrase ; elles sont maintenues pour la traçabilité historique et empirique.

La validation du modèle ne peut reposer sur l’impression générale de qualité d’une traduction. Elle doit tester séparément la fidélité au dossier commun, l’adéquation fonctionnelle de chaque restitution, la cohérence entre restitutions et la reproductibilité de l’évaluation.

1. Principe d’évaluation

Le modèle est évalué contre ses propres spécifications. Une restitution n’est pas jugée selon un idéal abstrait de « bonne traduction », mais selon deux exigences cumulatives : ne jamais sortir de l’espace des analyses admissibles du dossier commun et remplir effectivement la fonction qui lui est assignée.

Cette distinction reprend un principe général de l’évaluation traductologique : décrire et expliquer d’abord le fonctionnement du texte et de sa traduction, puis seulement porter un jugement sur leur adéquation (House 2015). Elle rejoint également les approches analytiques de qualité qui exigent des spécifications explicites avant de classer les erreurs.

Le protocole doit être appliqué dans un ordre qui limite le biais rétrospectif. L’évaluateur commence par le passage source et le dossier commun, puis examine les restitutions selon leur cahier fonctionnel. Lorsque l’évaluation porte spécifiquement sur la réception — Clarté, Lecture ou Proclamation — une première phase peut au contraire masquer temporairement certaines justifications afin d’observer le comportement du texte cible avant de lire sa défense.

Chaque campagne doit conserver la distinction entre évaluation formative et évaluation probatoire. La première sert à améliorer le système et peut être itérative ; la seconde cherche à produire un résultat publiable et doit donc utiliser un état gelé du corpus, une grille versionnée et des critères annoncés avant l’examen final.

2. Unité d’évaluation

L’unité primaire est le segment traductif — généralement le verset, mais parfois une unité syntaxique ou poétique plus large lorsque le sens, le parallélisme ou la prosodie dépassent la frontière versifiée. L’évaluation doit donc pouvoir agréger plusieurs versets lorsque la fonction testée l’exige.

3. Échantillonnage du corpus

Un corpus de validation doit couvrir des genres différents : narration, loi, poésie, prophétie, sagesse, évangile, discours et argumentation épistolaire. Il doit également suréchantillonner les passages à forte contrainte : ambiguïtés, variantes textuelles, idiomes, répétitions structurantes, forte réception doctrinale, constructions syntaxiques difficiles et séquences destinées à la proclamation.

Maturité du corpus évalué

Tout résultat doit indiquer si le corpus est hérité, structuré, complet, méthodologiquement révisé, évalué ou extérieurement critiqué. Une statistique sur un corpus rétroadapté ne possède pas la même valeur probatoire qu’un corpus natif contrôlé. Voir l’échelle de maturité.

Constitution du corpus. La stratégie détaillée de stratification, de pré-enregistrement et de séparation entre développement et validation est définie dans Constitution du corpus de validation.

Contrôle du pipeline. L’échantillonnage doit enregistrer non seulement le genre, la langue et la maturité, mais aussi le mode de production des sept restitutions. Un corpus construit par héritage depuis Lecture avec exceptions ne possède pas la même probabilité d’identité qu’un corpus où sept formulations ont été produites indépendamment. La campagne de validation doit donc soit comparer des corpus issus d’un même pipeline, soit inclure explicitement le pipeline comme facteur de stratification.

Pour les tests décisifs de non-redondance, le protocole prévoit un test de re-réalisation contrôlée. Un passage tenu à l’écart est d’abord doté de son dossier commun et de ses six briefs fonctionnels. Deux équipes ou deux sessions distinctes produisent ensuite les restitutions selon deux procédures : dans la première, l’identité avec une formulation de base est autorisée tant qu’aucune fonction ne justifie un changement ; dans la seconde, chaque restitution est réalisée directement depuis le dossier sans consulter les autres sorties. Les résultats sont anonymisés et évalués par la même grille.

L’objectif n’est pas de déterminer quel pipeline « produit le plus de différences ». Il est de mesurer si l’un ou l’autre améliore réellement l’adéquation fonctionnelle, réduit les erreurs ou modifie seulement la distance de surface. Si deux procédures obtiennent des évaluations fonctionnelles comparables mais des taux d’identité très différents, la distance entre chaînes devra être interprétée comme un artefact de production au moins partiel.

La validation d’une fonction doit enfin être robuste à une permutation du pipeline : Clarté n’est pas validée parce qu’elle diffère de Lecture dans un régime où cette différence était implicitement attendue ; elle l’est si des évaluateurs peuvent identifier un bénéfice de compréhension lié à des transformations justifiables. De même, la convergence d’un corpus hérité de Lecture n’est pas un échec si les tests montrent que les passages réellement difficiles activent effectivement les fonctions spécialisées.

4. Grille commune à toutes les restitutions

Chaque segment reçoit d’abord une évaluation transversale : fidélité aux données textuelles, compatibilité avec l’analyse morphosyntaxique, respect des relations lexicales pertinentes, absence d’explicitation injustifiée, absence de contradiction avec les autres restitutions sur le diagnostic source, et traçabilité de toute décision significative.

5. Critères propres aux sept restitutions

6. Typologie d’erreurs adaptée au modèle

L’évaluation peut emprunter à des cadres analytiques comme Multidimensional Quality Metrics (MQM) le principe d’une typologie d’erreurs et de niveaux de gravité, mais la grille Savoy doit rester spécifique à ses fonctions. Les catégories minimales sont : erreur textuelle, erreur philologique, erreur de sens, explicitation non fondée, perte structurelle, inadéquation fonctionnelle, incohérence inter-restitutions et défaut de traçabilité. Le principe d’une typologie configurable et explicite s’inspire de MQM, sans reprendre son système comme norme suffisante pour la Bible Savoy.

La gravité doit être séparée du type d’erreur. Une variation stylistique sans effet sur le sens n’a pas le même poids qu’une altération du référent, qu’une harmonisation doctrinale ou qu’une contradiction avec le dossier commun.

La gravité est classée indépendamment de la catégorie. Un défaut mineur affecte la forme sans modifier le sens ni la fonction globale ; un défaut majeur compromet la fonction ou produit une perte interprétative significative ; un défaut critique contredit le dossier commun, altère le sens de manière substantielle ou repose sur un état textuel non documenté. La classification doit rester argumentée : les étiquettes ne remplacent jamais la description du défaut.

Une même anomalie peut recevoir plusieurs catégories mais une seule cause racine doit être recherchée. Une formulation obscure en Clarté peut résulter d’un simple choix de style, d’une syntaxe source mal analysée ou d’un problème de segmentation. Corriger uniquement la surface sans identifier la cause risquerait de déplacer l’erreur vers une autre restitution.

7. Fiabilité des évaluateurs

La robustesse du protocole exige que plusieurs évaluateurs puissent appliquer la grille de façon suffisamment convergente. Il faut donc mesurer séparément la fiabilité intra-évaluateur et inter-évaluateurs, documenter les désaccords et réviser les définitions lorsqu’une catégorie produit des jugements instables.

La fiabilité exige une phase de calibration. Plusieurs évaluateurs appliquent d’abord la grille à un petit ensemble commun, discutent les divergences, précisent les définitions et recommencent sur un second ensemble. Ce n’est qu’après stabilisation suffisante des catégories que l’accord observé sur le corpus principal devient interprétable. Mesurer directement un coefficient sur une grille encore ambiguë ne ferait que quantifier son imprécision.

Les désaccords doivent être conservés à deux niveaux : désaccord sur le diagnostic source et désaccord sur l’adéquation fonctionnelle. Le premier peut exiger une réouverture du dossier ; le second peut révéler que la définition d’une restitution est insuffisamment opérationnelle. Confondre les deux empêcherait de savoir ce que mesure réellement l’accord inter-évaluateurs.

Cohérence verticale et horizontale

L’évaluation systémique distingue deux axes : verticalement, chaque restitution doit rester compatible avec le dossier commun ; horizontalement, les divergences entre restitutions doivent pouvoir être expliquées par leurs fonctions ou par une pluralité déjà documentée. Une contradiction horizontale non prévue impose de réouvrir le dossier avant toute correction locale.

8. Double évaluation : analytique et holistique

Une annotation d’erreurs ne remplace pas une appréciation globale de la fonction. Une Proclamation peut ne présenter aucune faute locale et pourtant être difficile à comprendre à l’écoute ; une Littérale peut être fidèle mot à mot et manquer la structure discursive. Chaque passage doit donc recevoir une évaluation analytique puis une appréciation holistique de l’adéquation à sa fonction.

Ordre de présentation, randomisation et effets d’apprentissage

Une comparaison de restitutions peut être biaisée par l’ordre dans lequel elles sont présentées. Lire Clarté après Lecture ne produit pas la même situation que lire Clarté seule : le lecteur a déjà construit une représentation du passage. De même, entendre deux fois une même séquence améliore mécaniquement la compréhension. Les campagnes probatoires doivent donc contrebalancer les ordres, répartir les passages entre participants et éviter que la seconde condition bénéficie systématiquement d’un apprentissage de la première.

La randomisation ne doit pas être appliquée mécaniquement lorsque le genre ou la continuité du passage exigent un ordre naturel. Dans une péricope narrative ou argumentative, il peut être préférable de randomiser l’attribution des restitutions aux groupes plutôt que l’ordre interne des versets. Le plan expérimental doit préserver l’objet qu’il prétend mesurer.

Mesure de l’effet et incertitude statistique

Les résultats quantitatifs ne doivent pas être résumés par la seule différence de moyenne. Le protocole devra rapporter, lorsque la taille de l’échantillon le permet, l’ampleur de l’effet observé et son incertitude. Une différence statistiquement détectable mais très faible peut être sans intérêt éditorial ; inversement, un effet substantiel observé sur un petit échantillon peut mériter réplication sans permettre encore une conclusion forte.

Cette exigence est particulièrement importante pour les sept fonctions, car certaines différences attendues sont locales. Proclamation peut produire un bénéfice net seulement dans les phrases à forte charge auditive ; Littérale seulement là où une structure significative serait sinon effacée. Une moyenne générale sur tout un livre peut diluer l’effet précisément là où la fonction est censée s’activer. Les analyses devront donc annoncer à la fois les résultats globaux et les résultats sur les strates où la contrainte fonctionnelle était préenregistrée comme active.

Données manquantes et décisions d’exclusion

Les exclusions doivent être décidées selon des règles explicites. Un participant qui n’a pas entendu correctement l’enregistrement, un passage techniquement mal présenté ou une réponse incomplète peuvent être exclus pour des raisons valides ; les retirer après observation des résultats parce qu’ils « dégradent » l’effet créerait un biais. Le rapport de campagne doit donc indiquer les exclusions, leur motif et le nombre d’unités effectivement analysées.

De même, une restitution contenant une erreur matérielle découverte pendant le test ne doit pas être silencieusement corrigée puis mêlée aux résultats antérieurs. Soit la campagne est arrêtée et recommencée sur un état gelé, soit les données avant/après correction sont séparées. La version du stimulus fait partie de la provenance documentaire.

9. Tests spécifiques à Proclamation

Proclamation requiert un protocole distinct : lecture par plusieurs voix, écoute sans texte sous les yeux, reformulation immédiate par des auditeurs, relevé des ambiguïtés auditives, segmentation respiratoire, stabilité des référents et perception des parallélismes. L’amélioration par rapport à Lecture doit être observable, sans diminution de fidélité.

Tests d’usage. Les protocoles propres aux sept fonctions auprès de lecteurs et auditeurs réels sont détaillés dans Évaluer les sept restitutions avec des lecteurs réels.

10. Décision : accepter, réviser, réouvrir

Le protocole ne produit pas seulement une note. Il classe chaque segment : acceptable si les contraintes communes et fonctionnelles sont respectées ; à réviser si la fonction est insuffisamment remplie sans remise en cause de l’analyse source ; à réouvrir si l’évaluation révèle une faiblesse dans le dossier commun lui-même.

La décision finale doit conserver la justification minimale ayant conduit au classement. « Acceptable » ne signifie pas « parfait » : la formulation peut contenir des préférences stylistiques discutables sans justifier une révision. « À réviser » signifie que le dossier reste stable mais que la fonction est insuffisamment réalisée. « À réouvrir » signifie qu’une donnée ou une analyse amont est en cause et que toute modification locale serait méthodologiquement prématurée.

À ces trois états peut s’ajouter à documenter lorsque la formulation est acceptable mais qu’une dette documentaire importante n’est pas encore acquittée dans Étude. Cette catégorie évite d’alourdir artificiellement la restitution pour réparer un manque qui appartient en réalité à l’appareil documentaire.

11. Critique externe et anonymisation

À terme, des évaluateurs externes doivent pouvoir examiner des échantillons sans connaître la justification interne de chaque formulation dans un premier temps, puis confronter leur jugement au dossier. Cette procédure réduit le risque de valider rétrospectivement une décision simplement parce qu’elle est déjà celle du projet.

Adjudication des désaccords

Lorsque deux évaluateurs classent différemment une même unité, l’adjudication doit préserver le désaccord initial. Un troisième évaluateur ou une discussion collective peut produire une décision de campagne, mais cette décision ne doit pas effacer les annotations originales : elles constituent une donnée sur la clarté de la grille et sur l’ambiguïté du phénomène.

L’adjudication doit également distinguer désaccord de catégorie et désaccord de fond. Deux évaluateurs peuvent reconnaître le même problème mais le classer différemment ; ce cas appelle surtout une clarification terminologique. Ils peuvent au contraire défendre deux analyses source incompatibles ; le problème appartient alors au dossier commun et ne peut être résolu par simple vote majoritaire.

Rapport minimal d’une campagne

Une campagne publiable devrait fournir au minimum : version du corpus et de la grille ; méthode de sélection des passages ; profils des évaluateurs ou participants ; procédure d’aveuglement et d’ordre ; critères d’exclusion ; résultats bruts ou suffisamment agrégés pour être vérifiables ; désaccords ; décisions de révision ; et liste des limites connues. Ce format transforme une « validation » en objet reproductible plutôt qu’en déclaration d’autorité.

12. Conditions de validation du modèle

Le modèle ne sera pas considéré comme validé parce qu’un grand nombre de versets ont été produits. Il devra montrer simultanément : une cohérence élevée du dossier commun ; des différences fonctionnelles observables et non artificielles ; un taux faible d’erreurs de frontière entre restitutions ; une fiabilité suffisante des évaluateurs ; et une capacité réelle à réviser le corpus à partir des résultats.

Critique externe. Les modalités d’évaluation indépendante, de désaccord documenté et de reproduction sont précisées dans Critique externe, reproductibilité et droit au désaccord.

Statut. Ce protocole définit la procédure de validation envisagée pour la Bible Savoy. Il ne constitue pas encore un résultat de validation : il fixe les conditions auxquelles cette validation devra être conduite.