Monographie de recherche · Contrôle qualité

Contrôle automatisé et jugement humain : jusqu’où peut-on auditer les sept restitutions ?

Note de version — 14 septembre 2026. La traduction principale de La Bible Savoy comporte désormais sept restitutions : Clarté · Lecture · Proclamation · Déployée · Littérale · Philologique · Paraphrase. Les mentions à six restitutions conservées dans ce chapitre décrivent un état antérieur du modèle, un protocole ou un snapshot quantitatif établi avant l’intégration de Paraphrase ; elles sont maintenues pour la traçabilité historique et empirique.

Le volume du corpus rend indispensable une assistance informatique au contrôle qualité. Mais une traduction biblique ne peut être validée par des métriques seules. Le rôle de l’automatisation est de détecter des anomalies, des asymétries et des zones de risque ; le rôle du jugement philologique est de déterminer si ces signaux correspondent à une erreur, à une divergence fonctionnelle légitime ou à une propriété du texte source.

Principe. La machine signale ; le dossier explique ; le traducteur ou l’évaluateur décide.

1. Contrôles structurels et invariants

Contrôles structurels

Les contrôles les plus fiables sont purement structurels : références manquantes ou dupliquées, champ vide, ordre des versets, nombre de restitutions, incohérence de numérotation, présence d’un statut de migration, identifiant de version du dossier et correspondance entre corpus source et corpus publié.

Invariants à surveiller

Certains éléments devraient rarement varier sans justification : noms propres, nombres, polarité d’une phrase, présence d’une négation, participants principaux, citations explicites ou repères temporels. Une divergence entre restitutions sur ces éléments ne prouve pas une erreur, mais mérite presque toujours un contrôle.

Invariants forts et invariants faibles

Les invariants peuvent être classés selon leur force. Une négation, un nombre ou un nom propre constitue souvent un invariant fort : une différence entre restitutions exige presque toujours une explication. La longueur d’une phrase ou la présence d’un connecteur explicite est un invariant plus faible : les fonctions peuvent légitimement les modifier.

Cette hiérarchie permet de réduire le bruit des alertes. Le système examine d’abord les écarts susceptibles d’altérer le contenu, puis les signaux fonctionnels plus souples.

2. Alertes fonctionnelles et documentaires

Indicateurs de frontière fonctionnelle

Des métriques simples peuvent repérer les dérives de fonction : densité de crochets ou de translittérations en Déployée et Philologique ; fréquence de termes sources en Littérale ; longueur et segmentation en Proclamation ; expansions importantes en Clarté ; taux d’identité entre restitutions ; proportion de répétitions conservées en Littérale.

Ce qu’un taux d’identité ne dit pas

Une identité élevée entre Clarté et Lecture peut être normale dans une prose simple ; une identité faible peut signaler soit une vraie spécialisation, soit une réécriture artificielle. Le taux sert donc à sélectionner des passages à examiner, jamais à attribuer une qualité au système.

Le cas inverse doit également être prévu : deux chaînes légèrement différentes peuvent être fonctionnellement identiques. Une virgule, un article ou un déplacement minime suffit à faire tomber l’identité exacte à zéro alors que la relation sémantique et syntaxique reste pratiquement inchangée. L’audit doit donc combiner plusieurs niveaux : identité stricte, distance normalisée, différence de segmentation et, lorsqu’elle peut être décrite de manière fiable, type de transformation.

La normalisation elle-même doit être documentée. Ignorer ponctuation, casse ou espaces peut être pertinent pour certaines analyses et inadmissible pour Proclamation, où la ponctuation matérialise une partie du travail oral. Il n’existe donc pas une distance textuelle universelle ; chaque métrique doit annoncer ce qu’elle neutralise.

Alertes de dette documentaire

Un contrôle semi-automatique peut rechercher les passages où Clarté, Lecture ou Proclamation deviennent nettement plus déterminées que Littérale ou Philologique : disparition d’une alternative, choix d’un agent, expansion d’un référent, transformation d’un terme polysémique. Ces écarts peuvent générer une alerte exigeant la présence d’une justification ou d’un lien vers Étude.

Dette documentaire détectable partiellement

Une machine peut signaler qu’une restitution est plus déterminée que les autres — par exemple ajout d’un agent, choix d’un référent ou suppression d’une alternative — mais elle ne sait pas si cette fermeture est légitime. L’alerte doit donc demander : existe-t-il une décision ou une note qui explique cette détermination ?

Le contrôle porte ici sur la présence de provenance, non sur la vérité de l’analyse. Il est particulièrement utile pour repérer des passages où une explicitation s’est glissée dans Clarté sans dette documentaire associée.

Alertes de cohérence

La comparaison inter-restitutions peut signaler les changements de négation, de nombre, d’agent, de temporalité, de relation causale ou conditionnelle. Un tel système ne décide pas qu’il y a contradiction ; il demande si le dossier commun contient une raison suffisante pour cette différence.

Les contrôles les plus utiles portent souvent sur des invariants sémantiques faibles mais critiques. Une négation perdue, un nombre modifié, un agent inversé ou une relation conditionnelle transformée en causalité peut produire une différence majeure tout en laissant une forte similarité lexicale. Les détecteurs doivent donc rechercher certains phénomènes ciblés plutôt que se contenter d’une distance globale entre chaînes.

La contrepartie est un taux inévitable de faux positifs. Une négation peut être rendue positivement par antonymie ; un singulier source peut être traduit naturellement par un collectif ; un agent explicité peut provenir d’une inférence fortement contrainte. L’alerte signale alors un lieu de contrôle et non une faute.

3. Contrôles spécialisés par restitution

Contrôle de Proclamation

L’automatisation peut mesurer la longueur des segments, le nombre de propositions, les reprises de référents, la densité des enchâssements et certaines ambiguïtés de segmentation. Elle ne peut pas remplacer l’écoute réelle : rythme, mémorisation, naturel de la diction et compréhension à la première audition exigent des lecteurs et auditeurs humains.

Contrôle de Littérale

Des alignements avec le texte source peuvent mesurer la conservation de répétitions, coordinations et ordre relatif de certains constituants. Mais une conservation maximale n’est pas automatiquement bonne : le test décisif reste de savoir si la phrase constitue encore du français continu et si la rugosité correspond à une information réellement utile.

Contrôle de Philologique

La densité de métalangage, translittérations, crochets et alternatives peut être suivie. Une hausse excessive signale un possible glissement vers Étude ; une absence quasi totale dans les passages difficiles peut signaler la redondance avec Littérale. Aucune valeur seuil universelle n’est fixée : les genres et difficultés varient trop fortement.

Contrôle des statuts épistémiques

Un système peut vérifier que les décisions de statut C, D ou E sont accompagnées des données minimales requises et que les restitutions qui ferment une pluralité D portent une dette documentaire identifiable. Il ne doit pas attribuer automatiquement les statuts A–E à partir d’un score de confiance algorithmique.

4. Contrôle longitudinal

Le versionnage permet d’identifier les changements massifs : une révision du dossier commun devrait laisser une trace dans les restitutions concernées ; une modification locale de centaines de versets sans évolution documentée du dossier doit déclencher une alerte. L’audit longitudinal devient ainsi un instrument de gouvernance des révisions.

Comparer les versions, pas seulement les colonnes

L’audit longitudinal doit comparer un corpus à son état antérieur. Une correction de fond peut provoquer des changements attendus dans plusieurs restitutions ; une variation massive non documentée peut signaler une régénération accidentelle. Le diff devient ainsi une source de contrôle critique lorsqu’il est interprété avec le registre décisionnel.

Les tests doivent aussi accepter qu’une révision méthodologique provoque beaucoup de changements légitimes. Le volume du diff n’est pas un défaut ; l’absence d’explication l’est.

Faux positifs et faux négatifs

Tout contrôle automatique doit documenter ses limites. Il peut signaler à tort une divergence voulue ou manquer une contradiction exprimée par des formulations lexicalement proches. Les résultats doivent être conservés comme alertes et non comme verdicts, afin d’éviter qu’un outil de qualité ne devienne une autorité interprétative cachée.

Les performances du contrôle lui-même doivent être évaluées. Sur un échantillon annoté manuellement, on peut mesurer combien d’anomalies réelles sont retrouvées et combien d’alertes sont injustifiées. Sans cette étape, un tableau de bord peut paraître précis alors qu’il surcharge l’évaluateur de faux positifs ou laisse passer les défauts les plus importants.

Les seuils devraient être calibrés par type de signal et, lorsque nécessaire, par genre. Une longueur inhabituelle n’a pas la même signification dans un psaume, une généalogie ou une période paulinienne. Le système doit donc préférer des seuils explicables et révisables à une norme globale opaque.

Qualité d’un détecteur d’anomalies

Un contrôle automatique doit lui-même être évalué. Un détecteur qui signale presque tous les versets produit trop de faux positifs pour être utile ; un contrôle très « précis » qui ne repère qu’un petit type d’erreur peut manquer les anomalies importantes. Le tableau de bord doit donc suivre au moins deux dimensions : proportion des alertes confirmées après examen humain et proportion des erreurs connues que le contrôle parvient effectivement à retrouver sur un corpus-test.

Cette évaluation demande un petit jeu de cas annotés : erreurs réelles, divergences légitimes et passages sans anomalie. Les règles peuvent ensuite être ajustées sans utiliser directement le corpus final comme unique terrain d’optimisation.

Tableau des contrôles

5. Fonction des métriques dans l’évaluation

Les métriques n’ont de valeur que si elles permettent de tester une hypothèse définie à l’avance. Elles ne doivent pas être choisies après coup pour confirmer le comportement observé. La monographie distinguera donc indicateurs exploratoires, critères normatifs et résultats de validation.

La reproductibilité exige enfin que les scripts, paramètres et versions de corpus associés aux statistiques soient conservés. Un chiffre sans définition opérationnelle précise ne peut pas être contrôlé. Le manifeste d’une campagne quantitative doit donc identifier le fichier source, les règles de normalisation, la version du script et les exclusions éventuelles.

Tests de régression éditoriale

Après une révision importante, les contrôles automatisés peuvent servir de tests de régression. Le but n’est pas de figer l’ancienne formulation, mais de vérifier que la correction d’un problème n’en a pas créé d’autres : perte d’un verset, négation inversée, nom propre modifié, glose disparue, incohérence terminologique ou rupture de référence.

Une suite de tests versionnée devient ainsi la mémoire technique de problèmes déjà rencontrés. Lorsqu’un défaut important est corrigé, un test peut être ajouté pour empêcher sa réapparition silencieuse lors d’une transformation massive du corpus.

Jeu de tests de non-régression

Les contrôles les plus stables peuvent être regroupés dans un jeu de tests exécuté à chaque build du corpus : complétude des références, unicité, présence des six champs, invariants critiques, validité des identifiants et cohérence des métadonnées de version. Une révision qui casse un invariant structurel doit être bloquée avant publication, même si la formulation française elle-même est excellente.

Les tests sémantiques plus fragiles ne doivent pas bloquer automatiquement : ils ouvrent une alerte. Cette séparation entre erreur certaine et signal à examiner est essentielle pour éviter que l’automatisation ne transforme des heuristiques en lois linguistiques.

Échantillonnage des alertes

Un système produisant trop d’alertes devient inutilisable et finit par être ignoré. Le projet doit donc mesurer précision et utilité de chaque règle de détection sur un échantillon annoté : proportion de vrais problèmes, faux positifs et cas manqués. Une alerte peu précise peut rester utile si elle cible des erreurs critiques rares, mais son coût de revue doit être explicite.

Cette évaluation des contrôles est elle-même versionnée. Une règle améliorée ne doit pas modifier rétrospectivement les anciens rapports sans indiquer la version du détecteur employée.

Audit des outils d’assistance

Les scripts de génération et de migration doivent être inclus dans le périmètre du contrôle qualité. L’analyse récente des pipelines a montré qu’une procédure peut influencer fortement le taux de divergence entre restitutions. Le code n’est donc pas un simple tuyau neutre : ses valeurs par défaut et ses règles d’héritage deviennent des variables de provenance documentaire.

Un changement de pipeline important doit être testé sur un échantillon fixe avant généralisation. Le rapport doit indiquer si les différences observées proviennent du nouveau code, d’une nouvelle règle méthodologique ou d’une révision du dossier source.

6. Vers un tableau de bord de recherche

À terme, l’état du corpus pourrait être suivi par un tableau de bord interne : couverture des sept restitutions, maturité par livre, passages à réouvrir, dettes documentaires non acquittées, alertes de cohérence, validations externes et historique des révisions. Ce tableau de bord serait un instrument de recherche, non un score public de « qualité » de la Bible.

Priorisation des alertes

Toutes les alertes ne méritent pas le même traitement. Les contradictions possibles sur le texte source, la négation, l’agent ou le statut épistémique doivent être examinées avant les écarts de longueur ou de ponctuation. Le tableau de bord doit donc classer les alertes selon le risque interprétatif, tout en laissant au relecteur la possibilité de requalifier la gravité.

Limites d’un tableau de bord

Un tableau de bord peut créer une pression implicite à « améliorer les chiffres » : réduire les alertes, augmenter la divergence ou faire progresser les niveaux de maturité. Cette logique serait dangereuse. Les indicateurs servent à orienter l’examen, non à devenir des objectifs de performance.

Un bon tableau de bord doit donc rendre visibles aussi les zones où aucune action n’est requise et permettre de conserver une alerte comme divergence légitime après examen humain.

Règle de gouvernance. Aucun contrôle automatique ne peut modifier directement une restitution. Il peut ouvrir une alerte ; toute modification suit ensuite la procédure de révision gouvernée.