Monographie de recherche · Méthodologie empirique

Constitution du corpus de validation : représentativité, stratification et échantillons tenus à l’écart

Note de version — 14 septembre 2026. La traduction principale de La Bible Savoy comporte désormais sept restitutions : Clarté · Lecture · Proclamation · Déployée · Littérale · Philologique · Paraphrase. Les mentions à six restitutions conservées dans ce chapitre décrivent un état antérieur du modèle, un protocole ou un snapshot quantitatif établi avant l’intégration de Paraphrase ; elles sont maintenues pour la traçabilité historique et empirique.

La valeur empirique du modèle Savoy dépend autant de la manière dont les passages sont sélectionnés que de la qualité de leur analyse. La représentativité d’un corpus n’est jamais une propriété automatique de sa taille : elle dépend de la population visée et de la manière dont ses dimensions sont échantillonnées (Biber 1993). Un corpus constitué uniquement d’exemples convaincants démontrerait peu de chose. Le protocole doit donc définir à l’avance quelles populations textuelles et quelles difficultés il cherche à représenter, comment les échantillons sont constitués et à quel moment un passage cesse d’être un test indépendant pour devenir un matériau de développement.

Principe. Le corpus doit être construit pour pouvoir mettre le modèle en difficulté, non pour maximiser le nombre d’exemples où les sept restitutions paraissent distinctes.

1. Représentativité et architecture du corpus

Ce que le corpus doit représenter

La population cible n’est pas seulement l’ensemble des versets bibliques. Elle comprend des situations traductives : prose narrative, loi, poésie, prophétie, sagesse, évangile, discours, argumentation épistolaire ; hébreu, araméen et grec ; passages textuellement stables ou instables ; unités syntaxiquement simples ou complexes ; polysémies, idiomes, répétitions, jeux lexicaux, ellipses, implicites culturels, enjeux d’oralité et passages soumis à une forte pression doctrinale.

Représentativité fonctionnelle

Un corpus peut représenter correctement les livres bibliques tout en testant très mal les fonctions du modèle. La sélection doit donc croiser deux axes : représentativité textuelle, afin de ne pas réduire la Bible à quelques genres ; représentativité fonctionnelle, afin de rencontrer suffisamment de cas où Clarté, Proclamation, Déployée, Littérale ou Philologique sont réellement sollicitées.

Stratification minimale

Le corpus de validation doit être stratifié au minimum selon : genre littéraire ; langue source ; longueur de l’unité ; difficulté morphosyntaxique ; densité lexicale ; degré d’incertitude textuelle ; présence de parallélisme ou de structure rhétorique ; dépendance à l’oralité ; charge culturelle implicite ; réception doctrinale ; niveau de maturité M0–M6 du corpus. Les proportions exactes pourront évoluer, mais les strates doivent être déclarées avant l’interprétation des résultats.

Quatre ensembles complémentaires

Le programme empirique distingue quatre ensembles. Corpus de développement : passages utilisés pour construire, corriger ou préciser les règles. Corpus descriptif : échantillon plus large destiné aux statistiques de fréquence et de divergence. Corpus de défi : cas volontairement difficiles choisis pour provoquer les frontières du modèle. Corpus tenu à l’écart : passages non utilisés pour ajuster la méthode avant l’évaluation, destinés à mesurer sa capacité de généralisation.

2. Intégrité expérimentale et contamination

Contamination du corpus

Lorsqu’un passage de validation révèle une faiblesse puis sert à modifier la règle qui l’évalue, il ne doit plus être présenté ensuite comme preuve indépendante de la règle corrigée. Il reste un cas historique précieux, mais change de statut : il rejoint le corpus de développement. Une validation ultérieure doit utiliser d’autres passages comparables qui n’ont pas servi à cette révision.

Pré-enregistrement des échantillons

Pour les phases de validation fortes, la liste des passages, les strates, les critères d’évaluation et les règles d’exclusion devraient être figés et horodatés avant l’analyse des résultats. Ce pré-enregistrement n’interdit pas d’ajouter des études exploratoires ; il empêche simplement de présenter a posteriori comme planifié un échantillon remodelé selon les résultats obtenus.

Échantillonnage par passages, non seulement par versets

Le verset est une unité pratique d’alignement, mais il n’est pas toujours une unité suffisante d’évaluation. Proclamation exige souvent une péricope ou un paragraphe entier ; la poésie peut demander plusieurs cola ; une argumentation paulinienne peut traverser plusieurs versets ; la critique textuelle peut concerner une unité longue. Le manifeste du corpus doit donc distinguer unité de stockage, unité traductive et unité d’évaluation.

Corpus natifs, rétroadaptés et niveaux de maturité

Les corpus natifs à sept restitutions doivent être analysés séparément des corpus rétroadaptés de l’ancienne architecture. De même, une statistique de validation ne devrait pas agréger indistinctement M1, M2 et M4. Le statut de provenance et le niveau de maturité deviennent des variables du corpus, pas de simples notes administratives.

3. Taille de l’échantillon et arrêt de la collecte

La monographie ne fixe pas arbitrairement un nombre magique de versets qui suffirait à « valider » le modèle. La taille requise dépend de la question étudiée et de l’hétérogénéité des strates. La collecte peut être séquentielle : on élargit l’échantillon jusqu’à ce que les principales catégories de défauts soient suffisamment observées et que l’ajout de nouveaux passages n’altère plus fortement le diagnostic. Toute règle d’arrêt devra être annoncée avant la conclusion correspondante.

Règle d’arrêt définie avant l’observation finale

Une collecte séquentielle peut être utile, mais elle devient vulnérable au biais si l’on décide de s’arrêter uniquement lorsque le résultat attendu apparaît. Le protocole doit donc formuler à l’avance une règle d’arrêt : nombre minimal de passages par strate, saturation d’un catalogue d’erreurs, précision minimale d’une estimation ou nombre maximal de cycles. Une extension de l’échantillon reste possible, à condition d’être documentée comme telle.

Cette discipline ne cherche pas à importer mécaniquement les conventions des sciences expérimentales dans la philologie. Elle répond à un problème simple : empêcher que la taille du corpus soit ajustée après coup pour faire disparaître un résultat défavorable ou renforcer artificiellement une différence faible.

Échantillonnage en grappes et unités longues

Lorsque la fonction étudiée dépend du discours, il est préférable d’échantillonner des passages entiers plutôt que des versets dispersés. Cela produit naturellement des grappes : plusieurs unités viennent de la même péricope, du même auteur ou du même livre. Le manifeste doit conserver cette structure, car cent versets provenant d’un seul chapitre ne représentent pas cent contextes indépendants.

Pour Proclamation et Lecture, l’unité longue est souvent la plus réaliste ; pour critique textuelle ou lexique, l’unité locale peut suffire. Le protocole doit donc adapter l’échantillonnage à la fonction au lieu d’imposer une granularité uniforme.

Strates rares mais méthodologiquement décisives

Certaines difficultés sont rares dans le corpus mais cruciales pour le modèle : péricopes textuellement mobiles, jeux de mots intraduisibles, hapax, euphémismes, ruptures grammaticales ou passages où plusieurs traditions confessionnelles ont stabilisé des traductions concurrentes. Un échantillonnage strictement proportionnel risquerait de les sous-représenter.

Le corpus de validation peut donc suréchantillonner ces cas, à condition de distinguer clairement deux résultats : les statistiques descriptives du corpus biblique ordinaire et les performances sur un ensemble de défi. Le suréchantillonnage sert à tester la résistance du modèle ; il ne doit pas être utilisé pour estimer la fréquence naturelle de ces difficultés.

Échantillon principal et réplication

Une validation forte gagne à prévoir non seulement un corpus tenu à l’écart, mais un second échantillon de réplication sélectionné selon les mêmes règles après la première campagne. Si un bénéfice fonctionnel n’apparaît que dans le premier ensemble, il peut dépendre d’une particularité locale ou d’un ajustement implicite. Sa reproduction sur un nouvel ensemble renforce la portée de l’inférence.

La réplication n’exige pas que les mêmes pourcentages réapparaissent. Elle doit retrouver le même type de relation : par exemple une meilleure compréhension de Proclamation sans perte de fidélité, ou une capacité accrue de Littérale à faire identifier les répétitions structurantes. La stabilité du phénomène importe davantage que l’identité numérique.

Fuite entre développement et validation

La contamination peut être plus subtile qu’une simple réutilisation de versets : une méthode peut « apprendre » d’un corpus même si les formulations finales changent. Le manifeste de validation doit donc indiquer quels passages ont servi à modifier les spécifications, quels passages ont seulement servi à tester une implémentation et quels passages sont restés réellement tenus à l’écart jusqu’à l’évaluation finale.

Échantillonnage hiérarchique

Le corpus biblique possède une structure emboîtée : versets dans des péricopes, péricopes dans des livres, livres dans des genres et traditions linguistiques. Tirer des unités comme si elles étaient indépendantes peut donner une impression de diversité supérieure à la réalité. Cinquante versets provenant du même discours de Paul ne représentent pas cinquante contextes indépendants ; plusieurs psaumes courts peuvent au contraire constituer des situations discursives réellement distinctes.

La constitution du corpus doit donc combiner plusieurs niveaux : sélection de livres, sélection de passages au sein des livres, puis unités locales à l’intérieur des passages. Les analyses devront conserver cette structure au lieu d’agréger toutes les observations comme si elles avaient le même degré d’indépendance. Le but n’est pas d’importer une sophistication statistique inutile, mais d’éviter qu’un livre volumineux ou une seule famille de constructions domine silencieusement la validation.

Couverture des mécanismes, pas seulement des genres

La stratification par genre doit être complétée par une stratification des mécanismes de traduction : variante textuelle, polysémie, ambiguïté syntaxique, idiome, discours rapporté, parallélisme poétique, chaîne référentielle, intertextualité, référent culturel, construction doctrinalement chargée et passage à forte contrainte orale. Deux textes du même genre peuvent solliciter des fonctions très différentes.

Un corpus de validation équilibré doit donc pouvoir répondre à une question plus précise que « avons-nous testé de la poésie ? » : avons-nous testé les situations dans lesquelles Littérale, Déployée, Philologique ou Proclamation prétendent apporter une capacité spécifique ? Cette couverture des mécanismes constitue la condition empirique de la non-redondance fonctionnelle.

4. Épreuves, contrôles et généralisation

Résultats défavorables et cas négatifs

Les passages où une restitution paraît redondante, échoue à sa fonction ou provoque une contradiction doivent rester dans le corpus. Leur suppression après examen introduirait un biais de sélection. Un résultat négatif peut conduire à trois issues distinctes : correction locale, révision d’une règle, ou remise en cause de l’autonomie d’une restitution si l’échec se révèle systématique.

Généralisation prudente

Une réussite sur Esther ne démontre rien à elle seule sur la prophétie ; un bon comportement dans Job ne démontre pas la robustesse en critique textuelle néotestamentaire. Les conclusions doivent être indexées aux strates réellement observées. Le modèle ne pourra prétendre à une robustesse générale qu’après avoir montré un comportement cohérent sur plusieurs genres, langues sources et types de difficulté.

Stratification croisée : genre, langue, difficulté et pipeline

L’élargissement du corpus impose désormais une stratification plus exigeante. Il ne suffit plus de répartir les passages entre narration, poésie, sagesse, épître ou prophétie. Les données actuelles montrent qu’un facteur de production peut modifier fortement le taux de divergence entre restitutions. Les échantillons de validation doivent donc croiser au minimum quatre dimensions : genre, langue source, difficulté textuelle ou linguistique et pipeline de production.

Un échantillon destiné à tester l’effet du genre devrait par exemple comparer des passages poétiques hébreux produits sous des procédures différentes, ou des unités narratives grecques et hébraïques appariées sur leur complexité. Sans ce croisement, une différence attribuée au genre peut n’être que l’effet d’une campagne de traduction plus interventionniste. La représentativité ne concerne donc plus seulement le texte biblique ; elle concerne également l’histoire de production du corpus.

Échantillons appariés

Une stratégie utile consiste à former des paires ou petits ensembles de passages comparables : longueur voisine, absence ou présence similaire de variantes textuelles, complexité syntaxique comparable, même degré d’implicite, mais genres ou pipelines différents. L’objectif n’est pas de créer un faux laboratoire où tous les facteurs seraient parfaitement contrôlés ; il est de réduire les confusions les plus évidentes lorsqu’une hypothèse précise est testée.

Pour Proclamation, des passages appariés peuvent comparer phrases longues, discours rapportés et poésie. Pour Philologique, on peut opposer unités simples sans difficulté particulière et unités comportant variante, polysémie ou rattachement ambigu. Une restitution qui diverge massivement même dans les unités simples mérite un audit différent de celle qui diverge surtout dans les unités à forte contrainte.

Corpus de contrôle négatif

Le protocole doit aussi inclure des passages où aucune divergence importante n’est attendue. Ces contrôles négatifs sont essentiels : ils permettent de vérifier que le système sait ne pas intervenir. Une architecture à fonctions multiples n’est crédible que si elle accepte la convergence lorsque le texte ne fournit aucune raison de spécialiser les sorties.

Les corpus très convergents fournissent naturellement de tels cas, mais ils ne doivent pas être choisis après observation du résultat. Pour une campagne forte, les contrôles négatifs sont définis avant la production ou la révision des restitutions. Leur fonction est de détecter la sur-différenciation et non de démontrer que certaines colonnes « ne servent à rien ».

Corpus de défi adversarial

À l’inverse, un corpus de défi doit concentrer les passages où plusieurs fonctions devraient nécessairement entrer en tension : ambiguïtés textuelles, génitifs disputés, jeux lexicaux, structures poétiques complexes, longues chaînes référentielles, citations adaptées, euphémismes ou passages à forte pression confessionnelle. Ces unités doivent être sélectionnées parce qu’elles peuvent réellement faire échouer le modèle.

Un bon corpus adversarial contient donc des cas susceptibles de révéler chacune des dérives connues : commentaire en Déployée, translittération excessive en Philologique, calque opaque en Littérale, rhétorisation en Proclamation, simplification indue en Clarté ou naturalisation effaçant une structure dans Lecture. La réussite sur ce corpus a plus de poids qu’une réussite sur une série d’unités ordinaires, mais elle ne remplace pas la représentativité générale.

5. Gel, traçabilité et validation externe

Gel, version et réutilisation d’un échantillon

Un échantillon tenu à l’écart perd progressivement son indépendance dès qu’il a servi à réviser la méthode. Il ne doit pas être jeté : il devient un corpus de développement documenté. Une nouvelle campagne peut alors sélectionner un autre échantillon de même strate. Cette rotation évite qu’un ensemble limité de passages devienne progressivement un examen dont le projet connaît toutes les réponses.

Chaque campagne doit donc conserver un identifiant de gel, la version du modèle, le snapshot du corpus et la date d’ouverture des résultats. Cette discipline rend possible une série temporelle : on peut observer si les mêmes catégories d’erreurs réapparaissent après plusieurs cycles de révision ou si la méthode généralise réellement au-delà des exemples connus.

Manifeste du corpus

Chaque campagne de validation devrait publier un manifeste indiquant : version du modèle ; date de gel ; passages inclus ; statut natif ou rétroadapté ; niveau de maturité ; strate ; motif de sélection ; unité d’évaluation ; éventuelles exclusions ; grille appliquée ; évaluateurs ; et statut final du passage après examen. Ce manifeste permet de reconstruire ce qui a effectivement été testé.

Relation avec la traductologie de corpus

La traductologie de corpus a montré l’intérêt d’observer empiriquement les régularités de traduction sur des ensembles structurés (Baker 1993 ; Laviosa 2002). Pour la Bible Savoy, le but n’est pas seulement de décrire des fréquences linguistiques : il est aussi de tester une architecture fonctionnelle. Les principes de représentativité, de comparabilité et d’échantillonnage restent néanmoins déterminants pour éviter qu’un corpus opportuniste ne produise une conclusion trompeuse.

Validation externe et corpus tenu à l’écart

Lorsqu’un évaluateur externe intervient, une partie du corpus tenu à l’écart peut lui être confiée sans que le projet ait préalablement optimisé les restitutions sur ces passages. Cette procédure est particulièrement utile pour Proclamation, pour les frontières Déployée/Philologique et pour les cas où une ambiguïté pourrait avoir été résolue trop tôt.

Conséquence pour les statistiques futures

Les tableaux quantitatifs devront toujours indiquer le dénominateur exact et la composition de l’échantillon. Un taux de divergence, une fréquence d’annotation ou un nombre d’alertes n’a de sens qu’avec le statut du corpus qui le produit. La monographie renonce donc aux agrégats globaux qui mélangeraient sans distinction développement, migration, validation et publication stabilisée.

6. Critère de réussite

Le corpus de validation sera méthodologiquement satisfaisant non lorsqu’il produira un taux élevé de succès, mais lorsqu’il permettra à un tiers de comprendre pourquoi ces passages ont été choisis, quelles difficultés ils représentent, quelles règles ont été testées et quels résultats défavorables ont été conservés.

Formule. Un corpus probant n’est pas un catalogue d’exemples favorables ; c’est un dispositif d’épreuve dont la sélection, la provenance et les échecs sont documentés.