Monographie de recherche · Validation par l’usage

Évaluer les sept restitutions avec des lecteurs réels

Note de version — 14 septembre 2026. La traduction principale de La Bible Savoy comporte désormais sept restitutions : Clarté · Lecture · Proclamation · Déployée · Littérale · Philologique · Paraphrase. Les mentions à six restitutions conservées dans ce chapitre décrivent un état antérieur du modèle, un protocole ou un snapshot quantitatif établi avant l’intégration de Paraphrase ; elles sont maintenues pour la traçabilité historique et empirique.

Une fonction éditoriale ne peut être validée uniquement par l’intention du traducteur. Si Clarté prétend améliorer la compréhension, Proclamation la première écoute ou Littérale la visibilité structurelle, ces effets doivent pouvoir être observés chez des lecteurs ou auditeurs réels.

Principe. Chaque restitution doit être testée par des tâches correspondant à sa fonction, et non par une question générale de préférence.

1. Fonctions à tester auprès des lecteurs

Clarté : compréhension immédiate

Les tests peuvent demander une reformulation du passage, l’identification des référents, des relations logiques ou de l’action principale sans accès à des notes. Le critère n’est pas que les participants « aiment » le texte, mais qu’ils comprennent correctement davantage d’éléments avec moins de retours ou d’explications.

Lecture : continuité et naturel

Lecture doit être évaluée sur des séquences longues : fluidité perçue, interruptions, nécessité de relire, stabilité du registre, mémorisation de la progression narrative ou argumentative. Une phrase isolée élégante ne suffit pas à démontrer la qualité d’une lecture continue.

Proclamation : première audition

Le protocole doit placer l’auditeur sans texte sous les yeux, au moins lors d’une première phase, conformément à l’idée que la qualité d’une traduction destinée à la performance doit être évaluée dans sa modalité de réception effective (Mathews 2024 ; Makutoane, Naudé et Miller-Naudé 2026). On peut mesurer compréhension immédiate, identification des référents, restitution de la structure, perception des parallélismes et endroits où l’auditeur demande une répétition. Plusieurs lecteurs à voix haute doivent être utilisés pour éviter de confondre qualité du texte et talent d’un seul lecteur.

Déployée : perception des nuances

Le test doit vérifier si l’explicitation révèle effectivement une information pertinente que Lecture laisse moins visible, sans induire les participants à croire qu’une hypothèse discutée est certaine. Une Déployée plus longue n’est pas nécessairement plus informative.

Littérale : visibilité de la structure

Des lecteurs ayant un minimum de formation peuvent être invités à identifier répétitions, parallélismes, coordinations ou ambiguïtés à partir de Littérale puis de Lecture. Le bénéfice doit être un accès accru à la structure source, non une simple impression d’étrangeté.

Philologique : utilité analytique

Philologique doit être testée auprès de lecteurs capables d’utiliser une information linguistique élémentaire. Le critère est de savoir si les phénomènes déterminants deviennent réellement plus examinables sans que la restitution ne soit transformée en commentaire continu. Une densité savante élevée peut diminuer, et non augmenter, l’utilité analytique.

2. Participants et conditions de comparaison

Groupes de lecteurs

Les participants doivent être décrits : familiarité biblique, formation linguistique, pratique de lecture publique, âge, langue première et éventuelle compétence en hébreu ou grec. Les résultats d’un groupe de spécialistes ne peuvent pas être généralisés à des lecteurs novices, et inversement.

Le recrutement doit aussi éviter deux biais opposés. Un échantillon composé uniquement de lecteurs très familiers de la Bible peut masquer les difficultés de compréhension parce que les participants reconstruisent le sens à partir de leur mémoire. À l’inverse, un groupe totalement étranger au vocabulaire biblique peut confondre difficulté du texte ancien et faiblesse de la traduction. Les campagnes devraient donc comparer plusieurs profils plutôt que chercher un « lecteur moyen » abstrait.

Les variables de familiarité doivent être enregistrées avant le test, et non inférées ensuite à partir des performances. Cela permet de distinguer un bénéfice propre à la restitution d’un effet lié à la connaissance préalable du passage.

Comparaisons partiellement aveugles

Lorsque cela est possible, les participants ne devraient pas connaître le nom ni le statut supposé des restitutions pendant le test. Cette procédure réduit l’effet d’attente — par exemple croire que « Littérale » doit nécessairement être plus fidèle ou que « Clarté » doit nécessairement être plus facile.

Un plan croisé peut être utile : différents participants reçoivent des restitutions différentes du même passage, ou le même participant reçoit plusieurs passages répartis entre restitutions selon un ordre contrebalancé. Cette organisation limite les effets d’apprentissage et évite qu’une comparaison directe transforme le test en exercice de préférence stylistique.

Pour Proclamation, le contrebalancement doit aussi porter sur les lecteurs à voix haute. Un texte mieux interprété par un lecteur professionnel peut sembler intrinsèquement supérieur. Enregistrer plusieurs voix ou randomiser les lectures aide à isoler autant que possible l’effet de la formulation elle-même.

Préférence et performance

La préférence subjective reste une donnée utile, notamment pour Lecture ou Proclamation, mais elle doit être séparée de la performance. Un texte préféré peut être moins bien compris ; un texte plus rugueux peut rendre une structure plus visible. Le modèle ne doit pas confondre agrément, utilité et fidélité.

Données qualitatives

Les entretiens, hésitations, demandes de répétition et commentaires spontanés peuvent révéler des problèmes que les scores agrégés masquent. Leur codage doit être suffisamment défini pour permettre un accord interprétable entre évaluateurs (Artstein et Poesio 2008 ; Krippendorff 2018). Ces observations doivent être codées et conservées avec le même souci de provenance que les autres évaluations.

Validité écologique des tests

Une tâche expérimentale très contrôlée peut mesurer précisément un phénomène sans reproduire la situation réelle d’usage. Un questionnaire phrase par phrase n’est pas identique à une lecture dévotionnelle de plusieurs pages ; une audition au casque dans le silence ne reproduit pas une proclamation dans une assemblée ; un test de Littérale auprès d’étudiants avertis ne dit rien de son utilité pour un lecteur non formé. Les campagnes doivent donc distinguer contrôle expérimental et validité écologique.

La stratégie la plus robuste combine plusieurs niveaux : petites tâches contrôlées pour isoler un mécanisme, passages plus longs pour vérifier qu’il résiste à la continuité, puis observations dans une situation proche de l’usage revendiqué. Les résultats peuvent diverger ; cette divergence est informative. Une Proclamation efficace dans un test de phrases isolées mais moins claire dans une lecture publique longue révèle un problème que la mesure locale ne pouvait pas voir.

Coût cognitif et bénéfice fonctionnel

Une restitution peut réussir en rendant une information plus visible tout en augmentant fortement l’effort nécessaire pour lire. Ce coût n’est pas nécessairement un défaut : Littérale et Philologique acceptent une densité supérieure parce que leur fonction n’est pas la lecture la plus fluide. Mais le coût doit rester proportionné au bénéfice. Une rugosité qui n’aide pas le lecteur à voir une structure n’est qu’une difficulté ajoutée.

Les tests peuvent donc combiner performance et coût : temps de lecture, relectures, demandes de répétition, hésitations ou charge perçue. Ces mesures ne doivent pas devenir un objectif de vitesse ; elles servent à vérifier que la spécialisation n’impose pas un effort sans information supplémentaire.

3. Plan expérimental minimal

Les tests lecteurs doivent être conçus de manière à séparer autant que possible effet du texte, effet de l’ordre de présentation et effet des attentes. Une même personne ne devrait pas toujours recevoir Lecture avant Clarté ou Proclamation avant Lecture. Un plan contrebalancé répartit les ordres et évite qu’une seconde lecture bénéficie simplement de la familiarité acquise lors de la première.

Les passages doivent également être répartis entre conditions. Faire lire les sept restitutions successivement du même verset à tous les participants produirait un apprentissage artificiel. Il est préférable de constituer plusieurs listes équivalentes : chaque participant voit ou entend une partie des passages dans une restitution, tandis que d’autres participants reçoivent les mêmes passages sous une autre forme. Les comparaisons peuvent ensuite être agrégées.

Taille d’échantillon et précision attendue

La taille d’une campagne ne doit pas être fixée par un nombre symbolique de participants. Elle dépend de la variabilité des réponses, du nombre de conditions comparées, de l’effet minimal que l’on souhaite pouvoir détecter et du degré de généralisation recherché. Une petite étude peut suffire pour mettre au jour une ambiguïté auditive récurrente ; elle ne permet pas d’estimer finement un bénéfice moyen dans une population hétérogène.

Le protocole doit donc annoncer ce que la taille choisie permet réellement de conclure. Pour une phase exploratoire, on peut viser l’identification de types d’erreurs et de points de rupture. Pour une comparaison confirmatoire entre Lecture et Proclamation, il faut dimensionner l’échantillon de manière à estimer avec une précision raisonnable la différence de compréhension, et non simplement accumuler des participants jusqu’à obtenir un résultat favorable.

Unité statistique et dépendance des observations

Les réponses provenant d’une même personne ne sont pas indépendantes ; les réponses portant sur un même passage ne le sont pas davantage. Un lecteur possède son niveau propre, un passage sa difficulté propre, et une voix de lecture peut introduire un effet supplémentaire. L’analyse ne doit donc pas traiter chaque réponse comme une observation isolée équivalente à toutes les autres.

Une approche adaptée devra séparer autant que possible l’effet du participant, du passage et de la restitution. L’objectif n’est pas d’imposer une technique statistique unique, mais de ne pas surestimer la précision des résultats en oubliant cette structure hiérarchique. Une différence observée sur vingt réponses provenant de deux lecteurs n’a pas le même statut qu’une différence reproduite sur vingt lecteurs et plusieurs passages.

Effet minimal traductologiquement pertinent

Une différence statistiquement détectable peut être trop faible pour justifier une restitution distincte. Inversement, une amélioration rare mais décisive sur des passages à forte contrainte peut avoir une importance méthodologique supérieure à une petite amélioration moyenne. Avant la collecte, chaque campagne doit donc définir un effet minimal pertinent dans les termes de la fonction testée.

Pour Clarté, ce seuil peut concerner une réduction des erreurs de référent ou de relation logique ; pour Proclamation, une amélioration de la compréhension à la première écoute ; pour Littérale, une hausse de l’identification correcte d’une structure source. Cette définition empêche de confondre signification statistique, ampleur de l’effet et importance traductologique.

Analyses confirmatoires et exploratoires

Les mesures principales, les comparaisons prévues et les exclusions annoncées à l’avance constituent la partie confirmatoire. Les observations découvertes après examen — par exemple une difficulté particulière chez les lecteurs très familiers du texte — restent précieuses, mais doivent être présentées comme exploratoires. Elles peuvent générer une nouvelle hypothèse et un nouveau test, pas être réécrites comme objectif initial de la campagne.

Cette séparation est particulièrement importante dans un projet évolutif : les données exploratoires servent naturellement à améliorer les restitutions. Dès qu’elles ont servi à cette amélioration, elles changent de statut et ne peuvent plus fournir une preuve indépendante de la correction.

Effets d’apprentissage et ordre de présentation

La comparaison de plusieurs restitutions du même passage crée un problème particulier : dès qu’un participant a lu une première version, il connaît déjà le contenu lorsqu’il rencontre la seconde. Une amélioration apparente peut alors provenir de la familiarité plutôt que de la formulation. Le plan expérimental doit donc contrebalancer les ordres, répartir les passages entre conditions et éviter que tous les participants voient toutes les restitutions du même texte.

Pour Proclamation, l’effet est encore plus fort : une seconde audition bénéficie de la première même si le texte change. Des groupes distincts ou des listes parallèles peuvent être nécessaires pour préserver la logique de « première écoute ». La répétition peut ensuite être étudiée comme mesure secondaire, mais elle ne doit pas contaminer la mesure principale.

Méthodes mixtes

Les résultats quantitatifs gagnent à être articulés avec des observations qualitatives. Un taux d’erreur peut montrer qu’une formulation pose problème ; l’entretien ou le codage des hésitations peut révéler pourquoi. À l’inverse, des commentaires très convaincants de quelques participants ne suffisent pas à estimer la fréquence d’un phénomène. Le protocole doit donc utiliser chaque type de donnée selon sa force propre.

La combinaison est particulièrement utile pour Littérale et Philologique : une tâche objective peut mesurer si une structure est mieux identifiée, tandis qu’un entretien peut montrer quelles marques du texte ont permis cette identification ou quelles informations ont au contraire surchargé le lecteur.

4. Mesures principales et secondaires

Chaque fonction doit posséder une mesure principale définie avant le test. Pour Clarté : compréhension correcte sans aide. Pour Lecture : continuité sur passage long et faible nécessité de relecture. Pour Proclamation : compréhension après première audition. Pour Déployée : augmentation de la perception d’une nuance réellement présente sans hausse d’erreurs interprétatives. Pour Littérale : capacité à repérer une structure source pertinente. Pour Philologique : capacité à identifier le phénomène qui motive une décision.

Les préférences, jugements d’élégance, temps de lecture, demandes de répétition ou commentaires libres constituent des mesures secondaires. Elles peuvent expliquer un résultat, mais ne doivent pas remplacer la mesure principale. Une Proclamation très appréciée mais moins bien comprise n’atteint pas sa fonction ; une Littérale jugée moins élégante peut réussir si elle rend effectivement visible la structure visée.

Analyse des erreurs

Les réponses incorrectes doivent être codées par type plutôt que seulement comptées. Une erreur de référent, de temporalité, de relation causale ou de participant ne renseigne pas de la même manière sur la restitution. En Proclamation, par exemple, une hausse des erreurs de référent peut signaler un problème de chaîne pronominale ; une erreur sur la conclusion d’un argument peut révéler une segmentation inadéquate.

Cette analyse qualitative permet de relier directement les résultats lecteurs à la révision. Le but n’est pas d’obtenir un pourcentage abstrait de « compréhension », mais d’identifier quelle propriété de la formulation produit le bénéfice ou l’échec observé.

5. Participants, consentement et données

Une campagne formelle devra documenter le recrutement, l’information donnée aux participants, leur consentement et les données conservées. Les résultats n’ont pas besoin d’être liés à l’identité personnelle des lecteurs ; les profils pertinents peuvent être décrits de manière agrégée. Si les tests sont publiés comme recherche empirique, les exigences institutionnelles applicables aux études avec participants humains devront être vérifiées avant la collecte.

Cette prudence méthodologique est cohérente avec le reste du projet : la transparence ne justifie pas de conserver davantage de données personnelles que nécessaire. Ce qui doit être reproductible est le protocole, les stimuli, les critères de codage et les résultats agrégés.

Exposition répétée et mémoire du texte

La Bible constitue un cas particulier parce que de nombreux participants connaissent déjà certains passages par cœur ou presque. Cette familiarité peut réduire artificiellement les différences entre restitutions : le lecteur reconstruit la suite attendue même si la formulation testée est ambiguë. Inversement, une formulation qui rompt une phrase très mémorisée peut être jugée moins naturelle simplement parce qu’elle contredit une habitude.

Les campagnes doivent donc mesurer la familiarité passage par passage lorsque cela est pertinent, ou inclure des textes moins connus. Cette variable est particulièrement importante pour les versets doctrinalement ou liturgiquement célèbres, qui ne constituent pas toujours de bons stimuli pour mesurer la compréhension spontanée.

Diversité linguistique des lecteurs francophones

Le français cible n’est pas homogène. Région, âge, niveau d’études, langue première et exposition à des variétés francophones peuvent modifier ce qui paraît courant, soutenu ou opaque. La Bible Savoy ne peut résoudre toute variation sociolinguistique par sept restitutions, mais elle doit éviter de confondre la préférence du rédacteur avec la norme universelle du français contemporain.

Les tests de Clarté et Lecture devraient donc, à terme, inclure une diversité raisonnable de profils francophones. Les différences régionales ou générationnelles qui affectent réellement la compréhension peuvent conduire à réviser un choix lexical ; les simples préférences doivent rester distinguées des obstacles de réception.

Effet sur la révision

Un résultat utilisateur ne modifie pas automatiquement une restitution. Il constitue une donnée nouvelle : si le problème concerne uniquement la fonction cible, une révision de restitution suffit ; s’il révèle une incompréhension liée au dossier commun, celui-ci doit être réouvert.

6. Critère de validation

Le modèle recevra un soutien empirique plus fort si les restitutions produisent des bénéfices correspondant à leur fonction auprès des publics pertinents, sans augmentation des erreurs de sens ni perte de cohérence avec le dossier commun.

Le critère de succès doit être défini avant la collecte. Il ne suffit pas qu’une restitution obtienne une moyenne légèrement meilleure. Il faut préciser quel bénéfice est attendu, sur quelle tâche, auprès de quel public et avec quel coût éventuel sur d’autres dimensions. Une Clarté plus comprise mais plus souvent infidèle au dossier ne serait pas validée ; une Proclamation plus appréciée sans gain de compréhension auditive ne démontrerait pas sa fonction propre.

Les résultats négatifs doivent être conservés. Si une restitution n’apporte aucun bénéfice mesurable dans une strate, cela peut signifier que sa fonction n’est pas activée par ce genre, que le protocole est inadéquat ou que la restitution est réellement redondante. Ces possibilités doivent être distinguées avant toute conclusion générale.

Formule. Tester la fonction que l’on revendique, avec les lecteurs pour lesquels elle existe.