La validation interjuges, autrement que par un chiffre

« Notre kappa est de 0,82. » La phrase arrive souvent en fin de section méthodologique, comme un tampon de conformité. L’évaluateur est rassuré, l’équipe aussi. Et pourtant, ce chiffre dit très peu de chose sur la qualité de l’analyse.

Je ne suis pas contre le kappa. Je suis contre l’idée qu’il suffise.

Ce que mesure le kappa de Cohen

Le kappa de Cohen mesure à quel point deux codeurs ont rangé les mêmes passages sous les mêmes codes, en corrigeant la part d’accord qui serait due au hasard. Un kappa de 1, accord parfait. Autour de 0, pas mieux que le hasard. NVivo le calcule avec la requête de comparaison de codage, code par code et document par document.

C’est utile. Le chiffre signale les codes sur lesquels les codeurs divergent, et donc les définitions à revoir. Mais il pose trois problèmes en recherche qualitative.

Trois limites qu’on oublie

D’abord, le découpage. En analyse quantitative, les unités à classer sont fixées d’avance : une réponse, une case. En qualitatif, chaque codeur choisit où commence et où s’arrête le passage qu’il code. Deux codeurs peuvent être d’accord sur le fond et avoir un kappa médiocre, simplement parce que l’un code la phrase et l’autre le paragraphe. NVivo calcule l’accord au caractère, ce qui pénalise ces écarts de découpage.

Ensuite, la fréquence. Un code rare, utilisé trois fois dans tout le corpus, produit un kappa très instable : un seul désaccord suffit à le faire chuter. Un code omniprésent, à l’inverse, peut afficher un bon score sans que les codeurs se soient vraiment compris. Le chiffre global, moyenne de tout cela, écrase ces différences.

Enfin, et surtout, le kappa mesure l’accord, pas la justesse. Deux codeurs formés ensemble, qui partagent les mêmes angles morts, peuvent être parfaitement d’accord et passer à côté de ce que disent les données. Un accord élevé peut être le signe d’une bonne compréhension commune. Il peut aussi être le signe d’une pensée de groupe.

Ce qu’on met en place à la place

Dans les équipes que j’accompagne, la validation interjuges se construit plutôt qu’elle ne se mesure. Concrètement, quatre choses.

Un livre de codes écrit. Pour chaque code : un nom, une définition d’une ou deux phrases, ce qu’il inclut, ce qu’il exclut, et un exemple tiré des données. C’est fastidieux à rédiger. C’est aussi ce qui évite les trois quarts des désaccords. Dans NVivo, la définition vit dans la description du code ; on peut aussi l’exporter en livre de codes pour le partager.

Un double codage tôt, sur un échantillon. Deux ou trois entretiens codés par deux personnes, indépendamment, au début de l’analyse et pas à la fin. C’est là que les définitions floues apparaissent, au moment où il est encore facile de les corriger.

Une séance de discussion des désaccords. On ouvre la comparaison de codage, on regarde les passages où les codeurs divergent, et on discute. Pas pour désigner qui a raison. Pour comprendre ce que chacun a vu. Ces discussions sont souvent les moments les plus utiles de l’analyse : un désaccord sur un passage révèle presque toujours une ambiguïté dans les données elles-mêmes.

Un journal des décisions. Chaque fois qu’une définition change, qu’un code est fusionné ou scindé, on note la date et la raison. Ce journal, c’est votre trace méthodologique. Il vaut mieux qu’un chiffre dans un rapport.

Et le kappa, alors ?

On peut le garder. Calculé après la discussion, sur un nouvel échantillon, il montre que les définitions se sont stabilisées. Rapporté code par code plutôt qu’en moyenne globale, il dit quelque chose d’utile. Accompagné du livre de codes et d’une phrase sur la façon dont les désaccords ont été traités, il prend son sens.

Ce qu’un évaluateur attentif cherche, au fond, ce n’est pas un score. C’est la preuve que l’équipe a confronté ses lectures et qu’elle sait expliquer comment elle est passée du texte aux thèmes. Le chiffre peut y contribuer. Il ne remplace pas la démarche.

Je forme régulièrement des équipes de recherche à ce protocole de double codage dans NVivo, en atelier intra sur mesure. Les modalités sont sur la page Établissements. Pour un accompagnement suivi d’un projet en cours, voyez Accompagnement.

Ateliers pour les équipes et établissements →  ·  Tous les articles