-->

Charte d'évaluation des outils D-TECK

Cette charte d’évaluation des outils fournit des renseignements sur les balises et les critères qui ont été considérés dans la sélection des outils employés dans les rapports d’évaluation D-TECK.

Considérant les répercussions que peut avoir un bon outil d’évaluation sur la pérennité de votre organisation, cette charte a pour visée de vous outiller et de vous rendre autonome dans l’évaluation des qualités psychométriques des différents tests utilisés en sélection et en développement.

LA FIDÉLITÉ D’UN TEST : DEUX ÉLÉMENTS À CONSIDÉRER

La fidélité (ou fiabilité) : la fidélité d’un test permet de mesurer à quel point l’instrument fournit une mesure précise et constante du construit qu’il prétend mesurer. Elle s’évalue entre autres par la stabilité temporelle et la cohérence interne.

1- La stabilité temporelle : est-ce que le score obtenu à un test reste le même dans le temps?

Pour qu’un instrument soit considéré comme étant fidèle, les scores obtenus ne doivent pas fluctuer de manière importante entre deux passations rapprochées. À titre d’exemple, si le poids que vous obtenez sur votre balance fluctue de 5 kilos au courant de la même journée, cela pourrait vous mener à douter fortement de la fiabilité de votre balance. Il en est de même pour vos scores à des outils psychométriques. Pour vérifier si l’instrument possède une bonne stabilité temporelle, vous pouvez regarder l’indice test-retest. Le tableau ci-dessous vous fournit des balises généralement utilisées par les concepteurs de tests.

 

Indice test-retest

(Coefficient de corrélation r)

< 0,70

Faible

≥ 0,70

Adéquat

 

2- La cohérence interne : à quel point les items sont-ils constants dans le test psychométrique?

Lorsqu’un outil s’avère fidèle, il possède un fort degré de cohésion entre les items du test, c’est-à-dire que chaque énoncé mesure la même chose (le même construit ou sous-construit). Il s’avère essentiel que les énoncés soient similaires et homogènes dans leur contenu, puisque cela nous permet de nous assurer qu’ils évaluent le même élément. Comme il est attendu que les questions posées par notre médecin permettent d’évaluer notre état de santé plutôt que nos finances, les items d’une échelle évaluant un trait de personnalité comme l’extraversion, par exemple, ne devraient pas être teintés par des éléments qui mesurent nos aptitudes cognitives. La cohérence interne est communément mesurée par l’Alpha de Cronbach. Un degré élevé de cohérence interne indique que les items destinés à évaluer le même concept génèrent des scores similaires. Le tableau ci-dessous présente des critères permettant de statuer sur la cohérence interne de l’instrument.

 

Alpha de Cronbach

(α)

< 0,70

Faible

≥ 0,70

Adéquat

 

 

LA VALIDITÉ D’UN TEST : DEUX ÉLÉMENTS À CONSIDÉRER

La validité : la validité d’un test renvoie au degré auquel un instrument parvient à mesurer ce qu’il prétend mesurer. De plus, elle permet d’établir les conditions dans lesquelles le score obtenu peut être correctement utilisé. En sélection et en développement du personnel, deux types de validité s’avèrent particulièrement pertinents d’être considérés.

La validité prédictive : est-ce que le score obtenu à un test permet de prédire un événement futur?

Afin de déterminer si l’outil possède une bonne validité prédictive, le degré d’association entre les résultats de l’instrument et un critère futur est vérifié. En d’autres mots, la validité prédictive permet de savoir si le test utilisé peut prédire une variable d’intérêt, comme la performance en emploi, la diminution du nombre d’accidents de travail ou la diminution du taux de roulement. Pour déterminer si le test possède une bonne validité prédictive, les concepteurs rapportent le coefficient de corrélation entre le test et la variable d’intérêt. Plus le coefficient se rapproche de 1, plus la corrélation est forte. Or, comme les variables d’intérêt sont souvent des phénomènes complexes influencés par d’autres facteurs, il est pratiquement impossible d’obtenir un coefficient de 1. Le tableau ci-dessous vous guide pour interpréter les coefficients de corrélation.

 

Indice de validité prédictive

(Coefficient de corrélation r)

< 0,30

Faible

≥ 0,30 ˂ 0,50

Adéquat

≥ 0,50

Élevé

 

La validité concomitante : est-ce que le score obtenu au test est lié à une autre mesure similaire?

La validité concomitante compare les résultats de l’outil à un critère déjà existant sur le marché, ce qui permet d’évaluer leur degré d’association. Contrairement à la validité prédictive, la validité concomitante ne vérifie pas si le test permet de prédire un phénomène futur, mais bien de vérifier s’il a du sens avec des données déjà disponibles. Par exemple, on peut venir mesurer la relation entre les résultats à un test d’intelligence d’un étudiant et ceux de son dernier bulletin scolaire. On obtient alors de l’information sur la validité concomitante du test d’intelligence. Pour savoir si un outil possède une bonne validité concomitante, on regarde le coefficient de corrélation. La validité concomitante peut être convergente, par exemple lorsque l’on cherche à vérifier le lien entre deux tests mesurant l’extraversion. Ces deux tests mesurent le même phénomène; donc, si le test est valide, nous pensons que des scores similaires devraient être obtenus pour un même candidat. Nous souhaitons ainsi obtenir une corrélation positive entre ces tests. La validité concomitante peut également être divergente, par exemple lorsque l’on cherche à vérifier le lien entre deux tests, l’un mesurant l’extraversion et l’autre mesurant l’introversion. Ces deux tests mesurent des phénomènes opposés; donc, si le test est valide, nous pensons que des scores opposés devraient être obtenus pour un même candidat. Nous souhaitons ainsi obtenir une corrélation négative entre ces tests. Le tableau présenté ci-dessous fournit les critères généralement utilisés par les concepteurs de tests quant à l’interprétation du coefficient de corrélation.  

 

Indice de validité concomitante

(Coefficient de corrélation r)

Validité concomitante convergente

Entre 0 et 1 selon les hypothèses avancées par les chercheurs

Validité concomitante divergente

 Entre 0 et -1 selon les hypothèses avancées par les chercheurs

 

La validité d’un test dépendra de sa fidélité. En effet, un test peut établir plusieurs liens significatifs avec des variables d’intérêt pour les organisations. Par contre, si les indices de fidélité n’atteignent pas les seuils mentionnés ci-dessus, il n’est pas possible de considérer le test comme étant valide. Par conséquent, un instrument qui se trouve à avoir une fidélité limitée aura nécessairement une validité limitée. Il faudra donc être très prudent dans l’utilisation que l’on en fait, surtout en contexte de sélection.

En effet, lorsqu’on regarde les qualités psychométriques, il est essentiel de considérer les indices de fidélité avant les indices de validité. Supposez, par exemple, qu’un test permette d’établir un lien entre la taille et la performance en emploi. Cela signifierait que plus la personne est grande, plus elle serait performante. Dans cette situation, il serait pertinent d’inclure cette évaluation dans votre processus de sélection. Or, si l’instrument mesurant la taille fluctuait de six pouces pour une personne dans une même journée, voudriez-vous toujours inclure ce test dans votre processus?