-->

Ficha de evaluación de las herramientas D-TECK

Esta ficha de evaluación de las herramientas presenta información sobre las pautas y los criterios que se han tenido en cuenta en la selección de las herramientas utilizadas en los informes de evaluación D-TECK.  Considerando el impacto que puede tener una buena herramienta de evaluación para la sostenibilidad de su organización, esta ficha tiene el objetivo de equiparlo y ofrecerle autonomía en la evaluación de las cualidades psicométricas de los diferentes tests utilizados en la selección y el desarrollo.

LA FIDELIDAD DE UN TEST: DOS ELEMENTOS PARA CONSIDERAR

La fidelidad (o confiabilidad): la confiabilidad de un test permite medir hasta qué punto el instrumento proporciona una medición precisa y constante del constructo que pretende evaluar. Se evalúa, entre otras cosas, por la estabilidad temporal y la coherencia interna.

1- Estabilidad temporal: ¿el puntaje obtenido en un test sigue siendo el mismo a lo largo del tiempo?

Para que un instrumento sea considerado fiable, los puntajes obtenidos no deben fluctuar significativamente entre dos realizaciones cercanas. Por ejemplo, si el peso que le indica su balanza fluctúa en 5 kilos en el transcurso de un mismo día, esto podría llevarlo a dudar considerablemente de la confiabilidad de la balanza. Lo mismo sucede con los puntajes en las herramientas psicométricas. Para verificar si el instrumento tiene una buena estabilidad temporal, se puede observar el índice test-retest. El siguiente cuadro presenta las pautas utilizadas por lo general por los diseñadores de tests.

 

Índice test-retest

(Coeficiente de correlación r)

< 0,70

Bajo

0,70

Adecuado

 

2- La coherencia interna: ¿hasta qué punto los ítems son constantes en el test psicométrico?

Cuando una herramienta demuestra ser fiable, presenta un alto grado de consistencia entre los ítems del test, es decir que cada enunciado mide lo mismo (el mismo constructo o sub-constructo). Es esencial que los enunciados sean similares y homogéneos en contenido, ya que esto nos permite asegurarnos de que están evaluando el mismo elemento. Así como es esperable que las preguntas que nos hace nuestro médico permitan evaluar nuestro estado de salud y no nuestras finanzas, los ítems de una escala que evalúa un rasgo de personalidad, como la extroversión, por ejemplo, no deben estar teñidos por elementos que evalúen nuestras aptitudes cognitivas. La consistencia interna por lo general es evaluada por el Alfa de Cronbach. Un alto grado de consistencia interna indica que los ítems destinados a evaluar el mismo concepto generan puntajes similares. El siguiente cuadro presenta criterios que permiten determinar la consistencia interna del instrumento.

 

Alfa de Cronbach

(α)

< 0,70

Bajo

0,70

Adecuado

LA VALIDEZ DE UN TEST: DOS ELEMENTOS PARA CONSIDERAR

La validez: la validez de un test refiere al grado en que un instrumento logra medir lo que pretende medir. Además, permite establecer las condiciones en las que se puede utilizar correctamente el puntaje obtenido. En la selección y el desarrollo del personal, dos tipos de validez son particularmente relevantes para ser considerados.

La validez predictiva: ¿el puntaje obtenido en un test permite predecir un evento futuro?

Para determinar si la herramienta tiene una buena validez predictiva, se verifica el grado de asociación entre los resultados del instrumento y un criterio futuro. En otras palabras, la validez predictiva permite determinar si el test utilizado puede predecir una variable de interés, como el desempeño laboral, la disminución del número de accidentes de trabajo o la disminución de la tasa de rotación. Para determinar si el test tiene una buena validez predictiva, los diseñadores tienen en cuenta el coeficiente de correlación entre el test y la variable de interés. Cuanto más se acerca el coeficiente a 1, más fuerte es la correlación. Dado que las variables de interés son a menudo fenómenos complejos influenciados por otros factores, es prácticamente imposible obtener un coeficiente de 1. La siguiente tabla es una guía para interpretar los coeficientes de correlación.

 

Índice de validez predictiva

(Coeficiente de correlación r)

< 0,30

Bajo

0,30 ˂ 0,50

Adecuado

0,50

Alto

 

La validez concomitante: ¿el puntaje obtenido en el test está relacionado con otra medición similar?

La validez concomitante compara los resultados de la herramienta con un criterio ya existente en el mercado, lo cual permite evaluar su grado de asociación. Contrariamente a la validez predictiva, la validez concomitante no verifica si el test permite predecir un fenómeno futuro, sino si tiene sentido en relación con datos ya disponibles. Por ejemplo, se puede medir la relación entre los resultados en un test de inteligencia de un estudiante y los de su última libreta de calificaciones. De este modo se obtiene información sobre la validez concomitante del test de inteligencia. Para saber si una herramienta tiene una buena validez concomitante, se observa el coeficiente de correlación. La validez concomitante puede ser convergente, por ejemplo cuando se busca verificar la relación entre dos tests que miden la extroversión. Esos dos tests miden el mismo fenómeno; por lo tanto, si el test es válido, pensamos que se deberían obtener puntajes similares para un mismo candidato. Entonces, deseamos obtener una correlación positiva entre esos tests. La validez concomitante también puede ser divergente, por ejemplo cuando se busca verificar la relación entre dos tests, uno que mide la extroversión y otro que mide la introversión. Esos dos tests miden fenómenos opuestos; por lo tanto, si el test es válido, pensamos que se deberían obtener puntajes opuestos para un mismo candidato. Entonces, deseamos obtener una correlación negativa entre esos tests. La siguiente tabla presenta los criterios generalmente utilizados por los diseñadores de tests para la interpretación del coeficiente de correlación.

 

Índice de validez concomitante

(Coeficiente de correlación r)

Validez concomitante convergente

Entre 0 y 1 según las hipótesis avanzadas por los investigadores

Validez concomitante divergente

 Entre 0 y -1 según las hipótesis avanzadas por los investigadores

 

La validez de un test dependerá de su fidelidad. Un test puede establecer varias relaciones significativas con variables de interés para las organizaciones. En cambio, si los índices de fidelidad no alcanzan los umbrales mencionados anteriormente, no es posible considerar que el test es válido. Por lo tanto, un instrumento que muestre una fidelidad limitada tendrá necesariamente una validez limitada. Entonces, habrá que ser muy prudente en el uso que se hace del mismo, especialmente en un contexto de selección.

De hecho, al considerar las cualidades psicométricas, es esencial considerar los índices de fidelidad antes que los índices de validez. Suponga, por ejemplo, que un test permite establecer una relación entre la estatura y el desempeño en el trabajo. Esto significaría que cuanto más alta sea la persona, mejor sería su desempeño. En esa situación, sería pertinente incluir esta evaluación en su proceso de selección. Ahora bien, si el instrumento que mide la estatura fluctuara en quince centímetros para una persona en un mismo día, ¿aún querría incluir esa medición en su procedimiento?