Tesis Ed. Artística: Validación del instrumento

Validación de la Rúbrica de Evaluación

Artículo revisado y actualizado: 8 de octubre del 2024.
Dr. Enrique A. León Maristany

Para validar una rúbrica de evaluación, es importante seguir un procedimiento riguroso que asegure su validez y fiabilidad. El proceso generalmente incluye los siguientes pasos:

1. Definir claramente las categorías y subcategorías

Asegúrate de que las categorías e indicadores de la rúbrica estén bien definidos, sean comprensibles y estén alineados con los objetivos de evaluación. Esto será la base para su validación.

2. Seleccionar jueces expertos

Los jueces son especialistas en el área de conocimiento que se evalúa con la rúbrica. Generalmente, se recomienda que participen entre 3 y 5 jueces para obtener una variedad suficiente de opiniones y asegurar la validez del contenido. Los jueces deben tener experiencia en el campo, idealmente en evaluación educativa o específicamente en la disciplina de la rúbrica.

3. Aplicar los instrumentos de validación

Para validar la rúbrica, se utilizan diferentes instrumentos y métodos:

Validez de contenido: Este es el aspecto más común que se valida, y se hace a través de juicio de expertos. Los jueces revisan la rúbrica y proporcionan retroalimentación sobre si los indicadores son apropiados y si cubren adecuadamente las dimensiones necesarias para la evaluación. Pueden usar un instrumento como una escala de Likert para evaluar cada categoría o subcategoría en términos de su pertinencia, claridad y exhaustividad.

Ejemplo de preguntas en la escala:

¿Es clara esta categoría/subcategoría?

¿Es relevante para lo que se busca evaluar?

¿Es suficientemente exhaustiva esta rúbrica?

Coeficiente de validez (CVC): Para cuantificar la validez de contenido, se puede calcular el coeficiente de validez de contenido (CVC), que permite obtener una medida numérica de consenso entre los jueces. Esto se hace promediando las puntuaciones de los jueces y considerando la desviación estándar. El CVC idealmente debe estar por encima de 0.8 para ser considerado adecuado.

El CVC (Coeficiente de Validez de Contenido) es una medida cuantitativa que evalúa el grado de concordancia entre los jueces expertos respecto a la validez de los ítems de una rúbrica o instrumento de evaluación. Se utiliza para asegurar que el contenido del instrumento es relevante, claro y adecuado para lo que se busca evaluar.

Fórmula del CVC:

El CVC se calcula usando la siguiente fórmula para cada ítem:

$$CVCi = \frac{\sum X}{N \cdot V}$$

Donde:

• $CVCi$: es el coeficiente de validez de contenido del ítem.
• $\sum X$: es la suma de los puntajes otorgados por los jueces para ese ítem.
• $\mathrm{N:\; es\; el\; número\; de\; jueces.}$
• $V$: es el valor máximo de la escala utilizada (por ejemplo, en una escala de Likert de 1 a 5, $V=\mathrm{5). }$

Una vez que tienes el $CVCi$ para cada ítem, puedes calcular el CVC total de todo el instrumento, que es el promedio de los CVCi de cada ítem.

Pasos para calcular el CVC:

1. Seleccionar una escala de evaluación: Cada ítem o indicador de la rúbrica es evaluado por los jueces en una escala, típicamente una escala de Likert que puede ser de 1 a 5 o de 1 a 4. Los ítems se evalúan en términos de:

   • Claridad: ¿El ítem es comprensible?
   • Pertinencia: ¿El ítem es adecuado para lo que se pretende evaluar?
   • Representatividad: ¿El ítem representa adecuadamente la dimensión que pretende medir?

   Ejemplo de escala de Likert:

   • 1 = Muy en desacuerdo
   • 2 = En desacuerdo
   • 3 = Ni de acuerdo ni en desacuerdo
   • 4 = De acuerdo
   • 5 = Muy de acuerdo

2. Solicitar la evaluación de los jueces: Cada juez evalúa cada ítem de acuerdo a la escala seleccionada.

3. Calcular el CVC para cada ítem: Para cada ítem, se suma la puntuación otorgada por los jueces y se divide entre el producto del número de jueces ($\mathrm{<span\; style="font-size:\; small;"><span\; style="text-transform:\; none;"><i>N</i></span></span>}$) y el valor máximo de la escala (𝑉).

   Ejemplo:

   • Tres jueces evalúan un ítem de la rúbrica y otorgan los puntajes: 4, 5 y 4.
   • La suma de las puntuaciones es $4+5+4=13$.
   • El número de jueces $N=3$, y el valor máximo de la escala $V=5$.
   • Aplicando la fórmula:
   $$CVCi = \frac{13}{3 \cdot 5} = \frac{13}{15} = 0.87$$
   

4. Calcular el CVC total del instrumento: Una vez que se calcula el $CVCi$ para cada ítem, se puede calcular el CVC total del instrumento, que es el promedio de los $CVCi$ de todos los ítems.

5. Aplicar la corrección por sesgo de los jueces (opcional): Algunos autores sugieren aplicar una corrección para el sesgo de los jueces, que se calcula restando el índice de probabilidad de acuerdo aleatorio ($pc$) al $CVCi$. El $pc$ se calcula como:

   $$pc=\frac{1}{\mathrm{V}}$$

   Y la fórmula corregida es:

   $$CVCicorregido=\frac{CVCi-p\mathrm{c }}{1-pc}$$

Interpretación del CVC:

• Un CVC superior a 0.80 indica que el ítem tiene una alta validez de contenido.
• Si algún ítem tiene un CVCi inferior a 0.80, es recomendable revisar y ajustar ese ítem para mejorar su claridad, relevancia o representatividad, según las observaciones de los jueces.

Ejemplo paso a paso:

Supongamos que tienes una rúbrica con 5 ítems y 3 jueces. Los jueces califican cada ítem de 1 a 5 en términos de claridad. Para el primer ítem, los jueces otorgan 4, 4 y 5.

• Suma de las puntuaciones: $4+4+5=13$
  
• Número de jueces: $3$
  
• Valor máximo de la escala: $5$
  

$$CVCi=\frac{13}{3\cdot 5}=\frac{13}{15}=0.87$$

Este proceso se repite para cada ítem. Si todos los CVCi son superiores a 0.80, se puede considerar que la rúbrica es válida en términos de contenido.

4. Revisión y modificación

Con base en los comentarios de los jueces, ajusta la rúbrica según las observaciones sobre la claridad, pertinencia y exhaustividad de los indicadores.

5. Prueba piloto

Una vez ajustada, es útil aplicar la rúbrica en una prueba piloto con un pequeño grupo de estudiantes para verificar su aplicabilidad en situaciones reales y hacer ajustes finales.

Instrumentos para validar la rúbrica:

• Cuestionario de validación con escala de Likert para jueces.
• Cálculo del CVC u otros coeficientes de validez de contenido.
• Sesiones de retroalimentación cualitativa con los jueces para discutir posibles mejoras en la rúbrica.

Este procedimiento asegura que la rúbrica no solo es válida en términos de contenido, sino también aplicable y útil para la evaluación.

Fabiane Villanueva Aedo
Destacada Profesional egresada de la UNADQTC