Laboratorio interactivo · Sesión 3

Del ítem al indicador: constructos, error de encuesta, fiabilidad y validez

Diagnóstico Organizacional (MCG9003), Magíster en Control de Gestión, FAE UDP · 2º semestre 2026 · Acompaña a la sesión 3 (miércoles 11-11-2026) y al apunte 3
Prof. René Gempp · Página del curso

Cómo funciona

Seis estaciones, cada una con algo que manipular, algo que clasificar y preguntas con retroalimentación. El hilo es el de la sesión: un ítem de encuesta termina siendo un indicador de un tablero de personas, y cada decisión de diseño (constructo, redacción, cobertura, fiabilidad, validez) cambia lo que ese indicador puede decir. Puedes hacerlas en cualquier orden; el avance se guarda en este navegador. No hay registro ni nota.

1. Constructo, indicador, ítem. Distinguir los eslabones de la cadena que define la validez, con ejemplos de los casos del curso.
2. Redacción de ítems. Detectar el error de cada ítem con el vocabulario de la sesión (doble, cargado, referente, cuantificador).
3. Error total de encuesta. Separar errores de representación y de medición, y decidir qué unidades de un tablero se pueden reportar según su cobertura.
4. Fiabilidad. Un simulador de tablero: cambia la fiabilidad del índice y el tamaño de las áreas, repite la ola y observa qué pasa con los semáforos y el ranking.
5. Correlación y validez. Cómo la fiabilidad atenúa las correlaciones y qué patrón de la matriz respalda la validez de una escala.
6. Del ítem al KPI. Qué condiciones faltan para que un ítem de encuesta sea un indicador defendible de un tablero, y cuándo su uso evaluativo se vuelve un problema.

Tiempo estimado: 45 a 60 minutos. Funciona sin conexión una vez cargado. Las referencias completas están en el apunte 3; la guía A0 muestra cómo obtener en JASP los estadísticos que aquí se simulan.

Estación 1 · Constructo, indicador, ítem

Un constructo es la variable del diseño diagnóstico (un concepto que no se observa directamente). Un indicador es algo observable que manifiesta el constructo. Un ítem es la pregunta concreta, con formato de respuesta, que mide uno de esos indicadores. Un dato administrativo es un registro que ya existe en la organización y que no requiere encuesta.

A. Clasifica

Para cerrar la estación

Estación 2 · Redacción de ítems

Los ítems provienen del cuestionario real de clima que se usa en el Control 3 y de los casos del curso. Para cada uno, elige el error principal. Algunos están bien redactados.

A. Clasifica

B. Tipo de información

Clasifica cada pregunta según la información que busca. Recuerda la regla: solo los estados subjetivos exigen escalas multi-ítem.

Para cerrar la estación

Estación 3 · Error total de encuesta

El error total de encuesta tiene dos ramas (Groves et al., 2009). Representación: ¿a quién llegamos? Error de cobertura (quién no fue invitado) y de no respuesta (quién no contestó). Medición: ¿qué tan bien medimos? Error de validez (los ítems miden otra cosa), de medición (deseabilidad social, estilos de respuesta, ambigüedad; fiabilidad) y de procesamiento (codificación, inversos sin recodificar).

A. Clasifica la fuente de error

B. Cobertura por unidad: ¿qué se puede reportar?

Encuesta de clima de TechNova por equipo. Fija el número mínimo de respuestas y la tasa de respuesta mínima para reportar una unidad por separado, y observa qué equipos quedan en el tablero y cuáles se agregan al nivel superior. La regla protege el anonimato (n mínimo) y la representatividad (tasa mínima).

n mínimo por unidad: 5
Tasa de respuesta mínima: 60%

Para cerrar la estación

Estación 4 · Fiabilidad: un tablero que controla ruido

Cinco áreas de una organización tienen un nivel verdadero de claridad de prioridades que no cambia entre olas (3,6; 3,8; 3,9; 4,1; 4,3 en una escala de 1 a 5). Lo que el tablero muestra es el promedio observado en cada ola, que contiene error de medición. El error típico de medida de una persona es DE × √(1 − fiabilidad); el del promedio de un área se reduce con √n. Cambia la fiabilidad del índice y el tamaño de las áreas, lanza una nueva ola y mira el semáforo (meta: 4,0) y el ranking.

Fiabilidad del índice (alfa u omega): 0,60
Respuestas por área (n): 8

Para cerrar la estación

Estación 5 · Correlación y validez

La correlación entre dos escalas que se observa en los datos es menor que la correlación entre los constructos, porque cada escala tiene error de medición: r observada = r verdadera × √(fiabilidad 1 × fiabilidad 2). Mueve las fiabilidades y observa cómo se atenúa la relación entre claridad de prioridades e intención de salida en TechNova (r verdadera = −0,50).

Fiabilidad de "claridad de prioridades": 0,80
Fiabilidad de "intención de salida": 0,80
−0,40
correlación observada (n = 128 simulados)
16%
varianza compartida observada (r²)

La correlación verdadera entre los constructos es −0,50 en todos los casos. Lo que cambia es cuánto de ella sobrevive al error de medición de cada escala.

B. ¿Qué matriz respalda la validez?

Tres escalas (CP claridad de prioridades, CR claridad de rol, IS intención de salida). Para cada matriz, decide qué muestra.

Para cerrar la estación

Estación 6 · Del ítem al KPI

Una variable de encuesta se convierte en indicador de control cuando cumple condiciones de diseño (ítems ancla estables, comparabilidad entre olas, cobertura conocida por unidad, periodicidad, calidad de medición verificada) y de uso (n mínimo, reglas de consecuencia, devolución). Lee cada propuesta y marca todas las condiciones que faltan; luego comprueba.

Para cerrar la estación

Ficha de salida

Lo que conviene llevarse a la sesión 5
  • Un ítem es una muestra del universo de indicadores de un constructo; la validez es el supuesto de que esa muestra lo representa, y se verifica con el patrón de correlaciones.
  • La cobertura por unidad y el n mínimo deciden qué se puede reportar; sin tasa de respuesta por unidad, el tablero compara cosas distintas.
  • Con fiabilidad baja y áreas pequeñas, el semáforo cambia de color entre olas sin que nada haya cambiado: el tablero controla ruido.
  • El error de medición atenúa las correlaciones: antes de concluir que dos variables no se relacionan, hay que mirar la fiabilidad de ambas.
  • Usar la encuesta para evaluar jefaturas exige condiciones que el diagnóstico no exige, y activa el ciclo de Goodhart.

El avance queda guardado en este navegador. Si quieres partir de cero, borra el progreso.