Prólogo de la tercera edición
Este manual fue redactado con el objetivo de ayudar a que los profesores universitarios mejoren la calidad de las preguntas de opción múltiple que redactan para sus exámenes. El manual proporciona un panorama general de los formatos de ítems, y se concentra en los formatos tradicionales de emparejamiento y de selección de la mejor respuesta. Revisa los temas relacionados con los defectos técnicos y el contenido de los ítems. También brinda información básica para ayudar a que los profesores revisen los indicadores estadísticos de la calidad de los ítems después de administrar una evaluación. También se proporciona un panorama general sobre las técnicas de determinación de estándares. No se tratan en profundidad los temas relacionados con la programación de exámenes. Nos hemos concentrado casi exclusivamente en el nivel correspondiente a las preguntas y hemos dejado para otra publicación todo lo relacionado con la planificación del nivel del examen.
Creemos que este manual será de gran utilidad, principalmente para aquellos profesores universitarios que enseñan a alumnos de medicina en cursos de ciencias básicas y práctica clínica. Los ejemplos se concentran en educación médica para estudiantes universitarios; sin embargo, el enfoque general para la redacción de ítems puede ser útil para evaluar a los candidatos en otros niveles.
Este manual refleja las lecciones que hemos aprendido durante la elaboración de preguntas y exámenes en los últimos 20 años. Durante este período, hemos revisado (literalmente) decenas de miles de preguntas de opción múltiple y hemos llevado a cabo talleres sobre la redacción de preguntas dirigidos a miles de encargados de la redacción de los exámenes de USMLE, NBME y de las juntas de especialidades médicas, al igual que para profesores en más de 60 facultades de medicina que elaboran preguntas para sus propias evaluaciones. Cada participante en los talleres nos ha ayudado a formarnos una opinión con respecto a cómo redactar preguntas de mejor calidad para las evaluaciones y, con el transcurso del tiempo, hemos podido expresar (según creemos) las razones y el por qué. Esperamos que este manual ayude a comunicar estos pensamientos.
Dra. Susan M. Case, PhD
Dr. David B. Swanson, PhD
Enero de 1998
Índice
Sección I
- Temas relacionados con el formato y la estructura de las preguntas de una evaluación
Capítulo 1. Introducción
- La evaluación: un componente importante de la enseñanza
- Temas relacionados con el muestreo
- Importancia de las consideraciones psicométricas
Capítulo 2. Formatos de ítems de opción múltiple
- Preguntas de verdadero/falso versus las de selección de la mejor respuesta
- La familia de preguntas verdadero/falso
- La familia de ítems de selección de la mejor respuesta
- Lo esencial de los formatos de los ítems
Capítulo 3. Defectos técnicos en los ítems
- Temas relacionados con la estrategia para rendir exámenes
- Temas relacionados con dificultades irrelevantes
- Resumen de los defectos técnicos en los ítems
- Uso de términos imprecisos en las preguntas de una evaluación
Sección II
- Cómo redactar preguntas de selección de la mejor respuesta en el área de ciencias básicas y clínicas
- Reglas básicas para los ítems de selección de la mejor respuesta
Capítulo 4. Contenido de los ítems: evaluación de la aplicación de conocimientos sobre ciencias básicas
- Contenido de los ítems para las ciencias básicas
- Plantillas de ítems
- Plantillas adicionales
- Tipos de preguntas; Ejemplos de preguntas introductorias y listas de opciones
- Redacción de las opciones: cómo modificar la dificultad de un ítem
- La forma de un ítem
- Aprendizaje basado en problemas y el uso de un grupo de preguntas en base a un caso
- Ejemplos de ítems para las ciencias básicas
Capítulo 5. Contenido de los ítems: evaluación de la aplicación de conocimientos sobre ciencias clínicas
- Métodos de evaluación
- Temas generales con respecto a lo que se debe evaluar
- Evaluación de la retención de hechos aislados o de la aplicación del conocimiento
- Cómo redactar ítems de selección de la mejor respuesta
- Puntos precisos sobre los enunciados de los ítems
- Verbosidad, adornos y pistas falsas: ¿mejoran el ítem?
- Cómo redactar ítems relacionados con las tareas del médico
- Cómo redactar ítems sobre temas difíciles
Sección III
- Items de emparejamiento ampliado
Capítulo 6. Items de emparejamiento ampliado (tipo R)
- Cómo evitar errores al redactar ítems de emparejamiento ampliado para su evaluación
- Ejemplos de oraciones introductorias y temas para las listas de opciones
- Aspectos adicionales sobre las opciones para los conjuntos R
- Cómo redactar los enunciados de los ítems
- Ejemplos de enunciados buenos y malos que usan la misma lista de opciones
- Resumen de los pasos para redactar ítems de emparejamiento ampliado
- Ejemplos de conjuntos de emparejamiento ampliado
- Pasos para organizar un grupo que redacte ítems tipo R de contenido clínico
- Formulario para redactar los conjuntos tipo R
- Código SPSSX de muestra para determinar el puntaje de los exámenes de opción múltiple que incluyen ítems de emparejamiento ampliado
- Comparación de los ítems del formato de cinco opciones con los de emparejamiento ampliado
- Desde los A hasta los R y de vuelta
Capítulo 7. Items de selección de N respuestas: una ampliación del formato de emparejamiento ampliado
Sección IV
Capítulo 8. Interpretación de los resultados del análisis de los ítems
Capítulo 9. Cómo establecer un estándar de aprobado/reprobado
- Definiciones y principios básicos
- Dos métodos de determinación de estándares en base a juicios sobre los ítems
- Estándares de compromiso relativo/absoluto: el método de Hofstee
Capítulo 10. Reflexiones varias sobre temas relacionados con la evaluación
Apéndice A. El cementerio de formatos de los ítems de la NBME
Apéndice B. Ejemplos de plantillas, enunciados, preguntas introductorias y listas de opciones para la redacción de ítems en el área de ciencias básicas y clínicas
