Conferencia: La Evaluación Nacional del Logro Educativo en Centros Escolares

Nota: Es una conferencia dictada en la Ciudad de Querétaro en 2007.

 Presentación

Antes de iniciar mi participación agradezco a Apoyo a la Calidad Educativa, A. C.; al Grupo de Trabajo sobre Desarrollo Profesional Docente en América Latina, al Programa de Promoción de la Reforma Educativa en América Latina y el Caribe (GTD-PREAL) y al Patronato de la Universidad Autónoma de Querétaro por la invitación a este III Congreso Internacional “Evaluación: factor de calidad educativa”. Para un servidor es un honor estar en este importantísimo evento porque nos brinda la oportunidad de compartir con el selecto auditorio nuestra experiencia sobre el tema que abordaremos e intercambiar ideas con nuestros colegas encargados de los diversos cursos, talleristas y conferencistas.

En esta ocasión, hablaré de la Evaluación Nacional del Logro Académico en Centros Escolares (ENLACE). Abordaré lo relativo al impacto mediático, su relación con las políticas públicas en materia educativa, los aspectos técnicos (diseño, instrumentación, logística, procesamiento, difusión y divulgación).

Con la colaboración de ustedes pretendo los siguientes propósitos:

Proporcionar información referente al diseño, la instrumentación, la logística, el procesamiento, la difusión y divulgación de ENLACE para ampliar el marco referencial de quienes sean expertos en evaluación, especialistas en educación y a los futuros educadores y pedagogos.

El texto que a continuación pongo a consideración del Comité Organizador también pretende despertar el interés del público por esta evaluación y promover su uso para fines pedagógicos. Una postura activa, reflexiva, crítica y propositiva de los asistentes redundará en aportaciones que enriquecerán a ENLACE. Esta plática se motivará el trabajo intelectual de los docentes e investigadores (en otros momentos y espacios por supuesto), mediante reflexiones entorno a:

• Brindar algunas sugerencias metodológicas para el uso de los resultados para la mejora del proceso educativo y susceptibles de considerase en el modelo de gestión escolar.
• Sugerir algunas líneas de investigación a desarrollarse en el ambiente académico y heurístico resaltando los retos y lecciones aprendidas en ENLACE.
• Ampliar el marco referencial para una mejor comprensión del estado que guarda el nivel de logro académico de los estudiantes de primaria y secundaria desde la perspectiva de la prueba ENLACE.

Es insoslayable el impacto de ENLACE. Está en camino de constituirse como una política de estado y se corre el riesgo de las políticas giren entorno a esta evaluación cuando debiera ser lo contrario. No debe sobrevalorarse ni subestimarse sino darle su justa medida y valor. Se tiene la oportunidad de conocer los implícitos e implicaciones de ENLACE en educación. Este parteaguas y, de seguir así, puede conducir a valorar la educación antes de ENLACE y después de ENLACE y no por ENLACE en sí sino por lo que está detonando. A todos nos corresponde aportar al menos un granito de arena desde nuestro ámbito profesional, político o social. Es impostergable la mejora educativa porque está en juego, nada más y nada menos, nuestro futuro como nación y sociedad. Sin más preámbulo, iniciemos nuestra charla.

I

El impacto mediático de ENLACE

Desde su origen, la Evaluación Nacional del Logro Académico en Centros Escolares (ENLACE) busca la mejora educativa. Algunas Organizaciones civiles no gubernamentales la han visto como una oportunidad para la rendición de cuentas. Los medios de comunicación, principalmente la prensa escrita, la han utilizado como un mecanismo de transparencia. Recientemente la Secretaría de Educación Pública la ha considerado una estrategia de participación social. Estas circunstancias obligan a un análisis profundo para dar respuesta a las diversas interrogantes planteadas por diversos actores. A continuación resaltaré algunas noticias relevantes sobre el tema:

Por ejemplo, en el periódico Reforma del 28 del septiembre de año en curso, Leslie Gómez reseña el Foro de Análisis convocado por la UNAM en donde se mencionó que los maestros desconocen como se construyó la prueba, cual es su objetivo, que los reactivos no toman en cuenta los intereses de los niños de distintos sectores sociales. El examen es un efecto de las concepciones sobre el aprendizaje y no el motor para transformar la enseñanza” indicó Ángel Díaz Barriga. En tanto Elizabeth Flores, supervisora de zona y Exdirectora de una escuela reveló que, según una encuesta realizada en varias demarcaciones escolares la prueba ENLACE representa para los alumnos una presión pues se sienten exhibidos cuando se dan a conocer los resultados y los maestros, dicen lo consideran como un instrumento de vigilancia, como un acto que deben cumplir. No asumen responsabilidad de los resultados obtenidos.

El periódico Excélsior fechado el 12 de septiembre del año en curso, Karina Álvarez menciona un análisis elaborado por el Instituto de Fomento e Investigación Educativa (IFIE) en el cual se menciona que las escuelas evaluadas por la prueba ENLACE mejoraron no gracias a las políticas educativas del gobierno sino a la presión social. “El hecho de ser evaluados ayuda a mejorar la calidad porque hace que las escuelas y los profesores hagan un mayor esfuerzo para tener una mejor calificación, además de que los padres de familia están más informados para apoyar la educación de sus hijos y así exigirla”. “El examen está hecho por expertos y está bien hecho. Está midiendo lo que deben saber los niños, y si están preparando a los niños para el examen, que bueno. Si bien ENLACE no es una evaluación de la calidad, si es un indicador importante para la sociedad de que los niños aprendan bien sus matemáticas y español”.

La SEP publicó los resultados ordenados con base en el puntaje que obtuvieron las escuelas a partir de la calificación de los alumnos. A pesar de haber señalado que es técnicamente incorrecto ordenar las escuelas de mayor a menor puntaje a partir del resultado de la prueba la decisión se tomó porque se estaba cuestionando la transparencia de los resultados. Esta nota la publicó el periódico Reforma el 29 de Agosto del 2007 y está firmada por Sonia del Valle y Guadalupe Irízar.

Al día siguiente, en el periódico el Economista Eduardo Andere escribió que una difusión equivocada de los resultados de ENLACE ocasiona un impacto negativo en los siguientes aspectos: injusta, incorrecta e irresponsable.

En el financiero, el 5 de octubre del presente año, Rosalía Servín Magaña firma una nota en donde se menciona “ENLACE único termómetro de la educación. Los críticos dicen que desprestigia al sistema público y promueve al de paga; para la SEP, eleva la calidad de la enseñanza.

En el periódico la Jornada, el 28 de agosto, Karina Avilés menciona ENLACE fomenta competencia desleal y trampas entre escuelas. La SEP se deslinda de la interpretación de los resultados, aunque es responsable de la evaluación. Al día siguiente, en el mismo periódico y la misma periodista cabecea una nota que menciona Admite SEP que ENLACE no cumple con la tarea de evaluar las escuelas.

Inician clases para maestros reprobados… ENLACE ligth…etc, etc, y muchos más etcéteras…

II

ENLACE en el marco de las políticas públicas en materia educativa

En voz de la propia Secretaria de Educación, Lic. Josefina Vázquez Mota, puso a consideración a la Conferencia Nacional de Gobernadores (CONAGO) algunos temas fundamentales para avanzar en esta agenda educativa sustantiva.

La equidad es eje básico para la calidad. Y la calidad es a la vez el requisito para consolidar la equidad. (…) quiero referirme a un instrumento muy importante para avanzar en esta dirección: la prueba Enlace 2007.

ENLACE nos ha mostrado:

• que es un instrumento que permite conocer el nivel de aprendizaje de los niños,
• que por lo menos la mitad de los resultados educativos depende del apoyo y participación de los padres,
• que falta mucho por hacer, pues sólo 1% de los evaluados está en el nivel de logro de excelencia,
• que el resultado educativo es compromiso de todos: los directores de los planteles, los jefes de sector, las autoridades educativas, la sociedad civil y los gobiernos locales,
• que hay que tomar decisiones de fondo, porque los retos de la educación no pueden esperar y el desarrollo de las personas y del país depende, en gran medida, de la fortaleza y calidad de la educación,
• que la ciudadanía desea rendición de cuentas y evaluación permanente, que podemos y debemos construir una cultura de evaluación,
• y que estos niños que obtuvieron los mejores puntajes son ejemplo que aún con grandes carencias, se puede alcanzar un alto rendimiento

A partir de los resultados que se obtuvieron del ejercicio de 2006, el examen de abril permitirá la consolidación de la Prueba ENLACE como un eje fundamental para fortalecer a las comunidades educativas e impulsar la calidad y dar seguimiento al desarrollo de cada alumno, pero también de cada centro escolar.

Vamos a mejorar la confiabilidad de la prueba, contratando aplicadores externos y promoviendo la participación en los salones de padres y madres de familia de niños distintos a los que son evaluados.

Por instrucciones del Presidente Felipe Calderón Hinojosa, además, vamos a ampliar la aplicación a Educación Media Superior.

Para lograr la más amplia participación en la instrumentación de ENLACE, la participación de los estados será muy relevante.

De esta manera, con instrumentos como ENLACE vamos a fortalecer la evaluación de los alumnos, y vamos también a avanzar en la evaluación de docentes y centros escolares.

Las ideas anteriormente citadas se plasmaron en un documento titulado “Puntos de la Agenda Educativa” y son congruentes con lo establecido en el Programa Nacional de Desarrollo 2007-2012 que señala: Con el propósito de contribuir a dar un salto cualitativo en los servicios educativos se impulsarán mecanismos sistemáticos de evaluación de resultados de aprendizaje de los alumnos, de desempeño de los maestros, directivos, supervisores y jefes de sector, y de los procesos de enseñanza y gestión en todo el sistema educativo. La evaluación es una de las herramientas más poderosas para mejorar la calidad de la educación, como se ha comprobado en todos los países que han logrado elevar el desempeño de sus sistemas educativos.

La evaluación con métodos probados internacionalmente es, sin duda, el mejor camino para asignar estímulos tanto a las escuelas como al personal docente. Por ello, se realizarán evaluaciones anuales de aprendizaje en las áreas de matemáticas y español para estudiantes de primaria, secundaria y de educación media superior. Los resultados de estas evaluaciones serán públicos y estarán disponibles para todos los ciudadanos. El propósito es fortalecer la evaluación como un instrumento para la rendición de cuentas que permita mejorar de forma objetiva y lograr la calidad educativa que el país necesita y merece. Se fortalecerá la cultura de la evaluación en todos los medios relacionados con la educación, para lo cual se desarrollarán actividades de capacitación para realizar evaluaciones, así como para interpretarlas y utilizarlas.

En este contexto, se resalta que ENLACE fue concebido originalmente para atender la política de mejora de educativa aunque indirecta e intencionalmente se relaciona con otras como la rendición de cuentas, la transparencia y la participación social. Su implantación ha generado controversias, posturas favorables y desfavorables. ENLACE se está convirtiendo en una política de estado y ello no es cualquier cosa. El riesgo es que las políticas giren en torno a ENLACE y no a la inversa. Por lo tanto, no debe soslayarse ni sobrevalorarse sino darle su justa valor y para este fin se requiere conocer sus características para evitar prejuicios. Debe juzgarse con argumentos sólidos. Esta es la finalidad del siguiente apartado.

III

Aspectos Técnicos de ENLACE

A continuación se analizarán los aspectos técnicos implícitos en ENLACE para contar con mayores elementos de juicio y valorar si está cumpliendo con las expectativas generadas. Lo subdividiremos en seis grandes etapas: Diseño, Instrumentación, logística, procesamiento, análisis y difusión de resultados. La explicación y descripción de estas etapas es de manera sintética. La idea es proveerlas un marco referencial para una mejor comprensión de ENLACE.

a).- Diseño

Los propósitos explícitos de esta evaluación son:

• Coadyuvar a mejorar el aprendizaje de los alumnos de educación primaria y secundaria, orientando y facilitando la planeación del trabajo en el aula de los maestros y la participación de los padres de familia en la tarea educativa.
• Generar una sola escala de carácter nacional, con la finalidad de proporcionar información indicativa comparable del logro académico de los alumnos de educación primaria y secundaria.
• Posibilitar la rendición de cuentas y la transparencia en los diferentes niveles de mando del sistema de educación en primaria y secundaria, y de las escuelas hacia los padres de sus alumnos.

De esta manera, ENLACE está orientado a proporcionar elementos que coadyuven a incidir en la calidad educativa del país desde el salón de clases y la escuela. El docente dispondrá de información precisa para identificar oportunidades de mejora en su intervención pedagógica y compartir con los padres de familia los resultados de cada uno de sus alumnos, con la finalidad de socializar el trabajo de la escuela, fortalecer la idea de comunidad escolar y orientar el apoyo familiar.

En síntesis, se busca mejorar el aprendizaje de los alumnos de educación primaria y secundaria de nuestro país proporcionando información útil y oportuna para facilitar la planeación de la enseñanza; orientar la intervención educativa y estimular la participación de los padres de familia en la tarea educativa.

Este ejercicio inédito, sin precedente alguno en nuestro país y en sistemas educativos internacionales con cifras similares a las de México, indudablemente arrojará múltiples beneficios a los agentes y gestores educativos e incluso a los tomadores de decisiones, entre los cuales se destacan:

A los Docentes y directivos escolares:

• Apoyarlos en la detección de áreas de oportunidad en las prácticas pedagógicas.
• Proveerles de información para el diseño de cursos de capacitación.
• Proporcionarles indicadores de rendimiento académico para la autoevaluación del centro escolar.
• Permitirles identificar fortalezas académicas, para transformarlas en experiencias susceptibles de ser compartidas.

A los Padres de familia y estudiantes:

• Ofrecerles información respecto del nivel de logro obtenido por los estudiantes y los contenidos educativos.
• Proporcionarles información sobre los resultados obtenidos por el alumno, el grupo y la escuela y en general de los centros escolares del país.
• Identificar las fortalezas académicas que los estudiantes poseen, para que sean estimuladas y reconocidas por los padres de familia.

A las Autoridades educativas:

• Proporcionarles información por alumno, grupo y centro escolar, así como indicadores de rendimiento escolar, susceptibles de emplearse para evaluar programas educativos, así como para definir y valorar las políticas educativas.
• Aportarles elementos que pueden ser utilizados en sus tareas de planificación y programación de recursos humanos, materiales y financieros.

Rasgos distintivos con otros programas evaluativos internacionales y nacionales

Se detectan algunos rasgos distintos de ENLACE con otros programas evaluativos tales como Programa para la Evaluación Internacional de los Estudiantes, PISA por sus siglas en inglés (Programme for International Student Assesment) promovido y organizado por la Organización de Cooperación y Desarrollo Económico (OCDE) o los Exámenes de la Calidad y el Logro Educativos (EXCALE) desarrollados por el Instituto Nacional para la Evaluación de la Educación (INEE).

En el caso de PISA, se monitorean los resultados de los sistemas educativos de los países participantes en términos de logros de los estudiantes. Hace énfasis en la evaluación de las habilidades requeridos por los estudiantes para desempeñarse adecuadamente en su vida diaria independientemente si fueron adquiridas o no en el trayecto escolar. Su grupo objetivo es la población de quince años. Por otra parte, EXCALE es una evaluación sistémica de los aprendizajes de los estudiantes del Sistema Educativo Mexicano.

Por lo anteriormente mencionado es distinguible que ENLACE mide el resultado del trabajo escolar de cada alumno. Tanto PISA como EXCALE son muestrales. En otras palabras, A diferencia de PISA, ENLACE mide el trabajo escolar y a diferencia de EXCALE se evalúa el resultado de cada alumno y proporciona información por grados, grupos y centros escolares.

b).- Instrumentación

ENLACE mide los conocimiento y habilidades cognitivas de los alumnos en establecidos en los planes programas de estudio oficiales en las asignaturas de Español y Matemáticas. En primaria se aplica en los grados de tercero a sexto y en secundaria en tercero.

Características de las pruebas ENLACE:

• Objetivas porque su metodología de calificación es precisa y preestablecida además proporciona una referencia de comparación nacional y contra un criterio externo.
• Centradas en el conocimiento ya que tratan de reflejar el resultado del trabajo escolar. Su enfoque está apegado a los planes y programas de estudio oficiales vigentes.
• Estandarizadas considerando que su administración se hace en condiciones iguales para todos los examinados.
• De opción múltiple para automatizar el procesamiento de la información y se descarta el uso de preguntas abiertas.
• La aplicación es autoadministrable y controlada.
• La extensión es de 50 reactivos como mínimo y 70 como máximo para cada asignatura-grado. El contenido de las pruebas responderá al diseño explicitado en la matriz de especificaciones para cada asignatura-grado. La mencionada matriz de especificaciones se ajustará a los contenidos establecidos en los planes y programas de estudios oficiales vigentes.

Tomando en cuenta la necesidad de proporcionar información por alumno no se emplean diseños matriciales. Por lo tanto cada prueba tiene la extensión suficiente para constituir una muestra representativa de los contenidos propios de los planes y programas de las asignaturas evaluadas en cada grado.

Con la finalidad de garantizar la comparación, cada año se evalúan en pretest los reactivos a utilizarse de manera operativa al año siguiente. Para este fin se administra a una muestra representativa de alumnos recibe, además de la prueba general, algunos bloques correspondientes a la prueba en pretest con el propósito de poner a prueba un conjunto de ítems suficientemente grande como para asegurar la construcción del año siguiente.

Considerando que se realizará una evaluación censal, a todos los alumnos de los grados evaluados, no es posible reutilizar los reactivos. Esto imprime una característica a la prueba de alta volatilidad lo cual implica la necesidad de construir el mismo volumen de reactivos cada año. Para satisfacer esta necesidad de disponibilidad de ítems se requiere la constitución de un Banco Nacional de Reactivos se convoca anualmente a participar a instituciones públicas y privadas para alimentar este banco así como la construcción de una herramienta informática que permita automatizar el almacenamiento, consulta, acceso elaboración y validación de los reactivos.

Elaboración de Reactivos

Se elaboraron Tablas de Contenidos y Especificaciones para el proceso de elaboración de los reactivos que integraron las pruebas de ENLACE. Contempla el tema, contenido y las especificaciones respectivas para cada uno de los grados para el caso de matemáticas. En el caso de español se consideran el tipo de texto, contenido curricular, las líneas de evaluación y las especificaciones.

A partir de estas tablas, se elaboran los reactivos de acuerdo a un Manual de Normas en cuanto a su contenido (lo relativo al campo de estudio que trata un área o disciplina determinada) y estructura (procedimiento para elaborar reactivos de opción múltiple). Una vez elaborados los reactivos se someten a revisión de profesores de todo el país y expertos en contenido y currículum en un Taller de Jueceo con la finalidad evitar algún tipo de sesgo, determinar la calidad individual y colectiva de los reactivos; ajustarlos a las normas; constituir una muestra representativa y suficiente del dominio de conocimientos a evaluar.


También se realiza un estudio piloto en una muestra de alumnos para valorar el comportamiento de los reactivos a fin de asegurar el cumplimiento de estándares de calidad internacional esperados.

Con la información resultante en el jueceo y el piloteo, se define un marco metodológico y se realiza un análisis de los reactivos centrado principalmente en la selección de aquéllos que proporcionan mayor información. Se eliminan los reactivos de dificultad con valores extremos y se calcula la cantidad de varianza que aporta el ítem al total del test o prueba (covarianza). 


De esta manera, se seleccionan los mejores ítems a fin de integrar la prueba definitiva y contar con mayores elementos para fundamentar su inclusión en la versión final del examen.

Adicionalmente a las pruebas se elaboran los instrumentos Cuestionarios de contexto para ser respondidos por

• Padres de familia. Son dirigidos a una muestra y se les solicita información relativa al contexto sociocultural de la familia
• Alumnos. También se dirigen a una muestra para recabar información con respecto a hábitos que inciden el proceso de aprendizaje.
• Docentes. También se dirigen a una muestra para identificar los factores que inciden en el procese de enseñanza.
• Directores. Se les ofrece de manera censal en donde se desarrolla la aplicación con la finalidad de obtener datos del contexto, social y cultural de la escuela.

El fin último de estos cuestionarios es el desarrollo de estudios de factores asociados al logro académico de los estudiantes.

c).- Logística de Aplicación

Este etapa inicia con la planeación, organización y presupuestación del levantamiento de datos se realiza con varios meses de anticipación se reúnen periódicamente las instancias responsables de evaluación federales y locales para planear. Se definen las normas y las condiciones de aplicación (fechas, sesiones, procedimientos de control, logística, financiamiento, entre otros); la organización y las estrategias para el levantamiento de la información; la capacitación de quienes fungen como Coordinadores de la Aplicación en el conocimiento y manejo de los materiales así como en la función a desempeñar y la manera de organizar los materiales a fin de ser distribuirlos regionalmente.

En todas las entidades federativas participan los directivos y supervisores escolares así como padres de familia a quienes se les invita como testigos de la aplicación. Se redactan actas para documentar las condiciones en como se lleva a cabo el levantamiento de la información en lo general y la administración de las pruebas en lo particular.

La SEP provee los recursos financieros necesarios para la distribución de materiales y otros costos adicionales. Partiendo de las bases de datos oficiales se toman en cuenta las estadísticas de alumnos, grupos, escuelas y su ubicación geográfica para elaborar un proyecto de presupuesto nacional desagregado por entidad federativa con la finalidad de requerir la autorización del techo financiero de las autoridades federales. A su vez, cada entidad federativa diseña una estrategia de aplicación. En base a ella elabora su proyecto de presupuesto de operación.

Después del ensamble de la prueba final, se elaboran diversos documentos asociados para informar a todos los participantes (autoridades educativas federales y locales responsables de la evaluación, directivos, docentes, alumnos y padres de familia) la función por desempeñar. También son útiles para organizar y controlar y administrar los instrumentos de medición. Todos los materiales de evaluación y asociados se envían para su reproducción, armado y distribución a las entidades federativas.

A continuación se describe estos materiales:

1.- Un díptico con las características generales del levantamiento de la información. Se les entrega a todos los participantes en el proceso de aplicación. Ahí se les da a conocer sintéticamente los propósitos de la evaluación, los días, sesiones y horarios de aplicación entre otros datos.

2.- Un díptico con las normas operativas de la aplicación describiendo las funciones de los diversos participantes y los tiempos planeados para la realización de todas y cada una de las actividades programadas.

3.- Un documento para el Coordinador Operativo en la entidad federativa en donde se especifican sus funciones como responsable de la evaluación y su vinculación con los demás participantes. Este documento se utiliza también para regular las funciones de los Coordinadores Regionales.

4.- Un Manual para el Coordinador de Aplicación en la escuela mediante el cual se le explican las normas a las que debe apegarse el levantamiento y las funciones que debe realizar antes, durante y después de la aplicación.

5.- Una Guía para el Docente-Aplicador en la cual se le describe la forma en cómo deben administrarse los exámenes.

6.- Una guía para el Padre-Supervisor en donde se detallan sus funciones como observador al interior del grupo. Cada Padre-Supervisor deberá elaborar una carta compromiso para su participación en el proceso y para tal fin se le anexa el formato respectivo.

7.- También se emplean diversos formatos para la organización y control del levantamiento.

• Un documento en donde se registran las cantidades y tipos de materiales recibidos por la instancia responsable de la impresión, empaquetado y distribución a las ciudades capitales de las entidades federativas.
• Un formato para la entrega y recepción de los materiales en la entidad federativa para ser llenado por el Coordinador Operativa para asentar la forma en como serán distribuidos los materiales al interior de la entidad federativa (por regiones, municipios, según sea el caso).
• Un formato para el control de la aplicación en la escuela con la finalidad de tener el control de la entrega de los materiales a los docentes encargados de administrar las pruebas a los estudiantes.
• Un formato para el control de la aplicación en el aula con el propósito de identificar los números de folio de las pruebas asignados a los alumnos.
• Un acta para registrar las probables irregularidades que se susciten en la escuela durante la aplicación. Es decir, registrar cualquier situación anómala que afecte el desarrollo de la aplicación del examen y que violenten las normas y lineamientos preestablecidos.
• Una acta de entrega de materiales de parte cada Coordinador Operativo en las entidades federativas a la instancia responsable de ENLACE. Se enlistan los tipos de materiales y las cantidades que se remiten para su procesamiento.
• Considerando las particularidades de las escuelas administradas por el Consejo Nacional de Fomento Educativo (CONAFE), conocidas genéricamente como Cursos Comunitarios, se emite un documento similar ex profeso para estos casos. En estas escuelas la figura de Coordinador de Aplicación cumple estas funciones además de las de Docente-Aplicador ya que la norma establecida señala que debes intercambiarse entre grupos los maestros. Asimismo se les entrega un díptico con las funciones que debe realizar el Instructor-Aplicador.

Se integra una base de datos nacional, con información de los alumnos, grados, grupos y escuelas a evaluar. Se identifican a alumnos con nombre y CURP. Se lleva a cabo una validación de la información que envían las entidades federativas contra la base de datos de la SEP.

Se establecen las Normas Operativas para la Aplicación con el fin de garantizar una igualdad de condiciones en el proceso. Estas normas regulan aspectos como fechas de aplicación, cantidad y duración de las sesiones, procedimientos de control, reglas de aplicación –como intercambio de grupo entre maestros-, levantamiento de actas en caso de irregularidades (acta de irregularidades.PDF), así como características y funciones de los participantes, tales como: Coordinador operativo , Coordinador de aplicación, Docente aplicador. Este año se promovió la participación de al menos dos padres de familia para fungir como observadores de la aplicación en el aula, además de haber contado con la participación de 2,200 observadores externos de instituciones privadas educativas y empresariales.

Se diseña e imprimen las pruebas a partir de las bases de datos por entidad federativa. El empaquetado de los materiales se realiza por centro escolar. Las cajas se flejan y sellan para garantizar su apertura hasta el momento de aplicación. Durante este proceso se llevan a cabo revisiones de una muestra de caja. Los materiales se envían a las entidades federativas, quienes los distribuyen a las escuelas.

Se lleva a cabo el Reclutamiento y selección de coordinadores de aplicación. Se les capacita en el conocimiento y manejo de los materiales así como en la función a desempeñar y la manera de organizar los materiales a fin de ser distribuirlos regionalmente. Al concluir este proceso, se les aplica una evaluación.


El coordinador de aplicación se presenta a las escuelas. En presencia del Director y padres de familia verifica los sellos, distribuye los materiales en cada aula y verifica que los maestros se intercambien de grupo. En caso de detectar alguna anomalía procede al levantamiento del acta de irregularidades. Deja las pruebas en la escuela y entrega las hojas de respuesta a las autoridades educativas estatales, quienes las remiten a la Secretaría de Educación Pública.

d).- El procesamiento de la información

El procesamiento de la información consistió en la lectura óptica de los materiales con tecnología especial para tener la información de cada examinado con puntos de verificación y control rigurosos. Se revisan las respuestas dadas por los estudiantes. Se realiza una validación para detectar hojas de respuesta poco confiables, empleando dos metodologías para la detección de copia.

La calificación toma como base una escala subyacente, basada en la Teoría de Respuesta al Item (TRI) utilizando el modelo de tres parámetros (adivinación, dificultad y discriminación). Se le asigna a cada alumno un valor en puntaje no sólo por la cantidad de respuestas correctas sino de cuáles se respondieron. Este valor se presenta de forma estandarizada en una escala con media 500 y desviación estándar 100 para cada grado asignatura. Es decir, se define una escala independiente para cada grado-asignatura. Por lo tanto, los resultados de todos los años y en cada grado se expresan en la misma escala.

Según el grado de dificultad de las preguntas se establecen cuatro niveles de logro:

• El más bajo, Insuficiente, significa que el alumno necesita adquirir los conocimientos y desarrollar las habilidades de la asignatura evaluada.
• El segundo, Elemental, significa que el alumno requiere fortalecer la mayoría de los conocimientos y desarrollar las habilidades de las asignatura evaluada.
• El Siguiente nivel, Bueno, significa que el alumno muestra un nivel de dominio adecuado de los conocimientos y posee las habilidades de la asignatura evaluada.
• El nivel más alto, Excelente, significa que el alumno posee un alto nivel de dominio de los conocimientos y las habilidades de la asignatura evaluada.

Se realiza una validación para detectar patrones similares de respuesta. Se emplearon dos métodos al interior de los grupos:

Se emplearon 2 métodos para la detección de copia al interior de los grupos.

• El método K-index: Este método se basa en la comparación de los trenes de respuestas de los alumnos al interior de un grupo, toma en cuenta las coincidencias de las respuestas incorrectas de los alumnos al interior de cada grupo escolar. El valor que se obtiene es la probabilidad de que dos individuos presenten coincidencias. Para esto se utiliza la proporción de respuestas a cada opción de cada pregunta. Para determinar el punto de corte, se llevó a cabo una simulación con información generada de manera aleatoria con proporciones de copia determinadas a priori. El punto de corte que se utilizó a partir de los resultados de la simulación fue de 4.369 X 10-6, esto es que los alumnos con probabilidad igual o menor a lo señalado se clasificó como copia.
• El método de Diferencias. Este método es el que ha utilizado la DGEP en sus aplicaciones. Éste se basa en la comparación de los trenes de respuestas de los alumnos al interior de un grupo escolar. Se obtiene para cada alumno la cantidad de diferencias mínimas respecto a las respuestas de otro alumno que aplicó el examen en el mismo grupo escolar. El número de diferencias mínimo para cada grado fue diferente, debido a que los exámenes son de extensión diferente para cada grado, un alumno se identificó como resultado poco confiable cuando presentó máximo 10 en 3º, 12 en 4º, 11 en 5º, 12 en 6º y 13 en 3º de secundaria. Se anexa cuadro de copia por entidad y modalidad.

Estos dos métodos fueron complementarios y estos registros no se consideraron para la obtención de las medias por entidad, ni para los conteos de nivel de logro.

Por último, la equiparación consiste en ubicar los reactivos de las diferentes aplicaciones de cada asignatura en una misma escala. ENLACE utiliza el método de poblaciones comunes en lugar de reactivos comunes.

En este sentido, el diseño de equiparación de ENLACE comprende 6 pruebas con estructura matricial que fueron aplicadas a una muestra de los alumnos de los cursos correspondientes en 2006 y que durante 2007 constituyeron la “forma operativa”.

El diseño de equiparación elegido exige la calibración conjunta de los ítems comprendidos en las formas de pretest· y operativas (2006) y las operativas del 2007. Las calibraciones así obtenidas permiten asignar puntuaciones independientes para cada grado-asignatura en la misma escala que la de 2006. 

La bondad del proceso de equiparación depende de que las puntuaciones obtenidas para los alumnos de un grado utilizando sólo los ítems de la forma operativa o el conjunto de los ítems de la forma operativa y los de pretest coincidan. 

Para comprobar este procedimiento, se obtuvo la correlación para cada grado-asignatura de las variables Medida y Medida2. La primera corresponde a las estimaciones de las puntuaciones de cada individuo en la asignatura y grado correspondiente, basándose estrictamente en las calibraciones de los ítems operativos de 2006 por separado. La Medida corresponde a las estimaciones basadas en el procesamiento conjunto de los ítems operativos y de pretest.

e).- Difusión y Divulgación.

Los resultados obtenidos se publicaron en la página de internet http://www.enlace.sep.gob.mx. Los resultados de los estudiantes se presentan en puntaje y niveles de logro. Se les dan a conocer las respuestas dadas por los estudiantes identificando las correctas, incorrectas y no contestadas por asignatura. Adicionalmente se les proponen algunas lecciones y actividades para los estudiantes y maestros productos de tres proyectos realizados por la Universidad Pedagógica Nacional y la Universidad Nacional Autónoma de México:

• Mi Ayudante. Esta página dirigida para los profesores y se les sistematizan por contenidos temáticos los materiales educativos (libro del alumno, libro del maestro, ficheros, etc.) PUEMAC (Proyecto Universitario para Enseñanza de las Matemáticas Asistida por Computadora). Esta dirigida a los estudiantes y a través de ella se le presenta formas interactivas de aprender determinados temas.
• E-21. Al igual que PUEMAC con la diferencia de que incluye otras asignaturas, además de las matemáticas, y se apega a la Reforma de la Educación Secundaria.

También se imprimieron los informes de los resultados y se entregaron a los padres de familia, docentes y directivos escolares. Adicionalmente a estos informes se entregaron. Estor informes se acompañaron de otros materiales como una Guía de Trabajo para los docentes para el uso de los resultados de ENLACE, un Modelo de Autoevaluación de Centros Escolares y discos compactos para su sistematización además de otros dos discos compactos con la información de PUEMAC y Mi Ayudante. La divulgación ha sido a través de cursos capacitación, talleres, conferencias, etc.

Consideraciones Finales

ENLACE trastoca muchos ámbitos: La formación de docentes, la innovación educativa, el currículum, la gestión escolar. Es importante conocer los principios fundamentales de esta evaluación y usarla para los fines para los cuales fue creada. Puede ser un buen instrumento para identificar las áreas de mejora pero también puede convertirse en algo indeseable.

Considero relevante mencionar que está en los actores centrales del hecho educativo aprovechar la información valiosa que aporta y desdeñar otros fines extraños. Para ello, debemos darle los elementos necesarios para convertir ENLACE en una verdadero instrumento de cambio.