Nota: Esta conferencia la impartí en Octubre del 2008 en la Ciudad de Toluca por invitación de los Servicios Educativos Integrados al Estado de México (SEIEM). Se describe el proceso de ENLACE en todas sus etapas. La utilización de los resultados como insumo del Estudio de los Factores Asociados al Logro Académico mencionado en dos textos publicados en este espacio. De igual manera, algunas ideas expuestas en "Evaluación y Mejora Educativa" Lo destacable son algunas ideas consideradas inicialmente y, al parecer, se promueven con menor importancia o dejaron de serlo por la Secretaría de Educación Pública. Por ejemplo lo relativo a promover esta evaluación como formativa; restarle importancia como instrumento de rendición de cuentas aunque sí de transparencia y detonante de la participación social tanto a nivel aúlico, escolar y sistémico; la sustitución gradual de algunas evaluaciones por ENLACE como medida única (como por ejemplo Olimpiada del Conocimiento Infantil). Desde este referente se explica la utilización de estos resultados para el Programa Nacional de Carrera Magisterial, Aprovechamiento Escolar en primaria y, de igual manera, en el caso del Programa de Estímulos a nivel nacional. Alguno tópicos polémicos como la metodología empleada para la detección de copia; entre otros tópicos. Hay coincidencia con el Programa Emergente para la Mejora del Logro Educativo, implementado dos años después, en relación con la participación de los Asesores Técnicos Pedagógicos, la vinculación con el currículum, tanto el diseño como el desarrollo y la forma de como incorporarla a la Reforma Integral a la Educación Básica (RIEB) así como en la formación continua de los profesores en servicio quedando como asignatura pendiente la formación inicial. Es texto extenso y referente para una mejor comprensión del devenir histórico de ENLACE.
Introducción
Primeramente agradezco a los organizadores de este 2° Coloquio “Los resultados de evaluación en educación básica: un marco de referencia para la mejora del desarrollo curricular de educación básica y programas de formación docente.” Es loable la concreción de estos espacios porque en este intercambio de experiencias se propicia la reflexión, se fomenta la teorización y se proyectan, eso espero, posibles líneas de acción concretas tendientes hacia la mejora de los procesos de enseñanza y aprendizaje.
En este sentido, el propósito de esta plática es exponer otra perspectiva de la Evaluación Nacional del Logro Educativo en Centros Escolares (ENLACE) distinta a la que se viene presentando. Esta visión permitirá detectar las necesidades de intervención pedagógica tanto en la enseñanza como en el aprendizaje de los temas y contenidos curriculares necesarios de fortalecer en la formación de estudiantes y maestros.
Mi exposición versará acerca de la articulación de tres líneas temáticas:
I Las evaluaciones nacionales estandarizadas a gran escala en educación básica. Particularmente la Evaluación Nacional del Logro Académico en Centros Escolares (ENLACE). Subdividiré este análisis en los siguientes apartados:
- Diseño
- Instrumentación
- Logística de aplicación
- Procesamiento de datos
- Análisis e interpretación de la información
- Difusión y divulgación de los resultados
La idea es ofrecer un referente común para emitir juicios de valor evitando los prejuicios u opiniones infundadas en aras de asegurar la validez de los resultados.
II La segunda temática es la relación entre evaluación y currículum. Específicamente entre ENLACE y los planes y programas de estudios oficiales vigentes en educación primaria y secundaria. Intentaré resaltar la forma en como se afectan mutuamente. La finalidad es identificar las necesidades de aprendizaje en los estudiantes y señalar algunas debilidades identificadas en el currículum a partir de los resultados de ENLACE.
III Por último, proponer líneas de formación docente partiendo también de los resultados de ENLACE. Tengo la esperanza de estimular y fomentar la cultura de evaluación en los programas de formación inicial y continua en las instituciones formadoras de docentes.
En síntesis, pongo a su con sideración la siguiente agenda de trabajo:
Introducción
I La Evaluación Nacional del Logro Educativo en Centros Escolares
- Diseño
- Instrumentación
- Logística de aplicación
- Procesamiento de datos
- Análisis e interpretación de la información
- Difusión y divulgación de los resultados
II La relación entre currículum y evaluación
III Algunas líneas de formación docente
Reflexiones finales
Con lo señalado en los párrafos anteriores espero cumplir con las expectativas de los organizadores y del auditorio. Aclaro también, que por razones de tiempo seré sintético y, quizá, se dejen de lado algunos aspectos importantes u su tratamiento sea superficial. De cualquier forma tendré la oportunidad de dialogar con ustedes al término de la charla utilizando como dinámica de trabajo una sesión de preguntas y respuestas según como lo establezca la moderadora y las cuales serán recogidas por el relator de esta mesa. También les dejaré mis datos por si acaso es de su interés establecer comunicación vía correo electrónico con un servidor. Sin más preámbulos doy inicio a mi participación.
I Las evaluaciones nacionales estandarizadas a gran escala en educación básica. El caso de la Evaluación Nacional del Logro Académico en Centros Escolares (ENLACE).
a) Diseño
a) Diseño
Los propósitos explícitos de esta evaluación son:
- Coadyuvar a mejorar el aprendizaje de los alumnos de educación primaria y secundaria, orientando y facilitando la planeación del trabajo en el aula de los maestros y la participación de los padres de familia en la tarea educativa.
- Generar una sola escala de carácter nacional, con la finalidad de proporcionar información indicativa comparable del logro académico de los alumnos de educación primaria y secundaria.
- Posibilitar la rendición de cuentas y la transparencia en los diferentes niveles de mando del sistema de educación en primaria y secundaria, y de las escuelas hacia los padres de sus alumnos.
De esta manera, ENLACE está orientado a proporcionar elementos que coadyuven a incidir en la calidad educativa del país desde el salón de clases y la escuela. El docente dispondrá de información precisa para identificar oportunidades de mejora en su intervención pedagógica y compartir con los padres de familia los resultados de cada uno de sus alumnos, con la finalidad de socializar el trabajo de la escuela, fortalecer la idea de comunidad escolar y orientar el apoyo familiar. Resumiendo, se busca mejorar el aprendizaje de los alumnos de educación primaria y secundaria de nuestro país proporcionando información útil y oportuna para facilitar la planificación de la enseñanza; orientar la intervención educativa y estimular la participación de los padres de familia en la tarea educativa.
Este ejercicio inédito, sin precedente alguno en nuestro país y en sistemas educativos internacionales con cifras similares a las de México, indudablemente arrojará múltiples beneficios a los agentes y gestores educativos e incluso a los tomadores de decisiones, entre los cuales se destacan:
A los Docentes y directivos escolares:
- Apoyarlos en la detección de áreas de oportunidad en las prácticas pedagógicas.
- Proveerles de información para el diseño de cursos de capacitación.
- Proporcionarles indicadores de rendimiento académico para la autoevaluación del centro escolar.
- Permitirles identificar fortalezas académicas, para transformarlas en experiencias susceptibles de ser compartidas.
A los Padres de familia y estudiantes:
- Ofrecerles información respecto del nivel de logro obtenido por los estudiantes y los contenidos educativos.
- Proporcionarles información sobre los resultados obtenidos por el alumno, el grupo y la escuela y en general de los centros escolares del país.
- Identificar las fortalezas académicas que los estudiantes poseen, para que sean estimuladas y reconocidas por los padres de familia.
A las Autoridades educativas:
- Proporcionarles información por alumno, grupo y centro escolar, así como indicadores de rendimiento escolar, susceptibles de emplearse para evaluar programas educativos, así como para definir y valorar las políticas educativas.
- Aportarles elementos que pueden ser utilizados en sus tareas de planificación y programación de recursos humanos, materiales y financieros.
Se detectan algunos rasgos distintivos de ENLACE en relación con otros programas evaluativos, internacionales y nacionales, tales como Programa para la Evaluación Internacional de los Estudiantes, PISA por sus siglas en inglés (Programme for International Student Assesment) promovido y organizado por la Organización de Cooperación y Desarrollo
Económico (OCDE) o los Exámenes de la Calidad y el Logro Educativos (EXCALE) desarrollados por el Instituto Nacional para la Evaluación de la Educación (INEE).
En el caso de PISA, se monitorean los resultados de los sistemas educativos de los países participantes en términos de logros de los estudiantes. Hace énfasis en la evaluación de las habilidades requeridos por los estudiantes para desempeñarse adecuadamente en su vida diaria independientemente si fueron adquiridas o no en el trayecto escolar. Su grupo objetivo es la población de quince años. Por otra parte, EXCALE es una evaluación sistémica de los aprendizajes de los estudiantes del Sistema Educativo Mexicano.
Por lo anteriormente mencionado es distinguible que ENLACE mide el resultado del trabajo escolar de cada alumno. Tanto PISA como EXCALE son muestrales. En otras palabras, A diferencia de PISA, ENLACE mide el trabajo escolar y a diferencia de EXCALE se evalúa el resultado de cada alumno y proporciona información por grados, grupos y centros escolares.
b).- Instrumentación
ENLACE mide los conocimiento y habilidades cognitivas de los alumnos en establecidos en los planes programas de estudio oficiales en las asignaturas de Español y Matemáticas. En primaria se aplica en los grados de tercero a sexto y en secundaria en tercero.
Características de las pruebas ENLACE:
- Objetivas porque su metodología de calificación es precisa y preestablecida además proporciona una referencia de comparación nacional y contra un criterio externo.
- Centradas en el conocimiento ya que tratan de reflejar el resultado del trabajo escolar. Su enfoque está apegado a los planes y programas de estudio oficiales vigentes.
- Estandarizadas considerando que su administración se hace en condiciones iguales para todos los examinados.
- De opción múltiple para automatizar el procesamiento de la información y se descarta el uso de preguntas abiertas.
- La aplicación es autoadministrable y controlada.
- La extensión es de 50 reactivos como mínimo y 70 como máximo para cada asignatura-grado. El contenido de las pruebas responderá al diseño explicitado en la matriz de especificaciones para cada asignatura-grado. La mencionada matriz de especificaciones se ajustará a los contenidos establecidos en los planes y programas de estudios oficiales vigentes.
Tomando en cuenta la necesidad de proporcionar información por alumno no se emplean diseños matriciales. Por lo tanto cada prueba tiene la extensión suficiente para constituir una muestra representativa de los contenidos propios de los planes y programas de las asignaturas evaluadas en cada grado. Con la finalidad de garantizar la comparación, cada año se evalúan en pretest los reactivos a utilizarse de manera operativa al año siguiente. Para este fin se administra a una muestra representativa de alumnos recibe, además de la prueba general, algunos bloques correspondientes a la prueba en pretest con el propósito de poner a prueba un conjunto de ítems suficientemente grande como para asegurar la construcción del año siguiente.
Considerando que se realizará una evaluación censal, a todos los alumnos de los grados evaluados, no es posible reutilizar los reactivos. Esto imprime una característica a la prueba de alta volatilidad lo cual implica la necesidad de construir el mismo volumen de reactivos cada año. Para satisfacer esta necesidad de disponibilidad de ítems se requiere la constitución de un Banco Nacional de Reactivos se convoca anualmente a participar a instituciones públicas y privadas para alimentar este banco así como la construcción de una herramienta informática que permita automatizar el almacenamiento, consulta, acceso elaboración y validación de los reactivos.
Se elaboraron Tablas de Contenidos y Especificaciones para el proceso de elaboración de los reactivos que integraron las pruebas de ENLACE. Contempla el tema, contenido y las especificaciones respectivas para cada uno de los grados para el caso de matemáticas. En el caso de español se consideran el tipo de texto, contenido curricular, las líneas de evaluación y las especificaciones.A partir de estas tablas, se construyeron los reactivos de acuerdo a un Manual de Normas en cuanto a su contenido (lo relativo al campo de estudio que trata un área o disciplina determinada) y estructura (procedimiento para elaborar reactivos de opción múltiple). Una vez elaborados los reactivos se someten a revisión de profesores de todo el país y expertos en contenido y currículum en un Taller de Jueceo con la finalidad evitar algún tipo de sesgo, determinar la calidad individual y colectiva de los reactivos; ajustarlos a las normas; constituir una muestra representativa y suficiente del dominio de conocimientos a evaluar.
También se realiza un estudio piloto en una muestra de alumnos para valorar el comportamiento de los reactivos a fin de asegurar el cumplimiento de estándares de calidad internacional esperados.
Con la información resultante en el jueceo y el piloteo, se define un marco metodológico y se realiza un análisis de los reactivos centrado principalmente en la selección de aquéllos que proporcionan mayor información. Se eliminan los reactivos de dificultad con valores extremos y se calcula la cantidad de varianza que aporta el ítem al total del test o prueba (covarianza). De esta manera, se seleccionan los mejores ítems a fin de integrar la prueba definitiva y contar con mayores elementos para fundamentar su inclusión en la versión final del examen. Adicionalmente a las pruebas se elaboran los instrumentos Cuestionarios de contexto para ser respondidos por
- Padres de familia. Son dirigidos a una muestra y se les solicita información relativa al contexto sociocultural de la familia
- Alumnos. También se dirigen a una muestra para recabar información con respecto a hábitos que inciden el proceso de aprendizaje.
- Docentes. También se dirigen a una muestra para identificar los factores que inciden en el procese de enseñanza.
- Directores. Se les ofrece de manera censal en donde se desarrolla la aplicación con la finalidad de obtener datos del contexto, social y cultural de la escuela.
El fin último de estos cuestionarios es el desarrollo de estudios de factores asociados al logro académico de los estudiantes.
c).- Logística de Aplicación
Este etapa inicia con la planeación, organización y presupuestación del levantamiento de datos se realiza con varios meses de anticipación se reúnen periódicamente las instancias responsables de evaluación federales y locales para planear. Se definen las normas y las condiciones de aplicación (fechas, sesiones, procedimientos de control, logística, financiamiento, entre otros); la organización y las estrategias para el levantamiento de la información; la capacitación de quienes fungen como Coordinadores de la Aplicación en el conocimiento y manejo de los materiales así como en la función a desempeñar y la manera de organizar los materiales a fin de ser distribuirlos regionalmente.
En todas las entidades federativas participan los directivos y supervisores escolares así como padres de familia a quienes se les invita como testigos de la aplicación. Se redactan actas para documentar las condiciones en como se lleva a cabo el levantamiento de la información en lo general y la administración de las pruebas en lo particular.
La SEP provee los recursos financieros necesarios para la distribución de materiales y otros costos adicionales. Partiendo de las bases de datos oficiales se toman en cuenta las estadísticas de alumnos, grupos, escuelas y su ubicación geográfica para elaborar un proyecto de presupuesto nacional desagregado por entidad federativa con la finalidad de requerir la autorización del techo financiero de las autoridades federales. A su vez, cada entidad federativa diseña una estrategia de aplicación. En base a ella elabora su proyecto de presupuesto de operación.
Después del ensamble de la prueba final, se elaboran diversos documentos asociados para informar a todos los participantes (autoridades educativas federales y locales responsables de la evaluación, directivos, docentes, alumnos y padres de familia) la función por desempeñar. También son útiles para organizar y controlar y administrar los instrumentos de medición. Todos los materiales de evaluación y asociados se envían para su reproducción, armado y distribución a las entidades federativas.
- Un díptico con las características generales del levantamiento de la información. Se les entrega a todos los participantes en el proceso de aplicación. Ahí se les da a conocer sintéticamente los propósitos de la evaluación, los días, sesiones y horarios de aplicación entre otros datos.
- Un díptico con las normas operativas de la aplicación describiendo las funciones de los diversos participantes y los tiempos planeados para la realización de todas y cada una de las actividades programadas.
- Un documento para el Coordinador Operativo en la entidad federativa en donde se especifican sus funciones como responsable de la evaluación y su vinculación con los demás participantes. Este documento se utiliza también para regular las funciones de los Coordinadores Regionales.
- Un Manual para el Coordinador de Aplicación en la escuela mediante el cual se le explican las normas a las que debe apegarse el levantamiento y las funciones que debe realizar antes, durante y después de la aplicación.
- Una Guía para el Docente-Aplicador en la cual se le describe la forma en cómo deben administrarse los exámenes.
- Una guía para el Padre-Supervisor en donde se detallan sus funciones como observador al interior del grupo. Cada Padre-Supervisor deberá elaborar una carta compromiso para su participación en el proceso y para tal fin se le anexa el formato respectivo.
También se emplean diversos formatos para la organización y control del levantamiento.
- Una documento en donde se registran las cantidades y tipos de materiales recibidos por la instancia responsable de la impresión, empaquetado y distribución a las ciudades capitales de las entidades federativas.
- Un formato para la entrega y recepción de los materiales en la entidad federativa para ser llenado por el Coordinador Operativa para asentar la forma en como serán distribuidos los materiales al interior de la entidad federativa (por regiones, municipios, según sea el caso).
- Un formato para el control de la aplicación en la escuela con la finalidad de tener el control de la entrega de los materiales a los docentes encargados de administrar las pruebas a los estudiantes.
- Un formato para el control de la aplicación en el aula con el propósito de identificar los números de folio de las pruebas asignados a los alumnos.
- Un acta para registrar las probables irregularidades que se susciten en la escuela durante la aplicación. Es decir, registrar cualquier situación anómala que afecte el desarrollo de la aplicación del examen y que violenten las normas y lineamientos preestablecidos.
- Una acta de entrega de materiales de parte cada Coordinador Operativo en las entidades federativas a la instancia responsable de ENLACE. Se enlistan los tipos de materiales y las cantidades que se remiten para su procesamiento.
- Considerando las particularidades de las escuelas administradas por el Consejo Nacional de Fomento Educativo (CONAFE), conocidas genéricamente como Cursos Comunitarios, se emite un documento similar ex profeso para estos casos. En estas escuelas la figura de Coordinador de Aplicación cumple estas funciones además de las de Docente-Aplicador ya que la norma establecida señala que debes intercambiarse entre grupos los maestros. Asimismo se les entrega un díptico con las funciones que debe realizar el Instructor-Aplicador.
Se integra una base de datos nacional, con información de los alumnos, grados, grupos y escuelas a evaluar. Se identifican a alumnos con nombre y CURP. Se lleva a cabo una validación de la información que envían las entidades federativas contra la base de datos de la SEP.
Se establecen las Normas Operativas para la Aplicación con el fin de garantizar una igualdad de condiciones en el proceso. Estas normas regulan aspectos como fechas de aplicación, cantidad y duración de las sesiones, procedimientos de control, reglas de aplicación –como intercambio de grupo entre maestros-, levantamiento de actas en caso de irregularidades (acta de irregularidades.PDF), así como características y funciones de los participantes, tales como: Coordinador operativo , Coordinador de aplicación, Docente aplicador. Este año se promovió la participación de al menos dos padres de familia para fungir como observadores de la aplicación en el aula, además de haber contado con la participación de 2,200 observadores externos de instituciones privadas educativas y empresariales.
Se diseña e imprimen las pruebas a partir de las bases de datos por entidad federativa. El empaquetado de los materiales se realiza por centro escolar. Las cajas se flejan y sellan para garantizar su apertura hasta el momento de aplicación. Durante este proceso se llevan a cabo revisiones de una muestra de caja. Los materiales se envían a las entidades federativas, quienes los distribuyen a las escuelas.
Se lleva a cabo el Reclutamiento y selección de coordinadores de aplicación. Se les capacita en el conocimiento y manejo de los materiales así como en la función a desempeñar y la manera de organizar los materiales a fin de ser distribuirlos regionalmente. Al concluir este proceso, se les aplica una evaluación.
El Coordinador de Aplicación se presenta a las escuelas. En presencia del Director y padres de familia verifica los sellos, distribuye los materiales en cada aula y verifica que los maestros se intercambien de grupo. En caso de detectar alguna anomalía procede al levantamiento del acta de irregularidades. Deja las pruebas en la escuela y entrega las hojas de respuesta a las autoridades educativas estatales, quienes las remiten a la Secretaría de Educación Pública.
d).- El procesamiento de la información
El procesamiento de la información consistió en la lectura óptica de los materiales con tecnología especial para tener la información de cada examinado con puntos de verificación y control rigurosos. Se revisan las respuestas dadas por los estudiantes. Se realiza una validación para detectar hojas de respuesta poco confiables, empleando dos metodologías para la detección de copia.
La calificación toma como base una escala subyacente, basada en la Teoría de Respuesta al Item (TRI) utilizando el modelo de tres parámetros (adivinación, dificultad y discriminación). Se le asigna a cada alumno un valor en puntaje no sólo por la cantidad de respuestas correctas sino de cuáles se respondieron. Este valor se presenta de forma estandarizada en una escala con media 500 y desviación estándar 100 para cada grado asignatura. Es decir, se define una escala independiente para cada grado-asignatura. Por lo tanto, los resultados de todos los años y en cada grado se expresan en la misma escala.
Según el grado de dificultad de las preguntas se establecen cuatro niveles de logro:
- El más bajo, Insuficiente, significa que el alumno necesita adquirir los conocimientos y desarrollar las habilidades de la asignatura evaluada.
- El segundo, Elemental, significa que el alumno requiere fortalecer la mayoría de los conocimientos y desarrollar las habilidades de las asignatura evaluada.
- El Siguiente nivel, Bueno, significa que el alumno muestra un nivel de dominio adecuado de los conocimientos y posee las habilidades de la asignatura evaluada.
- El nivel más alto, Excelente, significa que el alumno posee un alto nivel de dominio de los conocimientos y las habilidades de la asignatura evaluada.
- Se realiza una validación para detectar patrones similares de respuesta. Se emplearon dos métodos al interior de los grupos:
Se emplearon 2 métodos para la detección de copia al interior de los grupos.
- El método K-index: Este método se basa en la comparación de los trenes de respuestas de los alumnos al interior de un grupo, toma en cuenta las coincidencias de las respuestas incorrectas de los alumnos al interior de cada grupo escolar. El valor que se obtiene es la probabilidad de que dos individuos presenten coincidencias. Para esto se utiliza la proporción de respuestas a cada opción de cada pregunta. Para determinar el punto de corte, se llevó a cabo una simulación con información generada de manera aleatoria con proporciones de copia determinadas a priori. El punto de corte que se utilizó a partir de los resultados de la simulación fue de 4.369 X 10-6, esto es que los alumnos con probabilidad igual o menor a lo señalado se clasificó como copia.
- El método de Diferencias. Este método es el que ha utilizado la DGEP en sus aplicaciones. Éste se basa en la comparación de los trenes de respuestas de los alumnos al interior de un grupo escolar. Se obtiene para cada alumno la cantidad de diferencias mínimas respecto a las respuestas de otro alumno que aplicó el examen en el mismo grupo escolar. El número de diferencias mínimo para cada grado fue diferente, debido a que los exámenes son de extensión diferente para cada grado, un alumno se identificó como resultado poco confiable cuando presentó máximo 10 en 3º, 12 en 4º, 11 en 5º, 12 en 6º y 13 en 3º de secundaria. Se anexa cuadro de copia por entidad y modalidad.
Estos dos métodos fueron complementarios y estos registros no se consideraron para la obtención de las medias por entidad, ni para los conteos de nivel de logro.
Por último, la equiparación consiste en ubicar los reactivos de las diferentes aplicaciones de cada asignatura en una misma escala. ENLACE utiliza el método de poblaciones comunes en lugar de reactivos comunes. En este sentido, el diseño de equiparación de ENLACE comprende 6 pruebas con estructura matricial que fueron aplicadas a una muestra de los alumnos de los cursos correspondientes en 2006 y que durante 2007 constituyeron la “forma operativa”. El diseño de equiparación elegido exige la calibración conjunta de los ítems comprendidos en las formas de pretest· y operativas (2006) y las operativas del 2007. Las calibraciones así obtenidas permiten asignar puntuaciones independientes para cada grado-asignatura en la misma escala que la de 2006. La bondad del proceso de equiparación depende de que las puntuaciones obtenidas para los alumnos de un grado utilizando sólo los ítems de la forma operativa o el conjunto de los ítems de la forma operativa y los de pretest coincidan.
Para comprobar este procedimiento, se obtuvo la correlación para cada grado-asignatura de las variables Medida y Medida2. La primera corresponde a las estimaciones de las puntuaciones de cada individuo en la asignatura y grado correspondiente, basándose estrictamente en las calibraciones de los ítems operativos de 2006 por separado. La Medida corresponde a las estimaciones basadas en el procesamiento conjunto de los ítems operativos y de pretest.
e).- Difusión y Divulgación.
Los resultados de los estudiantes se presentan en puntaje y niveles de logro. Se les dan a conocer las respuestas dadas por los estudiantes identificando las correctas, incorrectas y no contestadas por asignatura.También se imprimieron los informes de los resultados y se entregaron a los padres de familia, docentes y directivos escolares.
II La relación entre currículum y evaluación
Cómo ya se mencionó en párrafos anteriores ENLACE pretende medir en que grado se están alcanzando los propósitos curriculares. Es una prueba que tiene como principal objetivo proporcionar información diagnóstica del grado (nivel) en que los alumnos han adquirido los temas y contenidos de las asignaturas de Español, Matemáticas y Ciencias. La información generada por ENLACE pretende dar repuesta al cuestionamiento ¿en qué medida los alumnos han adquirido lo establecido en el currículum? al menos en las áreas evaluadas (español, matemáticas y ciencias de tercero a sexto de primaria y tercero de secundaria) y sólo una porción de contenidos temáticos.
Tomando en consideración las respuestas de los alumnos los reactivos se clasifican como baja, mediana y alta dificultad con la posibilidad de desagregarse por unidades geográficas o administrativa. Lo cual permite identificar los temas y contenidos curriculares en donde el alumno o un grupo de alumnos requieren desarrollar o fortalecer sus deficiencias de aprendizaje.
Hasta aquí podemos percibir una perspectiva reduccionista del concepto currículum. Éste debiera ser más holístico. Debe considerar, como divulgar esta información diversas audiencias o actores involucrados en el hecho educativo y guardan una relación directa o indirecta en el aprendizaje de los alumnos.
Los padres de familia debieran conocer la información. Su aportación debe realizarse desde la premisa de no interferir en el proceso educativo formal y sin pretender sustituir la labor de los docentes y desprovisto de ideologías político-partidistas o religiosas. Los clásicos talleres para padres deberán estar encaminados a ofrecerle algunas estrategias para desarrollar el currículum en el hogar.
La actuación de los directores y de su estilo de gestión escolar es fundamental. Ellos tienen ante sí el desafío de armonizar todos los elementos y orientarlos hacia una mejor formación de los estudiantes. El modelo o la planeación de un centro escolar en múltiples ocasiones consideran elevar los resultados académicos de los alumnos. Los directores saben el qué deben hacer e incluso para que lo deben hacer. Pero tienen carencias muy serias de cómo deben hacerlo. Lo importante es que ellos se conciban como asesores pedagógicos y cuenten con las capacidades y competencias para desarrollar en los docentes las competencias para hacer competentes a sus alumnos.
Por otra parte los docentes también reforzarse su formación para contar con elementos teórico-metodológicos de cómo subsanar las deficiencias detectadas. Esta idea es muy obvia dado que son ellos quienes inciden directamente en el proceso educativo. Su estilo de enseñanza debe adecuarse a los diversos estilos de aprendizaje de los discentes. Por lo tanto, es recomendable enriquecer sus capacidades y competencias de enseñanza.
Es deseable visualizar el papel de los asesores técnicos pedagógicos como lo que deberían ser y como lo que de facto se viene haciendo. Muy encauzado en actividades administrativas que poco o nada inciden en el actuar de los directores y el quehacer de los docentes y, por lo tanto, su influencia es muy relativa en la formación de los estudiantes.
Es destacable la transformación que debiera hacerse en la visión de los supervisores y jefes de sector. Ellos también tienen mucho que aportar. Potenciar su experiencia y adecuarla a los tiempos actuales es fundamental.
Mención aparte merece los recursos y medios. Desde contar con los elementos mínimos indispensables para que los docentes puedan ejercer adecuadamente su labor hasta ofrecerles mejores condiciones a los estudiantes para que tengan la posibilidad de proyectar su aprendizaje hacia rumbos insospechados.
Sin dejar de lado quienes diseñan, implementan y evalúan las políticas públicas en materia educativa.
Como puede percibirse, evaluar el currículum desde los aprendizajes alcanzados por los estudiantes es una visión muy corta. Debiera considerarse todos los componentes incluidos en el modelo pedagógico.
De acuerdo con algunos estudios realizados por la Secretaría de Educación Pública se han encontrado algunos hallazgos relevantes. Se encontró que las las escuelas tienen un margen de acción significativo para modificar el nivel de logro de los alumnos. Por lo tanto, tienen una enorme responsabilidad sobre los aprendizajes. En este sentido se sugiere:
Diseñar estrategias orientadas a que las escuelas atenúen los mecanismos que transforman la desigualdad social en desigualdad de logros educativos.
• Incrementar la capacidad de los padres para apoyar a sus hijos en las tareas educativas.
• Incrementar las expectativas de los alumnos con respecto al nivel educativo que desean alcanzar.
• Incidir sobre las disposiciones y prácticas educativas de los docentes.
Específicamente debe trabajarse con:
• La calidad e la relación entre escuelas y familia.
• Las expectativas de los propios profesores sobre la capacidad de logro de sus alumnos .
• La capacidad de los profesores de proponer nuevas motivaciones y estrategias para acercarse a un aprendizaje situado, adaptado a las necesidades particulares de cada contexto (nuevas herramientas pedagógicas y de gestión y modificar aspectos claves de la cultura magisterial).
Un aspecto fundamental es mejorar las condiciones materiales en las que trabajan las escuelas. La infraestructura y los recursos de que disponen los centros escolares tienen una influencia considerable sobre los niveles de logro de los alumnos partiendo del uso (prácticas pedagógicas que se hagan de estos recursos).
Una parte de las carencias del sistema educativo en término de calidad y equidad de sus recursos está asociada a estas diferencias en la distribución social de los recursos educativos. Es insuficiente una distribución más equitativa de los recursos materiales.
Debe fortalecerse:
- La capacitación de los docentes para aprovechar al máximo estos recursos.
- La formación y la práctica de los docentes y las relaciones entre ellos y sus alumnos .
• Clima aúlico
• Adaptación a realidades más desfavorables
• Nivel de exigencia académica.
III Algunas líneas de formación docente
¿Están aprendiendo los alumnos lo que se les enseña? ¿Están enseñando los maestros lo que se supone que deben enseñar y de un modo adecuado? ¿Cómo trabajar con la información disponible para identificar las escuelas, los grupos y los alumnos que requieren atención prioritaria y urgente de acuerdo con los resultados obtenidos en las evaluaciones?
Hoy en día la evaluación ha cobrado singular importancia. La evaluación de aprendizajes a gran escala genera una vasta información la cual refleja, en cierta manera, el nivel de logro académico de los alumnos. Aunque ha fortalecido la cultura de evaluación también ha puesto de manifiesto la necesidad de trabajar más en la formación de los docentes y, sobre todo, de los directivos escolares. Considerando que la función pedagógica de la evaluación se vincula directamente con la calidad de los aprendizajes es innegable la carencia de recursos metodológicos para mejorar los procesos de enseñanza, aprendizaje y gestión escolar así como también el diseño de políticas públicas tendientes a elevar la calidad educativa.
La puesta en marcha de ENLACE ha arrojado algunas necesidades de formación en los docentes. Subrayo, en los docentes como agentes educativos responsables directos del proceso educativo. No considero dentro de este rubro a otras figuras como los directores escolares o los apoyos técnicos pedagógicos. Percibo tres grandes líneas
1.- De tipo conceptual
Han resultado insuficientes las capacidades de los docentes con respecto al conocimiento que poseen de la evaluación. Es importante actualizarlo en las evaluaciones a gran escala. Desde la distinción de evaluación y medición, distinguir entre acreditación, certificación y valoración. Identificar los diversos modelos de evaluación, conocer las técnicas para instrumentar este tipo de evaluaciones. El conocimiento de procesos fundamentales como el juicio de expertos, el piloteo. Las evaluaciones estandarizadas. Las metodologías de
calificación desde los dos grandes paradigmas: Teoría de respuesta al ítem y la teoría clásica de test, la generación de series históricas o la comparación a través del tiempo, las evaluaciones con referencia a norma y con referencia a criterio. El uso de la estadística descriptiva e inferencial. Para identificar causas y consecuencias implicadas en el hecho educativo hasta intentar explicar algunos fenómenos raros. La idea es proveerle un marco referencial mínimo para criticar las evaluaciones, para tener elementos de juicio para analizar la validez de la evaluación, para no soslayarla ni sobrevalorar. La intensión no es hacerlos evaluadores expertos pero si fortalecer su cultura de evaluación.
2.- De tipo procedimental. Lo más relevante es el uso de la información generada por las evaluaciones a gran escala con fines pedagógicos. ¿Qué puedo hacer con los resultados? ¿cómo puedo diseñar, implementar y evaluar estrategias didácticas partiendo de los resultados? ¿cómo puedo incorporar los resultados obtenidos en las evaluaciones nacionales en la planeación de la enseñanza? ¿Cómo puede orientarse el trabajo docente para incidir y elevar el nivel educativo de sus alumnos?
3.- De tipo valoral
Tener la actitud apropiada para aceptar la evaluación como un proceso de mejora y evitar la cultura de la trampa. En lugar de buscar la respuesta en su acción fortaleciendo el proceso educativo algunos docentes buscan la forma de cómo hacer trampas con los resultados para obtener mejores resultados.
Reflexiones finales
El propósito de ENLACE parte desde el concepto mismo de evaluación. Es un proceso ordenado, continuo, sistemático de recogida de información. Que responde a ciertos criterios (válida, confiable, útil). Comparada con criterios preestablecidos. Permite la emisión de juicios de valor fundamentados. Facilita la toma de decisiones.
Segundo componente del propósito de ENLACE: Tomar decisiones encaminadas a subsanar las deficiencias de aprendizaje. Lo anterior no es calidad educativa aunque si una parte de ella. Identificar las fortalezas y debilidades, potenciar las primeras y atacar las segundas, las áreas de mejora y oportunidad es el primer paso para la mejora.
Accionar hacia la mejora de la calidad educativa es un asunto muy serio y de gran trascendencia como para dejarlo en manos de unos cuantos. De aquí el cliché muy socorrido: La educación es tarea de todos. Los resultados pueden utilizarse como indicadores para evaluar otros objetos (o sujetos) de evaluación.
Los resultados de ENLACE son válidos para evaluar a los docentes y a las escuelas pero no debe ser el único indicador. El porcentaje de alumnos en cada uno de los niveles de logro en ENLACE aporta información indicativa del proceso educativo (de los procesos de enseñanza y aprendizaje) pero no lo explica en su totalidad. Es insuficiente para valorar el desempeño docente. De igual manera, analizar esta misma información por grado y grupos escolares es un dato relevante pero con el no puede ni debe juzgarse o valorar la eficiencia y eficacia de un centro escolar. Debiera ser desde un enfoque holístico. Para ambos casos se requiere muchísima más información.
La desagregación por grado y grupo de este indicador es susceptible de incorporarse en la planificación escolar y docente. Incluso para la toma de decisiones a nivel sistémico. Aunque con ello se evaluaría parcialmente al director escolar, al docente y a las autoridades educativas respectivamente.
Simplemente se detectarían los temas y contenidos resueltos de manera incorrecta por los estudiantes. Se supondría que son aquéllos en donde debiera orientarse la intervención educativa. No es más… ni es menos.
Los riesgos de una inapropiada estrategia de comunicación y una inadecuada promoción de la cultura de evaluación conducen inevitablemente al uso indeseado y técnicamente incorrecto de los resultados. Totalmente alejado de los propósitos para lo cual fue diseñado el programa.
Está en riesgo el desarrollo de toda una generación de estudiantes y el avance de la ciencia y la tecnología. Está en riesgo nuestra nación.
Muchas gracias por su atención.
No hay comentarios:
Publicar un comentario