Instituto Colombiano para la Evaluación de la Educación

RESOLUCIÓN 498 DE 2011 

(Septiembre 5)

“Por la cual se modifica y complementa la Resolución 478 del 26 de agosto de 2011 que adoptó las metodologías para seleccionar los mejores estudiantes del examen de evaluación de la calidad de la educación superior-Saber Pro para el año 2010”.

La Directora General del Instituto Colombiano para la Evaluación de la Educación, Icfes,

en ejercicio de sus atribuciones, en especial de las conferidas por el artículo 9º del Decreto 5014 de 2009 y la Ley 1324 del 13 de julio de 2009.

CONSIDERANDO:

Que de conformidad con las atribuciones que le confieren el Decreto 3963 del 14 de octubre de 2009(1), se expidió la Resolución 478 del 26 de agosto de 2011 que adoptó las metodologías para seleccionar los mejores estudiantes del examen de evaluación de la calidad de la educación superior Saber Pro para el año 2010.

Que según se expresó en la mencionada resolución la definición de las metodologías obedece fundamentalmente a los ajustes que han venido efectuándose al examen de calidad de la educación superior, con ocasión de la transformación del Icfes ordenada por la Ley 1324 de 2009, y que han exigido la adecuación de la prueba a los parámetros definidos por la referida ley.

Que el objetivo principal para llevar a cabo la selección de los mejores exámenes de calidad de la educación superior Icfes Saber Pro, es efectuar públicamente un reconocimiento a los estudiantes que obtuvieron los mejores resultados en el examen y facilitar el otorgamiento de incentivos por parte del Gobierno Nacional(2).

Que revisados los criterios establecidos en la Resolución 478 del 2011, se evidenció la posibilidad de ampliar los parámetros inicialmente definidos de modo tal que pudiese facilitarse el acceso a los incentivos mencionados a un mayor número de estudiantes, motive determinante para modificar y complementar la metodología de selección establecida en la mencionada resolución, sin variar los grupos de referencia adoptados en la misma(3).

Que la modificación propuesta encuentra fundamento en los siguientes aspectos revisados nuevamente por parte de la Dirección de Evaluación del Icfes, según los cuales, dada la natural especialización de las formaciones de Educación Superior, aunque el desarrollo de las competencias genéricas sea para todas una prioridad, no se puede pretender que los estudiantes de todas ellas desarrollen a un mismo nivel las competencias genéricas, ni aún las específicas comunes a grupos de programas. En consecuencia, no resulta apropiado realizar procesos de selección y premiación de evaluados sin tener en cuenta el tipo y la orientación de la formación recibida. Más aún, no resulta conveniente publicar comparaciones planas de resultados de programas que difieren entre ellos sustancialmente por la población a la que atienden y por los objetivos que se proponen en la formación que imparten.

Que tampoco resulta de carácter informativo entregar resultados completamente descontextualizados. Para poder interpretar los puntajes obtenidos por los estudiantes y los programas es necesario suministrar información de los resultados obtenidos por estudiantes de programas similares. En consecuencia, es necesario definir agrupaciones de programas con características similares entre los que tenga sentido comparar los resultados de la evaluación de competencias genéricas.

Que considerando que a la fecha de esta resolución los resultados individuales de Saber Pro 2010 ya se encuentran publicados y no es viable permitir solicitudes de cambio de grupo de referencia por parte de los programas pues estas podrían estar amañadas, resulta necesario definir los grupos de referencia en cuestión a partir de registros administrativos para lo que la información del SNIES de área de conocimiento y nivel se presenta como la más idónea.

Que dada las bajas poblaciones de evaluados en los niveles técnicos y tecnológicos de las áreas de ciencias de la educación y matemáticas y ciencias naturales y en el nivel técnico del área de agronomía, veterinaria y afines, de acuerdo con la distribución de evaluados de 2010 por área de conocimiento y nivel que aparece en la tabla siguiente, resulta conveniente no distinguir por nivel en las áreas de ciencias de la educación y matemáticas y ciencias naturales y no distinguir entre técnicos y tecnólogos en el área de agronomía, veterinaria y afines.

Rótulos de filaNormales superioresTécnicoTecnológicoUniversitarioTotal general
Agronomía, veterinaria y afines 11481025783502
Bellas artes 2186172649208832
Ciencias de la educación 15922048720594
Ciencias de la salud 98715281248715002
Ciencias sociales y humanas 801523572633736709
Economía, administración, contaduría y afines 7500136873889860085
Ingeniería, arquitectura, urbanismo y afines 4770116362881945225
Matemáticas y ciencias naturales 3012025362686
Normales superiores4800   4800
Total general48002361731956137062197435

 

Que por no estar asociadas a un programa de manera oficial y, en consecuencia, tampoco a un grupo de referencia, las personas que hayan presentado el examen por cuenta propia, no preinscritos por instituciones de educación superior, no serán clasificados en un grupo de referencia específico y sus resultados aparecerán comparados con los promedios y desviaciones de la población total de estudiantes evaluados en cada módulo que presenten.

Que, en la medida en que, los módulos de competencias genéricas de inglés, comprensión lectora, pensamiento crítico, solución de problemas y entendimiento interpersonal son independientes y sus resultados no son comparables entre si y que, en consecuencia, el cálculo de un puntaje general de competencias genéricas sería artificioso y se prestaría para la elaboración de ordenamientos simplistas que no corresponderían a la complejidad de los resultados, se recomienda que sea por módulo que se produzcan resultados y que se haga la selección y premiación de evaluados.

Que a pesar de lo anterior, para efectos de selección y premiación de evaluados por sus resultados, resulta importante reconocer el esfuerzo uniforme en la realización de las pruebas y considerar como inferiores los resultados de quienes se hayan enfocado en algunas de ellas en detrimento de otras. Para tener esto en cuenta, en lugar de utilizar para efectos de premiación y selección el puntaje en el módulo, se debe definir un índice para cada módulo de competencias genéricas que permita ordenar los resultados de los evaluados de un mismo grupo de referencia.

Que la dirección de evaluación ha propuesto que se tome como índice, para cada módulo, la diferencia entre el puntaje del individuo y el puntaje promedio de su grupo de referencia multiplicada por 2,5, si el estudiante tuvo una puntuación superior en más de una desviación estándar al promedio de su grupo de referencia en los cinco módulos, multiplicada por 2, si no se cumple la condición anterior pero el estudiante tuvo una puntuación superior al promedio de su grupo de referencia en los cinco módulos, y multiplicada por 1, si tampoco se cumple esta última condición. También se ha propuesto que, en caso de empate, se use como criterio de desempate el promedio de los puntajes en los cinco módulos.

Puesto de otra manera, se define un multiplicador Mi para cada individuo i, de forma que el índice li del individuo i es entonces li = Mi * (Pi - PPGR), donde Pi es el puntaje del individuo en el módulo en cuestión y PPGR es el puntaje promedio de los estudiantes en el mismo módulo y Mi se define como sigue:

• Mi=2,5 si el puntaje del individuo en cada uno de los cinco módulos es mayor (estrictamente) al promedio del grupo de referencia más una desviación estándar.

• Mi=2,0 si no se cumple lo anterior pero el puntaje del individuo en cada uno de los cinco módulos es mayor (estrictamente) al promedio del grupo de referencia.

• Mi=1 si tampoco se cumple lo anterior.

Que la dirección de evaluación ha propuesto como criterio para la selección de estudiantes con mejores resultados de cada grupo de referencia en los módulos de pensamiento crítico, solución de problemas, entendimiento interpersonal e inglés, que el índice definido anteriormente sea superior a más de cinco (5) desviaciones estándar de los puntajes en el módulo de los estudiantes del grupo de referencia.

Que para una mayor comprensión del ejercicio efectuado, el documento técnico con el cual se define la anterior metodología de selección trae el siguiente ejemplo que a continuación se transcribe:

“Ejemplo:

Se tienen los siguientes datos de cinco estudiantes en un grupo de referencia:

Entendimiento interpersonalSolución de problemasPensamiento críticoComprensión lecturaInglésMultiplicadorÍndice entendimiento interpersonalPromedio en las pruebas
Puntuación estudiante A13,112,41212,812.62,57,512,6
Puntuación estudiante B10,598,510,69,710,49,7
Puntuación estudiante C13,112,312,211,611,52,57,512,1
Puntuación estudiante D11,41211,911.511,32.53,311,6
Puntuación estudiante E13,111.812,412,5112612,2
Promedio grupo de referencia10,110,510.69,910   
Desviación estándar del grupo de referencia1,11,41,21,31,1   

 

Entre estos cinco estudiantes, se observa que A, C y D obtuvieron un índice en entendimiento interpersonal que es igual a dos veces y media la diferencia de su puntaje con el promedio del grupo de referencia en el módulo. El estudiante E, a su vez, tiene un índice igual a dos veces la diferencia de su puntaje con el promedio del grupo de referencia en el módulo. Sin embargo, solamente los estudiantes A, C y E se encontrarían entre los mejores en Entendimiento Interpersonal porque su índice es mayor a más de cinco desviaciones estándar de los puntajes de su grupo de referencia (i.e. mayor o que 5,5). Adicionalmente, el estudiante A se ubica en un lugar superior al estudiante C, pues su promedio en las cinco pruebas es mayor”.

Que en la medida en que los estudiantes que fueron evaluados en aplicaciones extraordinarias tenían acceso a mayor información que los que no, solo se incluyen en las listas de mejores aquellos que se presentaron a las aplicaciones principales de junio y noviembre.

Que con las precisiones mencionadas se encuentra procedente efectuar las modificaciones planteadas a la Resolución 478 del 26 de agosto de 2011, la cual deberá tenerse en cuenta para la selección de los mejores estudiantes que presentaron el examen de calidad de la educación superior Icfes Saber Pro en 2010.

En merito de lo expuesto,

RESUELVE:

ART. 1º—Modificar el artículo 2º metodología para la selección de los mejores Saber Pro 2010 de la Resolución 478 del 26 de agosto de 2011 que adoptó las metodologías para seleccionar los mejores estudiantes del examen de evaluación de la calidad de la educación superior - Saber Pro para el año 2010, de conformidad con los argumentos expuestos en la parte motiva de esta resolución. En consecuencia la metodología de selección quedará así:

“Para determinar quiénes fueron los mejores en inglés, pensamiento crítico. Solución de problemas y entendimiento interpersonal por grupo de referencia, se debe definir un índice para cada módulo de competencias genéricas que permita ordenar los resultados de los evaluados de un mismo grupo de referencia.

Para este efecto se toma como índice la diferencia entre el puntaje del individuo y el puntaje promedio de su grupo de referencia multiplicada por 2,5, si el estudiante tuvo una puntuación superior en más de una desviación estándar al promedio de su grupo de referencia en los cinco módulos de competencias genéricas, multiplicada por 2, si no se cumple la condición anterior pero el estudiante tuvo una puntuación superior al promedio de su grupo de referencia en los cinco módulos, y multiplicada por 1, si tampoco se cumple esta última condición. Los casos de empate se dirimirán acudiendo al promedio de puntajes de los cinco módulos de competencias genéricas.

Como estudiantes con los mejores resultados en los módulos de pensamiento crítico, solución de problemas, entendimiento interpersonal e inglés, serán distinguidos aquellos para quienes el índice definido anteriormente sea superior a más de cinco desviaciones estándar de los puntajes en el módulo de los estudiantes del grupo de referencia”.

ART. 2º—Dejar sin efectos el artículo tercero de la Resolución 478 del 26 de agosto de 2011, referido a la información de resultados individuales, de conformidad con lo expuesto en la parte motiva de esta resolución.

ART. 3º—Dejar sin efectos el artículo cuarto de la Resolución 478 del 26 de agosto de 2011, referidos a la información de resultados agregados, de conformidad con lo expuesto en la parte motiva de esta resolución.

ART. 4º—Continúan vigentes los grupos de referencia 2010 establecidos en la Resolución 478 del 26 de agosto de 2011, las demás disposiciones señaladas en la precitada resolución que no sean contrarias a lo dispuesto en esta resolución.

ART. 5º—La presente resolución rige a partir de la fecha de su expedición.

Publíquese, comuníquese y cúmplase.

Dada en Bogotá, D.C., a 5 de septiembre de 2011.

(1) Decreto 3963 del 14 de octubre de 2009, por el cual se reglamentó el examen de calidad de la educación superior - Icfes Saber Pro.

(2) Decreto 3963 de 2009 artículo 6º. Incentivos. El Gobierno Nacional hará público reconocimiento a los estudiantes e instituciones que obtengan anualmente los mejores resultados en el examen de estado de calidad de la educación superior, mediante un certificado que acredite tal condición, de acuerdo con los criterios establecidos por el Ministerio de Educación Nacional.

La excelencia académica en el examen de estado de calidad de la educación superior de los estudiantes de los programas de pregrado será uno de los criterios para el otorgamiento de las becas de cooperación internacional, becas de intercambio y demás becas nacionales o internacionales que se ofrezcan en las distintas entidades públicas. De igual manera dichos estudiantes tendrán prelación en el otorgamiento de créditos para estudios de posgrado en el país y en el exterior.

(3) Grupos de referencia los cuales se concibieron como agrupaciones de programas con características similares, inicialmente definidos (para 2010) a partir de la clasificación de programas del sistema nacional de información de la educación superior (SNIES) del Ministerio de Educación Nacional.