The academic impact of the Universidad Nacional de Colombia's Faculty of Engineering on the Bogota campus

Impacto académico de la Facultad de Ingeniería de la Universidad Nacional de Colombia - Sede Bogotá

An analysis regarding the quality of higher education programmes in Colombia is presented by comparing students' scores from a given institution on the ECAES 2009 test to students' performance throughout the country. The analysis uses the value-added concept as applied to the academic world, this being obtained by using a regression model to ascertain the difference between the students' scores from a given faculty programme and the corresponding scores for students throughout Colombia; the higher education admission test was used to control initial results with results achieved by the same individuals on this test., A case study was proposed to illustrate the methodology by considering the Faculty of Engineering programmes at the Universidad Nacional in Bogota. Two different approaches were followed; the first used the generated function between SABER 11 and ECAES test scores and the second added institutional results by using the mean of the scores. The aforementioned Faculty of Engineering ratifies its relevance and importance as all its programmes come within the greater academic value-added area.

Se propone un análisis sobre la calidad de los programas de educación superior de Colombia, comparando los puntajes obtenidos por los estudiantes de una institución en la prueba Ecaes del año 2009, frente a los desempeños de los demás estudiantes del país. El análisis emplea el concepto de valor académico agregado, que se evalúa en función de la diferencia resultante entre el puntaje obtenido por los estudiantes de un determinado programa y el respectivo puntaje hallado por regresión para los demás estudiantes del país, controlando la condición inicial mediante el resultado alcanzado por los mismos individuos en la prueba de ingreso a la educación superior. Para ilustrar la metodología se toman los programas de la Facultad de Ingeniería de la Universidad Nacional en Bogotá como caso de estudio, y se presentan dos caminos: primero, siguiendo la función generada entre los puntajes de las pruebas Saber 11 y Ecaes, en el ámbito del estudiante; y segundo, haciendo una síntesis por programa con los promedios de puntajes, en el ámbito de la institución. La Facultad de Ingeniería mencionada confirma su relevancia y trascendencia, porque todos sus programas se localizan en la zona de mayor valor académico agregado.

• HTML (es)
• HTML (en)

Daniel Bogoya M.¹

¹ Ingeniero Químico y Magíster en Ingeniería de Sistemas de la Universidad Nacional de Colombia. Decano de la Facultad de Ciencias Naturales e Ingeniería en la Universidad Jorge Tadeo Lozano. daniel.bogoya@utadeo.edu.co

---

RESUMEN

Palabras clave: Ecaes, valor académico agregado, equidad en educación.

---

ABSTRACT

Keywords: ECAES, academic valueadded, educational equity.

---

Recibido: marzo 31 de 2011 Aceptado: junio 27 de 2011

---

Introducción

En el año 2009 se aplicaron por séptima vez, de manera censal en Colombia, las pruebas Ecaes, ahora denominadas Saber PRO, que se ofrecen anualmente a los estudiantes que cursan último año de estudios universitarios en el país. Luego del procesamiento de la información proveniente del trabajo de campo, el Instituto Colombiano para la Evaluación de la Educación, Icfes, dispuso las bases de datos generadas, con el fin de propiciar dentro de la comunidad académica la realización de investigaciones conducentes a generar conocimiento sobre el estado de la calidad de la educación superior colombiana y también a explorar relaciones entre los resultados observados y distintos tipos de variables que cada comunidad desee investigar.

Hipótesis

El presente artículo pretende desarrollar elementos para probar la siguiente hipótesis:

"Un proyecto educativo es relevante y trascendental cuando puede aportar valor académico agregado a sus estudiantes, en mayor proporción que lo observado en otras personas formadas mediante otros proyectos educativos".

Para probar la hipótesis, colocando el foco en los programas ofrecidos por la Facultad de Ingeniería de la Universidad Nacional en Bogotá, se emplea el resultado de puntaje alcanzado por los estudiantes de los programas considerados en las pruebas de ingreso a la educación superior, ahora denominadas Saber 11, como línea de base o variable de entrada al modelo propuesto, y el resultado de puntaje obtenido por los mismos individuos en la prueba Ecaes del año 2009, ahora llamadas Saber PRO, como variable de salida.

Antecedentes

El concepto de valor académico agregado que se propone para la educación superior se deriva del uso que ya se ha observado en educación básica, donde se ha definido como un proceso estadístico que provee indicadores para estimar la influencia de profesores, instituciones educativas y sistemas de educación en su conjunto (Sanders y Horn, 1994: 301). Al comparar el desempeño mostrado por estudiantes de dos instituciones distintas en una determinada prueba, en dos momentos diferentes, es posible estimar la condición de ventaja o rezago relativos, en ambos momentos referidos, si se establece la diferencia entre el resultado logrado por los estudiantes de cada institución y el respectivo valor para todo el universo (Goldstein, 2001: 251-252).

En todo caso, se prevé que un proyecto educativo es más efectivo que otros cuando logra un mayor valor académico agregado, es decir, un mayor nivel de aprendizaje en sus estudiantes, demostrado mediante la mayor diferencia de los resultados logrados por estos estudiantes, entre el inicio y el término de un determinado período, respecto de la diferencia observada con los estudiantes de los otros proyectos educativos del universo mencionado. Múltiples factores pueden explicar la mayor efectividad de un proyecto, como puede ser el caso de la conformación de redes, planeación conjunta de actividades académicas como base de la cooperación, consideración de metas conjuntas para educación e investigación, y reconocimiento mutuo de la calidad, entre otros tantos aspectos (Mikkola y Snellman, 2006: 53-54). No obstante, al aplicar pruebas al inicio y al término de un proyecto educativo con la finalidad de tener información de las entradas y salidas de los procesos involucrados, en forma análoga a como se utiliza el concepto en el mundo de la economía, suelen presentarse interrogantes fuertes a investigadores y formuladores de política en torno a los juicios de valor, asunciones conceptuales y decisiones técnicas implícitas para seleccionar qué dominios evaluar en una prueba (Saunders, 2010: 253-254); estos interrogantes se acentúan en el mundo de la educación, pues aquí incide toda una constelación de factores para lograr altos niveles de calidad, como lo han planteado, entre otros, algunos investigadores del Instituto de Investigación Educativa de la Universidad de Jyväskylä (Välijärvi et al., 2002: 15-46).

Antecedentes en Colombia

El recorrido en la utilización del concepto de valor académico agregado, empleando los resultados obtenidos por estudiantes que terminan sus estudios del nivel superior, comenzó en Colombia en el año 2006, tres años después de haberse implementado el proyecto Ecaes en el país, utilizando una regresión matemática y la respectiva representación gráfica del puntaje alcanzado en la prueba de ingreso a la educación superior, en el eje horizontal, como variable de entrada, y el respectivo puntaje obtenido en la prueba Ecaes de ingeniería de sistemas, derecho y fisioterapia, para el año 2003, y de nuevo fisioterapia para el año 2004, en el eje vertical, como variable de salida. La propuesta consideró dos planos en el análisis: primero, en el ámbito de estudiantes; y segundo, en el ámbito de grupos de estudiantes por institución de educación superior.

La forma y posición de las funciones generadas mediante regresión matemática reflejan la magnitud del valor académico agregado de cada programa que se analiza, frente al valor de los demás programas, teniendo en cuenta una referencia a la norma, es decir, siempre relativo al universo de población considerado (Bogoya, 2006: 18-23).

Procedimiento

Para mostrar el cumplimiento de la hipótesis trazada se llevaron a cabo los siguientes cuatro pasos.

Paso 1. Modelo conceptual

Con el fin de aplicar el concepto de valor académico agregado en el análisis de relevancia y trascendencia de un proyecto educativo, se adoptó un modelo general para representar los procesos involucrados en dicho proyecto (figura 1), donde x_ij representa la variable de entrada, cuyo valor es el puntaje alcanzado por el estudiante i (perteneciente al proyecto j) en la prueba de ingreso a la educación superior, mientras que y_ij denota la variable de salida, como puntaje obtenido por el mismo estudiante i en la prueba Ecaes del año 2009. Es necesario señalar que los resultados logrados en las pruebas referidas constituyen la fuente más estable, objetiva y estandarizada para valorar el desarrollo cognitivo y el aprendizaje de bachilleres y profesionales en Colombia. Para completar el esquema, z_ij indica una segunda variable de entrada, referida a la potencial incidencia del contexto del estudiante i dentro del proyecto j.

Paso 2. Fuente de información

Las bases de datos oficiales dispuestas por el Icfes (ver el sitio ftp://ftp.icfes.gov.co) fueron el insumo básico de información, desde donde se tomaron los códigos de identificación de los estudiantes y el puntaje que les fue asignado, primero en las pruebas de ingreso a la educación superior, que se utiliza como valor para la variable de entrada del modelo, y luego en la prueba Ecaes del año 2009, que corresponde al valor de la variable de salida. Los códigos utilizados permitieron identificar en cada estudiante el programa y la institución a la que pertenecen. De otra parte, también se utilizó la información que permitió vincular los resultados de puntaje asignado a los estudiantes en las pruebas mencionadas.

Paso 3. Representación gráfica

Con el propósito de ilustrar de modo gráfico el valor académico agregado de un proyecto educativo, se representó en un diagrama coordenado la relación existente entre las variables elegidas de entrada y salida del modelo asociado, en forma de puntaje asignado en las pruebas de ingreso y egreso de educación superior, frente a la relación encontrada para el universo de los demás proyectos cuyos estudiantes presentaron las mismas pruebas. Esta representación se hizo de modo individual, para explorar la diversidad de valores de la variable de salida, que corresponden con un mismo valor para la variable de entrada, y también en el ámbito de los distintos proyectos educativos, en forma de promedios de puntajes en las pruebas referidas, para apreciar el impacto global de un proyecto.

Paso 4. Análisis

Para el análisis que aquí se plantea se omite la variable de contexto porque no se cuenta con información objetiva que permita estimar el modo y magnitud como incide sobre la variable de salida; esta omisión equivale a suponer, bien sea un efecto de contexto similar y que opera como una constante con el mismo valor en todos los proyectos educativos del universo observado, o bien un efecto que queda incluido dentro del efecto académico de dichos proyectos educativos. El análisis puede llevarse a cabo en el ámbito de cada estudiante o también en forma de resumen o síntesis, calculando el promedio de puntajes en ambos momentos, el de ingreso y el de egreso de un programa, y efectuando comparaciones entre la relación hallada para un proyecto educativo y la respectiva relación para todo el universo considerado.

Resultados

Los resultados encontrados para el caso de estudio, y que permiten probar la hipótesis señalada, se presentan en tres apartados: primero, estadísticas generales; segundo, valor académico agregado en el ámbito de estudiantes; y tercero, valor académico agregado en el ámbito del proyecto educativo inherente a cada programa.

Estadísticas generales

A manera de imagen global de los resultados obtenidos por los estudiantes de la Facultad de Ingeniería de la Universidad Nacional en Bogotá, en las pruebas Ecaes del año 2009, se indica el número de estudiantes evaluados, el promedio y la desviación estándar de puntajes asignados, para cada programa considerado y para el país en su conjunto (ver tablas 1 a 8). Es necesario advertir que los datos del país comprenden también la información de la Universidad Nacional en Bogotá.

En todos los casos mostrados el promedio global de la Facultad de Ingeniería de la Universidad Nacional en Bogotá es superior al promedio nacional, con una diferencia que oscila entre 9,97 puntos, para el programa de ingeniería química, y 15,36 puntos para ingeniería de sistemas.

Valor académico agregado por estudiante

Avanzando en el análisis, se ilustran las relaciones halladas entre las variables de entrada (eje horizontal) y de salida del modelo (eje vertical), en el ámbito de cada estudiante, para el programa de ingeniería agrícola de la Universidad Nacional en Bogotá (figura 2), y para los otros programas de ingeniería agrícola de Colombia (figura 3), sólo con casos de resultados en ambas pruebas (64% en la Universidad Nacional y 67% en el país), donde se resalta la localización de los estudiantes con mayor valor académico agregado (VAA).

Ahora, para facilitar la comparación de los resultados obtenidos por los dos grupos observados, el de los estudiantes de ingeniería agrícola de la Universidad Nacional en Bogotá, por una parte, y el de los estudiantes de las demás instituciones del país, por la otra, se presentan en un mismo diagrama las líneas de tendencia generadas mediante regresión entre las variables de entrada y salida ya referidas, empleando un polinomio de grado dos (figura 4).

El programa de ingeniería agrícola de la Universidad Nacional en Bogotá revela mayor valor académico agregado que el conjunto de los demás programas del país, en todo el dominio de la función generada, porque el valor de la variable de salida (como señal del aprendizaje de los estudiantes, en el eje vertical) es siempre superior al respectivo valor de los estudiantes que se forman en otras instituciones y que tuvieron similar condición de ingreso (al leerlos resultados para un mismo valor en el eje horizontal).

De modo análogo, se muestra el valor académico agregado, en el ámbito de estudiantes, de los programas de ingeniería civil, eléctrica, electrónica, química, industrial, de sistemas y mecánica de la Universidad Nacional en Bogotá, frente a los demás programas del país (figuras 5 a 11), con líneas de tendencia generadas a partir de datos para las variables de entrada (prueba de ingreso a la educación superior) y de salida (prueba Ecaes 2009).

Adicionalmente, y de nuevo sólo con los estudiantes para quienes fue posible encontrar resultados en ambas pruebas (entre 51% y 84% de los casos), los programas de ingeniería eléctrica, electrónica, química y de sistemas de la Universidad Nacional en Bogotá también revelan mayor valor académico agregado que el conjunto de los demás programas del país, en todo el dominio de la función generada (figuras 6, 7, 8 y 10), mientras que los programas de ingeniería civil, industrial y mecánica, debido a la intersección observada entre las dos funciones representadas, muestran dos comportamientos opuestos (figuras 5, 9 y 11): en la zona de menor desempeño (a la izquierda de la intersección) se aprecia mayor valor académico agregado que para el conjunto del país; y en la zona de mayor desempeño (a la derecha de la intersección), el valor académico agregado es menor que para el conjunto del país.

Valor académico agregado por programa

Ahora se representa el efecto académico global de los programas de ingeniería de la Universidad Nacional en Bogotá, en todos los casos superior a la tendencia del conjunto de los demás programas de Colombia, mediante el promedio aritmético de los resultados de puntaje de las dos pruebas mencionadas, al agrupar los estudiantes por institución de educación superior, y sólo con la información de quienes cuentan con ambos resultados (figuras 12a 19).

Conclusiones

Aunque los factores que inciden en la formación de estudiantes universitarios son múltiples y se relacionan de manera compleja, se prevé que un programa de educación superior aporta mayor valor académico agregado y alcanza mayor efecto académico cuando eleva el nivel de comprensión de sus estudiantes, entre el inicio y el término de sus estudios, en mayor proporción que el conjunto de los demás proyectos educativos del universo considerado.

Los programas de ingeniería agrícola, eléctrica, electrónica, química y de sistemas de la Universidad Nacional en Bogotá revelan mayor valor académico agregado que el conjunto de los demás programas del país, en todo el dominio de la función generada, mientras que los programas de ingeniería civil, industrial y mecánica muestran dos comportamientos opuestos: mayor valor académico agregado que para el conjunto del país, en la zona de menor desempeño, donde los estudiantes presentan la mayor dificultad de aprendizaje, pero menor valor en la zona de mayor desempeño.

Los ocho programas de ingeniería de la Universidad Nacional en Bogotá demuestran su impacto académico, relevancia y trascendencia en Colombia porque aportan un valor académico agregado global siempre mayor que el respectivo valor hallado mediante regresión para los demás programas ofrecidos en el país, cuando se mantiene constante el valor de la variable de entrada al modelo considerado, es decir, el promedio de puntaje en la prueba de ingreso a la educación superior.

---

Referencias

Bogoya, D., Evaluación Educativa en Colombia., Memorias del Seminario Internacional de Evaluación, Cartagena, ICFES, febrero, 2006, pp. N1-N27.

Goldstein, H., League Tables and Schooling. Science in Parliament., Vol. 58, No. 2, 2001, pp. 251-252.

Mikkola, M., Snellman, O., Evaluation of CIMO NorthSouth Higher Education Network Programme., Ministry for Foreign Affairs of Finland &- Department for Development Policy, Helsinki, Hakapaino Oy, 2006, pp. 53-54.

Sanders, J. L., Horn, S. P., The Tennessee Value Added Assessment System (TVAAS): Mixed-Model Methodology in Educational Assessment., Journal of Personnel Evaluation in Education, Vol. 8, 1994, pp. 299 -311.

Saunders, L., A brief History of Educational 'Value Added': How Did We Get To Where We Are? School Effectiveness and Scholl Improvement, Vol. 10, No. 2, 2010, pp. 233-256.

Välijärvi, J., Linnakylä, P., Kupari, P., Reinikainen, P., Arffman, I., The Finnish Success in PISA &- and some reasons behind it., Finlandia, Kirjapaino Oma Oy, 2002, pp. 15-46

Daniel Bogoya M.¹

¹ Chemical Engineer and Master in Systems Engineering of Universidad Nacional de Colombia. Dean of the Faculty of Natural Sciences and Engineering at the Universidad Jorge Tadeo Lozano. daniel.bogoya@utadeo.edu.co

---

ABSTRACT

Keywords: ECAES, academic valueadded, educational equity.

---

Received: march 31th 2011 Accepted: june 27th 2011

---

Introduction

The ECAES tests which are taken annually by students in the last year of university studies in Colombia (nowadays called SABER PRO) were applied for the seventh time in 2009. After processing the information from the field work, the Colombian Institute for the Assessment of Education (ICFES) released the pertinent databases to facilitate research work within the academic community aimed at acquiring knowledge regarding the quality of Colombian higher education programmes and exploring relationships between results and the variables which each community may choose to investigate.

Hypothesis

This article attempts to develop different elements to support the following hypothesis:

An educational institution is relevant and useful as long as it can offer greater academic added value to its students than that observed in other individuals being educated/trained within other educational institutions.

The programmes offered by the Universidad Nacional's Faculty of Engineering in Bogota were thus chosen to support the hypothesis. The scores obtained by students in such programmes on higher education admission test, (nowa days called SABER eleven) were used as a baseline or input variable for the proposed model and the scores obtained by the same students on the ECAES 2009test (nowadays called SABER PRO) as the output variable.

Background

The academic valueadded (AVA) concept proposed here for higher education comes from its already observed use in primary and secondary education where it has been defined as a statistical process providing parameters for estimating teachers, educational institutions and school systems' influence (Sanders & Horn, 1994; p. 301). By comparing the performance of students from two different schools on a given test, during two different stages, it can be estimated how far ahead or behind a student is compared to the others during both stages if the difference between scores achieved by students from each institution and the corresponding value for the whole country has been established (Goldstein, 2001; p. 251-252).

It is expected that an educational project will be more effective than others when it acquires greater AVA (i.e. students achieve greater levels of understanding shown by the greater difference between test scores obtained by such students at the beginning and end of a given period of time in relation to differences regarding students from other educational projects within the area being studied). Several factors may explain an institution's greater effectiveness, such as setting up networks, shared planning of academic activities as the basis for cooperation, revising shared goals for both education and research and mutual recognition of quality (Mikkola & Snellman, 2006; p. 5354). Nevertheless, applying tests at the beginning and end of an educational project to gather information about its input and output (in the same way as the concept being used in economics) usually leads to strong arguments for both researchers and policymakers regarding value judgments, conceptual assumptions and technical decisions implicit in choosing what should be assessed by a given test (Saunders, 2010; p. 253254).These questions become even more important in the field of education since a whole constellation of factors influence achieving higher levels of quality as has been argued by some researchers at the Jyväskylä University Institute of Educational Research (Välijärvi et al, 2002; pp. 1546).

Colombia

The AVA concept started to be used in Colombia in 2006by means of test scores obtained by students who were finishing their higher education programmes; this was three years after the ECAES project had become implemented throughout the whole of Colombia. A mathematical regression model was used as well as a corresponding graphical representation for test scores obtained on the higher education admission test (on the horizontal axis) as input variable and the corresponding test scores obtained on the ECAES test for academic programmes (on the vertical axis) as output variable: systems engineering, law and physiotherapy in 2003 and physiotherapy again in 2004. The proposal considered two levels of analysis: student sand groups of students by higher education institution.

Both the shape and position of the functions generated by the mathematical regression model showed the magnitude of each programme's AVA in relation to the value of the other programmes, taking into account standardreferenced assessment (i.e. always in relation to the entire target population) (Bogoya, 2006; p. 1823).

Procedure

The following four steps were carried out to support the hypothesis proposed here.

Step 1. Conceptual model

A general model was adopted to represent processes involved within such project (see Figure 1) for applying the AVA concept to educational project relevance and importance analysis, where x_ij represents input variable whose value corresponds to the score obtained by student (from educational project j) on the higher education admission test; y_ij represents the output variable whose value corresponds to the score obtained by the very same student ion the ECAES 2009 test. It should be mentioned that scores obtained on such tests in Colombia represent the most stable, objective and standardised source for assessing high school and university students' cognitive development and understanding. To complete the scheme, z_ij indicates a second input variable referring to the potential influence of student i within project j.

Step 2. Source of information

The official databases released by ICFES (see the website ftp://ftp.icfes.gov.co) provided the main source of information; students' identification codes were extracted, along with their assigned scores on the higher education admission test (input) and the ECAES 2009 test (output). The codes allowed the researcher to identify each student's programme and institution. Information relating assigned test score to students on the tests mentioned above was also used.

Step 3. Graphic representation

The relationship between the associated model' sinput and output variables was represented on a coordinate grid for graphically illustrating a given educational institution's AVA by means of the assigned score on the higher education admission and graduation tests against the relationship found for other institutions forming part of the target population whose students took the same tests. Such representation was done at individual level to explore the diversity of output values corresponding to the same input value and also for each institutional by averaging score son the given tests to appreciate an institution's overall influence.

Step 4. Analysis

Context was omitted from the analysis proposed here, as the objective information for estimating how this variable's mode and magnitude would affect output was not available; such omission was equivalent to assuming a similar context influence having the same value for all educational projects in the universe being observed, or taking an influence into account within the academic impact of such educational projects. Analysis was carried out at student level or by summarising or grouping the data, calculating averaged scores on admission and graduation and comparing the relationship found for an educational institution and the corresponding relationship for the whole target population.

Results

The case study results (supporting the hypothesis mentioned above) are presented in three sections: general statistics, students AVA and institutional AVA for each programme.

General statistics

The number of students evaluated and their assigned scores' means and standard deviations for each programme and throughout Colombia (Tables 1 to 8) provided an overall picture of the results obtained by Universidad Nacional Faculty of Engineering students in Bogota on the ECAES 2009 test. It should be pointed out that countrywide data also contained information for the whole of the Universidad Nacional in Bogota.

In all cases, the overall average for Universidad Nacional Faculty of Engineering students in Bogotá was greater than the national average, difference ranging from 9.97 points for the chemical engineering programme to 15.36 points for the systems engineering programme.

Student AVA

Figure 2 shows the relationship between the model's student input (horizontal axis) and output (vertical axis) for the Universidad Nacional's agricultural engineering programme in Bogotá and for the other agricultural engineering programmes in Colombia (see Figure 3), using just cases for which results on both tests were available (64% Universidad Nacional and 67% for the whole of Colombia), where students' location was highlighted by greater AVA.

The regression-generated tendency lines for input and output using a second degree polynomial have been represented on the same diagram to facilitate comparisons between the results obtained by the group of Universidad Nacional agricultural engineering students in Bogotá and the group made up by students from the other institutions across the country (see Figure 4).

The Universidad Nacional agricultural engineering programme in Bogotá had the greatest AVA compared to the group of other programmes in Colombia, for the whole generated function domain, as output value (students' learning on the vertical axis) was always larger than the corresponding value for students attending other institutions and who had similar admission conditions (when reading the results for the same xvalue on the horizontal axis).

Likewise, students' AVA has been shown for civil, electrical, electronic, chemical, industrial, systems and mechanical engineering programmes at Universidad Nacional in Bogotá in relation to other programmes throughout Colombia (see Figures 2 to 11) using inputgenerated (higher education admission test) and outputgenerated (ECAES 2009 test data) tendency lines.

Again, using just the students for whom it was possible to find results for both tests (51% to 84% of cases), the electrical, electronic, chemical and systems engineering programmes at the Universidad Nacional in Bogotá also had greater AVA than the group of other programmes across the country, for the whole generated function domain (see Figures 6, 7, 8 & 10).Civil, industrial and mechanical engineering programmes (due to the observed intersection of the two represented functions) had two opposing patterns (see Figures 5, 9, & 11): greater AVA was seen in relation to results across Colombia within the low performance area (to the left of the intersection) and AVA was lower than that across Colombia within the high performance area (to the right of the intersection).

Academic added value (AVA) by programme

This section presents the overall academic impact of the Universidad Nacional's engineering programmes in Bogotá for all cases greater than the trend of the set of the other programmes in Colombia, using the test result averages on both tests and grouping the students by higher education institution, using just the information for those students whose results on both tests were available (see Figures 12 to 19).

Conclusions

Even though the factors influencing university students' education are diverse and are related to each other in complex ways, it would be expected that a higher education programme would provide greater academic added value and achieve greater impact as long as it increases the students' understanding level, from the beginning to the end of their studies, to a greater extent than that of other educational institutions regarding the target population.

Agricultural, electrical, electronic, chemical and systems engineering programmes at the Universidad Nacional in Bogotá had greater AVA than the group of other programmes across the country for the whole generated function domain. Civil, industrial and mechanical engineering programmes had two opposing patterns; they had greater academic added value than the group of other programmes across the country within the low performance area where the students presented greater learning difficulty but had lower AVA within the high performance area.

The academic impact, relevance and importance in Colombia of the eight engineering programmes at the Universidad Nacional in Bogotá was seen to be due to the fact that they bestow overall academic added value which was always greater than the corresponding value found by regression for the other programmes offered across the country, given that the input value for the considered model was kept constant (i.e. average score on the higher education admission test).

---

References

Bogoya, D., Evaluación Educativa en Colombia., Memorias del Seminario Internacional de Evaluación, Cartagena, ICFES, febrero, 2006, pp. N1-N27.

Goldstein, H., League Tables and Schooling. Science in Parliament., Vol. 58, No. 2, 2001, pp. 251-252.

Mikkola, M., Snellman, O., Evaluation of CIMO NorthSouth Higher Education Network Programme., Ministry for Foreign Affairs of Finland &- Department for Development Policy, Helsinki, Hakapaino Oy, 2006, pp. 53-54.

Sanders, J. L., Horn, S. P., The Tennessee Value Added Assessment System (TVAAS): Mixed-Model Methodology in Educational Assessment., Journal of Personnel Evaluation in Education, Vol. 8, 1994, pp. 299 -311.

Saunders, L., A brief History of Educational 'Value Added': How Did We Get To Where We Are? School Effectiveness and Scholl Improvement, Vol. 10, No. 2, 2010, pp. 233-256.

Välijärvi, J., Linnakylä, P., Kupari, P., Reinikainen, P., Arffman, I., The Finnish Success in PISA &- and some reasons behind it., Finlandia, Kirjapaino Oma Oy, 2002, pp. 15-46