Efectos de la Evaluación Nomotética en la Investigación Científica Universitaria, Exámenes de Ciencias

¡Descarga Efectos de la Evaluación Nomotética en la Investigación Científica Universitaria y más Exámenes en PDF de Ciencias solo en Docsity! REVISTA IBEROAMERICANA DE EDUCACIÓN. N.º 57 (2011), pp. 217-231 (ISSN: 1022-6508) 217 Análisis CrítiCo sobre Algunos efeCtos de lA CulturA de lA evAluACión nomotétiCA en lA universidAd Agustín de la Herrán * Gleyvis Coro Montanet ** SínteSiS: en los últimos años, la influencia de un determinado modo de entender la evaluación educativa en la vida universitaria se ha incre- mentado considerablemente. Dentro del marco educativo en general y el universitario en particular se ha convertido en una actividad reglamentaria más cercana a la certificación que a la de propiciar una mejora percibida desde su complejidad. Pero la evaluación es un proceso complejo que, por tanto, no se puede resolverse sólo objetiva o nomotéticamente. tras revisar someramente la génesis histórica de las diversas concepciones más relevantes sobre la evaluación, el presente trabajo pretende analizar críticamente la presencia de la cultura de la evaluación nomotética en la universidad. Posteriormente, reflexiona sobre algunos condicionantes contextuales de esta cultura en la enseñanza e investigación universita- rias. Finalmente, expresa algunos efectos de la cultura de la evaluación nomotética relacionados con la investigación científica. Palabras clave: evaluación educativa, evaluación nomotética, universidad, cultura, conocimiento científico, libro, complejidad. SínteSe: nos últimos anos, a influência de um determinado modo de entender a avaliação educativa na vida universitária incrementou-se con- sideravelmente. Dentro do marco educativo em general e o universitário em particular converteu-se numa actividade regulamentar mais próxima à certificação que à de propiciar uma melhora percebida desde sua com- plexidade. Mas a avaliação é um processo complexo que, por tanto, não se pode se resolver só objectiva ou nomotéticamente. Depois de revisar someramente a génesis histórica das diversas concepções mais relevantes sobre a avaliação, o presente trabalho pretende analisar criticamente a presença da cultura da avaliação nomotética na universi- dade. Posteriormente, reflexiona sobre alguns condicionantes contextuais desta cultura no ensino e investigação universitárias. Finalmente, expressa * Profesor titular, Departamento de Didáctica y teoría de la educación, Facultad de Formación de Profesorado y educación, Universidad Autónoma de Madrid (españa). ** Master en Calidad y Mejora de la educación. Facultad de Formación de Profesorado y educación, Universidad Autónoma de Madrid (españa). Artículo recibido: 24/03/11; evaluado: 29/07/11 - 24/09/11; aceptado: 26/09/11 Análisis crítico sobre algunos efectos de la cultura de la evaluación nomotética... REVISTA IBERO-AMERICANA DE EDUCAÇÃO. N.º 57 (2011), pp. 217-231 218 alguns efeitos da cultura da avaliação nomotética relacionados com a investigação científica. Palavras-chave: Avaliação educativa, avaliação *nomotética, universidade, cultura, conhecimento científico, livro, complexidade. AbStrAct: In recent years, the influence of a particular way of understan- ding the educational evaluation in university life has increased considerably. Within the framework of education in general and the university in particular has become a regulatory activity closer to certification to lead to better perceived from its complexity. but the evaluation is a complex process, therefore, can not be resolved only objective or nomothetic. After briefly reviewing the historical genesis of the various concepts most relevant to the assessment, this paper attempts to critically analyze the presence of nomothetic assessment culture on campus. Later, he reflects on some contextual conditions of this culture in teaching and research university. Finally, he expressed some effects of the culture of nomothetic assessment related to scientific research. Keywords: educational evaluation, assessment nomothetic college, culture, scientific knowledge, book, complexity. 1. INTRODUCCIÓN: GÉNESIS DE LAS CONCEPCIONES MÁS RELEVANTES DE LA EVALUACIÓN EN EDUCACIÓN HASTA LA ACTUALIDAD Aunque la evaluación siempre ha formado parte de la dinámica educativa, en los últimos ha sufrido importantes variaciones. Desde los años 60 una serie de hechos sociopolíticos como la Guerra Fría –que llevó a la competencia por la primacía espacial– acicateó la toma de conciencia por las Administraciones de las potencias económicas de la época hacia la idea de que un proceso de rendición de cuentas era fundamental para poder exigir responsabilidades en el campo del desarrollo. La articulación de este impulso hacia el reconocimiento de la educación como motor de progreso a través de la calidad de la enseñanza, posibilitó el despegue de una forma de entender la evaluación aplicada a la educación. Autores relevantes como Stufflebeam y Shinkfield (1987) o Madaus y otros (1991) han definido seis grandes periodos en el desarrollo de las concepciones sobre la evaluación educativa: Así, han descrito la época de la reforma (1800-1900), la época de la eficiencia y del «testing» (1900-1930), la época metódica de tyler (1930-1945), la época de la inocencia (1946- 1956), la época de la expansión (1957-1972) y la época de la profesio- nalización (desde 1973), que enlaza con la situación actual. De todos ellos, quien tradicionalmente es considerado como el padre de la evaluación educativa es tyler (1950), por ser el primero en dar una visión metódica y sistemática de la misma. Superando el conductismo A. de lA Herrán, G. C. MontAnet REVISTA IBEROAMERICANA DE EDUCACIÓN. N.º 57 (2011), pp. 217-231 221 2. UNA MIRADA CRÍTICA A LA CULTURA DE LA EVALUACIÓN NOMOTÉTICA EN LA UNIVERSIDAD Las universidades tienen el compromiso de convertir la evalua- ción en un proceso transparente y útil para la mejora de su enseñanza y de la formación e investigación. esto significa poder ser un producto legítimo en tanto comunidad científica, disciplinar e institucional (sAli- nAs, 2011). nuestra perspectiva es que esta intención no se corresponde con el enfoque dominante y la resolución desde un modo de hacer y de entender la evaluación. en efecto, en la universidad en general y en la investigación científica universitaria en particular, ha calado con fuerza una «cultura de la evaluación nomotética», que Stake (2010) ha definido como «aquella que, exportada desde las Ciencias de la naturaleza, apoya sus juicios en datos ”objetivos” que no tienen en cuenta la historia, los contextos y otras situaciones relevantes». La cultura de la evaluación nomotética sitúa a las universidades en rankings que las valoran de una forma simplificada sobre criterios convenientes, sin estimar su historia, su biografía, su contexto y circunstancias, las facilidades del medio, etc. también juzga personas y realizaciones, y lo hace simplificadamente, por la sombra que producen: «la larga sombra de la rendición de cuentas» (stobArt, 2010). el origen de esta interpretación puede situarse once años después de que –en 1883– Dilthey (1980) diferenciara entre Ciencias de la naturaleza y Ciencias del espíritu y cuando otro filósofo alemán, Windelband (1924), propuso en «Historia y ciencia natural» –de 1894–, otra clasificación que distinguía entre Ciencias nomotéticas (Ciencias la naturaleza) y Ciencias idiográficas (Ciencias Históricas). Las nomotéti- cas son aquellas que reconocen como único modelo científico –teórico y metodológico– el de las Ciencias naturales, mientras que las idiográficas consideran la naturaleza humana desde sus realidades contextuales, idiosincrásicas, individuales, desarrolladas desde aspectos históricamente determinados. Posteriormente, Rickert incidiría, en este mismo sentido, componiendo junto a Windelband la escuela de Baden. Una contribu- ción orientada a clarificar progresivamente, no sólo la diferencia entre el enfoque nomotético y el idiográfico, sino a analizar sus implicaciones epistemológicas. Con el paso de los años, algunas Ciencias Sociales como la Pedagogía han interiorizado esta dialéctica, consiguiendo desarrollar conocimientos aplicados y complejos que han sabido compatibilizar los dos enfoques, sobre todo en el terreno de la investigación educativa y de la evaluación didáctica. Análisis crítico sobre algunos efectos de la cultura de la evaluación nomotética... REVISTA IBERO-AMERICANA DE EDUCAÇÃO. N.º 57 (2011), pp. 217-231 222 Dentro de esta concreción, conceptuamos cultura como: «sis- tema de creencias, valores, costumbres y conductas compartidas que los miembros de una sociedad usan en interacción entre ellos mismos y que son transmitidos a través del aprendizaje» (MArtínez ten, tuts y Pozo serrA, 2004). en palabras de Stake (2010), esta cultura tiende a clasificarlo todo: naciones, sistemas educativos, instituciones, univer- sidades, titulaciones, revistas, profesionales, trabajos, alumnos, etc. Y la asimilación social de esta cultura evaluativa se refleja en sistemas ya establecidos y marcadamente alejados de la percepción idiográfica. esta inercia cultural queda implícita en la raíz de la evaluación estadística de los sistemas educativos tipo PisA; en los sistemas estandarizados de evaluación de la calidad de instituciones y titulaciones; en el sistema de indexación de revistas, en la evaluación de la productividad científica de investigadores y en la calidad de trabajos centrados en el índice de im- pacto, como en las citas del criterio de audiencia de los programas de tv y del reconocimiento de la alta creatividad en función de la respuesta del entorno científico y social (csikszentMihAlyi, 2004), etc. tal enfoque condiciona los objetos evaluados induciéndolos a una uniformización en función del modelo emisor culturalmente dominante que, como es lógico, asocia ventajas para quienes los idean, organizan, gestionan y exportan. Además, suelen requerir condiciones en los demás que hacen que las personas comiencen el proceso con desventaja. en el caso específico de las universidades –según expresa el mismo Stake (2010)– la consideración en torno a la evaluación parte de un modelo anglosajón que está en la raíz de la evaluación de la calidad de la producción científica y que se centra en el factor de impacto, siendo el factor común la identificación entre el medio y el mensaje. es decir, no se considera tanto la calidad del contenido analizado, sino en función de la respuesta del entorno: citas, índices de audiencia, reconocimiento del medio, indexaciones, rankings, etc. Así, y puesto que ningún fenó- meno es no complejo (Morin 1984), cuando el método de evaluación es lineal y no se abre a la complejidad, no puede aproximarse al fenómeno evaluado. Y mientras se insista en proceder de este modo de referirse al tema en análisis desde su perfil o su contorno –esto es un modo simple presupuestado desde una aproximación y para ella-, se acumularán aproxi- maciones imprecisas que no atenderán el interior del fenómeno. Desde esta perspectiva aceptamos, por imprescindible, la máxima de teilhard de Chardin (1984), como antecedente de los enfoques basados en la com- plejidad, cuando decía: «Atender el fenómeno, pero todo el fenómeno». A. de lA Herrán, G. C. MontAnet REVISTA IBEROAMERICANA DE EDUCACIÓN. N.º 57 (2011), pp. 217-231 223 3. ALGUNOS CONDICIONANTES DE LA CULTURA DE LA EVALUACIÓN NOMOTÉTICA EN LA INVESTIGACIÓN CIENTÍFICA en este parágrafo nos detendremos en una serie de condicio- nantes tradicionales que coadyuvan al mantenimiento y desarrollo de la cultura de la evaluación nomotética, desde la perspectiva de la investi- gación científica: 3.1 La investigación científica se vaLora más que La enseñanza es un efecto secundario del énfasis en la investigación cientí- fica sobre la docencia esta prioridad está presente en una gran parte de los docentes universitarios, verificándose la paradoja de que, mientras que de la docencia se vive, de la investigación se obtienen los mayores reconocimientos. Lleva a una cierta descompensación profesional, que contribuye a que la enseñanza se perciba más como ‘carga docente’ que como privilegio. esto ocurre por dos razones básicas, que incrementan el efecto: en primer lugar, porque a efectos del CV los méritos de inves- tigación se valoran más que los docentes o de gestión. esto quiere decir que el interés del profesor-investigador tiende a estar en sus artículos de impacto y no tanto en su enseñanza o –lo que es más grave–, en la formación del alumno (herrán, 2010). Sin embargo, paradójicamente, las plazas docentes se organizan sobre necesidades de enseñanza, que para esto sí es útil. el corolario es que la desconsideración pedagógica es un hecho confirmado también desde la Administración. en segundo lugar, porque por ignorancia o prejuicio pedagó- gico, la enseñanza se mantiene lejos de la investigación, de modo que, a veces, la investigación en la propia docencia es considerada por las agencias y comisiones de evaluación como «proyecto de innovación», sin valor científico. 3.2 se acentúa más La investigación apLicada-tecnoLógica que La investigación básica La investigación científica tiene distintos objetivos en función de si es cuantitativa –explicar relaciones de causa y efecto, conocer grados de asociación entre variables, describir, etc.– o cualitativa –comprender en profundidad–. La investigación que mejor comprende la sociedad y requiere el sector privado, que a la postre va a ser su principal usuario, es Análisis crítico sobre algunos efectos de la cultura de la evaluación nomotética... REVISTA IBERO-AMERICANA DE EDUCAÇÃO. N.º 57 (2011), pp. 217-231 226 que se genera. Cuando la investigación científica se hace instrumental y pierde de vista al ser humano, algo fundamental en ella está fallando. Ésta es nuestra conjetura de partida. Una ciencia percibida como un aro por el que los procesos y productos deben pasar de una determinada manera es una condición limitadora que no está a la altura de la complejidad del cerebro que la produce y a que se destina. Una investigación científica capaz de retomar con rigor pero sin rigidez la raíz, el tronco y el sentido de lo que se construye reducirá más y mejor la distancia entre el fenó- meno y el conocimiento del fenómeno. Para ello es indispensable, una más compleja comprensión de la ciencia, su naturaleza y su sentido, una mejor formación de los científicos y un cambio radical en la cultura, los referentes y los sistemas de evaluación y acreditación. 4.2 efecto en eL sistema de evaLuación deL conocimiento científico Desde que a finales de los años 50 del pasado siglo e. Garfield introduce el concepto de indexación en la investigación científica, se comparte la tesis de que el factor de impacto define el valor científico de la revista, que a su vez define la calidad de los trabajos contenidos en ella. La empresa thomson Reuters (2010), a través de su producto estrella, Web of Knowledge ha conseguido polarizar el interés de los sis- temas nacionales de ciencia y tecnología en el informe anual Journal of citation report, contratando con ellos licencias; en el caso de españa, a través de la fecyt (Fundación española para la Ciencia y la tecnología), dependiente del Ministerio de Ciencia e innovación. Desde la perspectiva de la investigación científica universitaria, la cultura de la evaluación no- motética se refleja como una «cultura de la citación» (Wouters, 1999) o una cultura del impacto. Ésta no es la cultura del conocimiento, y por ende no debiera ser la cultura de la ciencia. esta forma de interpretar el conocimiento científico ha acelerado el proceso de construcción cien- tífica en sentidos cuyo desarrollo puede reconocerse. Y se ha alienado (identificado) con un poderoso sistema de evaluación que hoy domina el panorama científico. este sistema, desde fuera de la ciencia, dicta las normas, clarifica las reglas de juego, determina los éxitos y participa en los efectos. Quizá la ciencia haya dejado de pertenecerse a sí misma, quizá no cumpla plenamente su función. el sistema que cuestionamos repercute en otras publicaciones, autores, trabajos, etc. ajenas a las revistas jcr o sjr que también forman parte activa del tejido de la cien- cia, minimizando su importancia. Por ello se empobrecen editoriales de libros y el libro en general, revistas no indexadas, investigadores, autores heterodoxos o ideas emergentes, contribuciones reflexivas, etc. Por tanto, A. de lA Herrán, G. C. MontAnet REVISTA IBEROAMERICANA DE EDUCACIÓN. N.º 57 (2011), pp. 217-231 227 genera beneficios descompensados que para la ciencia no pueden ser provechosos. Como pudiera ocurrir con el sistema muscular, la armonía es deseable. el sistema de evaluación centrado en el factor de impacto se ha fortalecido notablemente, tanto subjetivamente –para los investi- gadores-autores, revistas, editores, etc.– como objetivamente –para los ministerios, sistemas de ciencia y tecnología nacionales, fundaciones y agencias nacionales de evaluación, etc.–. A raíz de las críticas asociadas creemos necesaria una profunda revisión, posiblemente orientada a su diversificación y relativización, por el bien de las personas y de la evolu- ción del conocimiento científico. 4.3 efecto en eL Libro como medio cuLturaL y educativo Uno de los elementos más perjudicados por la cultura de la eva- luación nomotética es el libro. Pero la devaluación del libro es un efecto de un proceso anterior, condicionado al menos en parte por el éxito de la cultura de la evaluación de la productividad científica. el proceso al que nos referimos es la triple y consecutiva identificación entre conocimiento y ciencia, ciencia y ciencia empírica (cuantitativa o cualitativa), y ciencia empírica y esquematismo. Analicemos críticamente este efecto desde una lectura didáctica e investigativa. el libro tiene una importancia social y educativa indiscutible, que preside la vida de la persona desde su niñez. «Hay un orden clarísi- mo: padres (sobre todo, la madre), familia, maestros, sociedad, libros y medios de comunicación» (MAyor zArAgozA, 2010, p. 15). Desde que Mc Luhan diera entrada a la era electrónica y muy especialmente desde hace diez años, las ventas de libros han caído imparablemente por la emergencia de la «cultura de la imagen». Pero también el libro ha per- dido peso específico en la cultura universitaria, tanto desde la docencia –por el uso masivo de internet, por la emergente enseñanza basada en competencias y por la hegemonía de una propuesta de evaluación casi exclusivamente centrada en los efectos–. en efecto, por un lado, desde la docencia real se deprecia reactivamente al libro, a veces sin saberlo, porque no favorecen la actividad intelectual serena, reflexiva y sosegada. «el verdadero objeto de los libros es obligar a la mente a pensar por sí misma» (Morley). Y la enseñanza universitaria actual, acelerada, propicia una formación profesionalizante más centrada en conductas y productos, que en la educación de la razón y su proceso (gonzález jiMénez, 2009, comunicación personal) –aunque haya autores como Arnold (2010) que tiendan a asimilar todo a competencias–. Por tanto, más centrada en el Análisis crítico sobre algunos efectos de la cultura de la evaluación nomotética... REVISTA IBERO-AMERICANA DE EDUCAÇÃO. N.º 57 (2011), pp. 217-231 228 saber hacer y en el hacer que en el conocimiento que a la postre somos. Por ello con mucha frecuencia el libro no es necesario. Basta una acti- vidad intelectual de consulta y lectura rápida en internet para cortar y pegar lo deseado. Por lo que respecta a la investigación científica, el sistema de evaluación de la productividad que criticamos apenas valora el libro para la justificación de los méritos de investigación. Dentro de la Web of Knowledge, producto en que se basa el sistema de la fecyt y con datos de 2010, la base Science Citation index expanded (scie) incluye los 145 libros más citados. Social Sciences Citation index (ssci) incluye los 30 libros más citados, y Arts&Humanities Citation index (Ahci) incluye 15 series de libros más citados (fecyt, 2009, p. 2). este gesto objetivamente extraño no sólo no soluciona el problema de fondo, sino que lo normaliza en dos sentidos, a cual peor: confirmando su existencia, y adelantando la posibilidad de que el libro entre en el mismo sistema de selección y rankings de las revistas. De hecho, hoy el libro está fuera de los índices de impacto de dos de los tres campos científicos incluidas en la Wos: Ciencias naturales y Ciencias Sociales. tan sólo al referirse a Artes y Humanidades, se reconoce que: «las revistas de artes y humanidades con frecuencia hacen referencia a fuentes que no son revistas (por ejemplo, libros, composiciones musicales, obras de arte y literatura» (thoMson reuters, 2010b, p. 6). Con todo y para desgracia del libro científico y la cultura, pero sobre todo para el conocimiento, es inminente la puesta en marcha de una nueva base de datos denominada Book Citation index, donde este tipo de publicación recibirá un tratamiento nomotético similar en lo formal a las revistas. 4.4 efecto en La forma de entender La evaLuación en La enseñanza Desde hace unos 45 años, Stake (2010), a quien nos hemos referido –actualmente profesor de la illinois University at Urbana Cham- paign y Director del center for Instructional research and currículo evaluation (circe) y creador del constructo «evaluación comprensiva»–, viene advirtiendo del previsible riesgo de identificar «evaluación» con «evaluación nomotética» por su grave repercusión en la educación. Sto- bart (2010) analiza con aplicación en contextos universitarios «el poder de la evaluación» –por la que en rigor debe entenderse el enfoque de evaluación que criticamos– en los alumnos, al clasificarles con arreglo a sus capacidades, estilos de aprendizaje y rendimiento. Y concluye con que