Los límites de la evaluación científica: cuando medir no basta para comprender

Hablar de evaluación científica es hablar, en el fondo, de una pregunta muy importante: ¿qué entendemos por una buena investigación?

A primera vista, parece una cuestión sencilla. Podríamos pensar que una investigación valiosa es aquella que se publica, se cita y circula ampliamente. Y, en parte, eso es cierto. Pero cuando la evaluación de la ciencia se reduce casi exclusivamente a esos elementos, empiezan a aparecer problemas que no siempre vemos con claridad.

Durante las últimas décadas, la evaluación científica ha adquirido un peso enorme en la vida académica. De ella dependen becas, promociones, financiamiento, reconocimientos, políticas institucionales e incluso la orientación de muchas agendas de investigación. Evaluar es necesario

. Ningún sistema científico puede prescindir de ello. El problema no está en evaluar, sino en cómo se evalúa, qué se valora y qué queda fuera de esa valoración.

Hoy, los sistemas de evaluación descansan con fuerza en métricas, indicadores y resultados cuantificables. Publicaciones, número de citas (cantidad de veces que un trabajo académico, investigador o revista ha sido citado por otras publicaciones), índice h, visibilidad internacional, posición en rankings o presencia en determinadas bases de datos suelen ocupar un lugar central. Estos recursos aportan información útil, pero no alcanzan por sí solos para comprender la complejidad del trabajo científico ni el valor real del conocimiento producido.

Cuando la cantidad se confunde con la calidad

Uno de los principales límites de la evaluación científica actual es que, con frecuencia, termina confundiendo cantidad con calidad. Publicar más no siempre significa aportar más. Un gran número de artículos no garantiza originalidad, profundidad ni relevancia. Sin embargo, muchos investigadores trabajan bajo una lógica en la que producir constantemente se vuelve casi una condición de supervivencia académica. En ese contexto, la presión por publicar ha conducido a desplazar preguntas más importantes: ¿para qué investigamos?, ¿a quién sirve ese conocimiento?, ¿qué problemas ayuda a comprender o transformar?

El peso excesivo de ciertos indicadores

Otro problema importante es la dependencia excesiva de ciertos indicadores. No es difícil entender por qué los indicadores han ganado tanto espacio: permiten organizar información, comparar desempeños y ofrecer referencias relativamente estables para la toma de decisiones. El problema aparece cuando esa capacidad de ordenamiento se confunde con una comprensión suficiente de la complejidad del trabajo científico. Los indicadores muestran una parte de la realidad, no la realidad completa. Nos dicen algo, pero no lo dicen todo. Y cuando se convierten en la base casi exclusiva de la evaluación, corremos el riesgo de reducir procesos complejos a señales parciales y muchas veces descontextualizadas.

No todas las disciplinas producen conocimiento del mismo modo

Esto se vuelve aún más delicado cuando se pretende evaluar de la misma manera a campos muy diferentes. No todas las disciplinas producen, comunican y aplican el conocimiento del mismo modo, por lo tanto, tampoco impactan en las comunidades de la misma manera. Las ciencias sociales, las ciencias de la salud, las humanidades, las ingenierías o las ciencias experimentales tienen temporalidades, lenguajes, públicos, formatos y formas de incidencia distintas. No es razonable esperar que todas respondan a un mismo patrón de productividad o visibilidad. Sin embargo, eso ocurre con frecuencia, y sus efectos son profundos: se invisibilizan aportes, se subordinan agendas de investigación y se desfavorecen áreas cuya contribución no siempre se expresa en los términos que el sistema dominante privilegia.

Impactos que la evaluación no siempre reconoce

También existe una limitación de fondo que me parece especialmente importante: muchas formas de impacto científico no son adecuadamente reconocidas. Hay investigaciones que no acumulan muchas citas, pero influyen en políticas públicas, en prácticas profesionales, en debates sociales, en procesos educativos o en la comprensión de problemas que afectan a comunidades concretas. Ese tipo de contribuciones resultan muy valiosas, e incluso decisivas, para una sociedad y, sin embargo, no siempre aparecen en los mecanismos convencionales de evaluación. Cuando esto sucede, el sistema termina valorando más lo que es fácilmente medible que lo que es socialmente significativo.

La evaluación también moldea comportamientos

A ello se suma un efecto quizá menos visible, pero muy poderoso: los sistemas de evaluación también moldean comportamientos. No solo miden la ciencia; también la orientan. Cuando un sistema premia determinados resultados, formatos o circuitos de publicación, los investigadores se ven impulsados a orientar o a adaptar su trabajo a esas reglas. Esto ha generado algunas prácticas útiles, pero también ha producido distorsiones: investigaciones fragmentadas para multiplicar publicaciones, temas elegidos por su rentabilidad académica y no por su urgencia social, o una creciente distancia entre las prioridades institucionales y las necesidades reales de la sociedad.

Por eso, cuestionar la evaluación científica actual no significa rechazar toda forma de medición ni negar la utilidad de los indicadores. Significa reconocer que ningún indicador es neutral, suficiente o universal por sí mismo. Significa entender que toda evaluación expresa una cierta idea de ciencia, de valor y de relevancia. Y significa, también, abrir una conversación más amplia sobre qué tipo de conocimiento queremos promover y bajo qué criterios debería ser reconocido.

Una conversación que debe seguir abierta

Este punto me parece clave: muchas veces hablamos de “los indicadores” como si fueran una realidad homogénea, cuando en realidad existen métricas, formas de medición e instrumentos muy distintos, con alcances y limitaciones también diferentes. Por eso, en las próximas entradas de este blog iré abordando de manera más específica algunas de estas herramientas y lenguajes de evaluación, para explicarlos de forma clara, mostrar cómo funcionan y analizar críticamente sus posibilidades y sus límites. Creo que esa diferenciación es importante, porque no todo indicador significa lo mismo ni todos operan de la misma manera.

Y aquí quisiera dejar abierta una invitación. Me gustaría recordar que la intención de este blog no es solo señalar problemas, sino contribuir a construir una conversación más reflexiva, más informada y más abierta sobre la ciencia y su evaluación. Por eso, quisiera dejar también una invitación expresa a quienes leen este espacio: sus preguntas, inquietudes, experiencias y propuestas son bienvenidas. Me interesa que este blog no sea únicamente un lugar para exponer ideas, sino también un punto de encuentro para pensar colectivamente estos temas. Muchas de esas preguntas o aportes podrían incluso dar origen a nuevos temas para el blog.

Porque al final,

discutir cómo evaluamos la ciencia es también discutir qué ciencia queremos, para quién y con qué sentido. Y esa conversación no debería quedar encerrada solo en las instituciones o en los círculos académicos especializados. Es una conversación que concierne a toda la sociedad.

Roelvis Ortiz Núñez

Investigador y profesor universitario