Evaluación de la producción científica

Habitualmente para acreditar la actividad investigadora de un docente, en los modelos de curriculum se requiere confirmar que dicha actividad es intensa y desarrollada de forma continuada en el tiempo. Esta experiencia es demostrable en especial mediante los resultados publicados y tomando como referencia una serie de datos e indicadores:

• Índice de impacto de las revistas donde se ha publicado

• El cuartil en el que se encuentran situadas dichas revistas

• Las bases de datos que indizan las revistas donde se ha publicado

• Las citaciones recibidas por los artículos publicados

• Criterios de calidad de las monografías en las que se publica

• Indicios de calidad de los libros

• Estos requisitos pueden variar, en mayor o menor medida, dependiendo de las Agencias de evaluación, programas, materias o disciplinas y tipos de publicación.

 

Índice o factor de impacto de una revista (IF)

Proporciona información sobre el nº de veces que se cita por término medio un artículo que se ha publicado en una revista concreta, lo que permite medir la repercusión que ha tenido una revista en la literatura científica. La fórmula más habitual es la siguiente:

Factor de impacto 2012 =	Citas recibidas en 2012 por los artículos publicados en 2010 y 2011 por esa revista concreta
	Número total de artículos publicados en 2010 y 2011 en esa revista concreta

 

No se puede calcular el factor de impacto de un artículo, SÍ el de la revista dónde se haya publicado. Lo calcula el Journal Citation Report (acceso a través de la web de la Biblioteca, bases de datos, Índices de Impacto y citas). Recoge pocos títulos españoles, alrededor de 55. Para títulos españoles se pueden consultar IN-RECS o IN-RECJ, también disponibles en la web de la Biblioteca, bases de datos, Índices de Impacto y citas.

 Índice de inmediatez

Mide la rapidez con la que se cita un artículo de una revista en el mismo año de publicación, es decir muestra la rapidez con la que un artículo es citado desde su aparición. Se calcula dividiendo el nº de citas a artículos publicados en un año concreto, por el número de artículos publicados en ese mismo año. La fórmula más habitual es la siguiente:

Índice de inmediatez 2009 =	Citas recibidas en 2009 por los artículos publicados en la revista X en 2009
	Número total de artículos publicados en 2009 en esa revista X

Se puede localizar en el Journal Citation Report (acceso a través de la web de la Biblioteca, bases de datos, Índices de Impacto y citas.)

 Los Índices de citas

Los índices de citas recopilan información sobre las citas bibliográficas que se realizan en los artículos académicos. Ello hace posible saber las citas recibidas por un autor o por un trabajo concreto.

¿Dónde se buscan?

La herramienta fundamental es el ISI Web of Science. Contiene tres bases de datos que ofrecen citas:

• Science Citation Index (área temática de ciencias)
• Social Sciences Citation Index (área temática de ciencias sociales)
• Art and Humanities Citation Index (área temática de humanidades y arte)
   

Índice H

Fue creado por Jorge Hirsch en el año 2005. Es un sistema que permite detectar a los investigadores más destacados dentro de un área de conocimiento. Su cálculo es muy sencillo, hay que ordenar los documentos de un investigador en orden descendente de nº de citas recibidas, numerarlos e identificar el punto en el que el nº de citas coincide con el nº de orden.

Puede consultarse en Web of Science y en SCImago.

Cuartiles

Cuartil es la unidad utilizada para la medida de posición de una revista.

Se obtiene separando los grupos de revistas de una determinada especialidad, ordenados de mayor a menor visibilidad (factor de impacto). Si el listado resultante se divide en 4 grupos iguales, cada parte constituye un cuartil. En el primer cuartil se incluirán, por lo tanto, las revistas con el factor de impacto más alto.

Su localización depende de la fuente que consultemos, por ejemplo el JCR no da el cuartil, tenemos que calcularlo dividiendo el nº total de revistas en 4 grupos, como hemos indicado anteriormente. Sin embargo, en In-RECS los cuartiles salen indicados en el listado.

SCImago Journal Rank (SJR)

Poco a poco han ido apareciendo otros indicadores de calidad que intentan completar el Factor de Impacto, de todos ellos el que más importancia ha cobrado es el SCImago Journal Rank (SJR), basado en la base de datos Scopus de Elsevier, se trata de un indicador de visibilidad creado a partir del algoritmo de Page Rank de Google.

Las diferencias con el IF son principalmente:

• Periodo de medición de 3 años (IF 2 años).

• Elimina las autocitas o citas a la propia revista.

• Calcula conjuntamente el ranking para ciencias que para ciencias sociales, mientras el IF lo separa, de manera que si una revista de ciencias sociales cita un artículo de una revista de ingeniería, esta cita no interviene en el cálculo del IF.

Al aplicar un proceso basado en el Page Rank de Google, no todas las citas valen igual, según sea la revista de la que proviene la cita el SJR subirá más o menos.

ICDS (Índice Compuesto de Difusión Secundaria)

El ICDS es un indicador que mide la difusión de las revistas en bases de datos científicas. Es el resultado de un proyecto elaborado por el grupo de investigación de la Facultad de Biblioteconomía y Documentación de la Universidad de Barcelona.

Se puede consultar en MIAR, un sistema para la medición cuantitativa de la visibilidad de las revistas de ciencias sociales en función de su presencia en diferentes tipos de bases de datos.

MIAR vincula mediante el número ISSN conjuntos seleccionados de revistas establecidos según grandes ámbitos científicos-subdivididos a su vez en campos académicos más específicos-con una serie de bases de datos de indexación y resumen, repertorios de revistas y catálogos de bibliotecas.

El ICDS es el resultado de un cálculo numérico que valora la mayor o menor difusión de la revista en las bases consultadas en base a los siguientes baremos:

• 3 puntos: títulos presentes en siete bases de datos internacionales de índice y resumen de carácter multidisciplinar sobre ciencias sociales y humanidades: Academic Search Premier (ASP), Applied Social Sciences Index and Abstracts (Asiria), International Bibliography of Social Sciences (IBSS), Francis / Pascal, Fuente Académica y Periodicals Content Index (PCI).

• 3 puntos: títulos presentes en alguna de las siguientes bases de datos de carácter especializado: Arte Index / Abstracts / Full Text, Educational Research Abstracts (ERA), Education Resources Information Center (ERIC), Geobase, Population Index, Historical Abstracts, Psicodoc, PsycINFO, ATLA Religion Database, Social Services Abstracts, Sociological Abstracts.
  
  

Sin embargo, si una revista está presente al mismo tiempo en una o varias de las bases de datos multidisciplinarias y en una o varias especializadas obtiene un total de 5 puntos.

3,5 puntos: títulos presentes en una de las siguientes bases de datos de ISI: AHCI, SCI, SSCI.

2,5 puntos: títulos presentes en Latíndex y que no están presentes en ninguna de las bases de datos internacionales.

SNIP (Source Normalized Impact per Paper)

Es un indicador bibliométrico desarrollado para Scopus por el Centre for Science and Technology Studies (CWTS) de la Universidad de Leiden.

Permite una comparación directa de publicaciones en distintos campos temáticos, midiendo la frecuencia con la que los autores citan otros documentos, la velocidad de maduración del impacto de la cita y la medida en que la base de datos cubre la literatura del campo.

Esta herramienta aplica a cerca de 18.000 revistas, actas y colecciones de libros, permite la comparación directa de las revistas independientemente de su clasificación por materia y es actualizada cada 2 años para garantizar la continuidad de las medidas. Se puede consultar en Scopus.

Eigenfactor

Es un indicador de la influencia o repercusión global de las revistas que se basa, al estilo PageRank, en el cálculo iterativo del nivel de citación recibida por una revista según procedan a su vez las citas de revistas más o menos citadas, más o menos influyentes por tanto Article influence mide la influencia media de los artículos de las revistas y se basa en el mismo cálculo iterativo que Eigenfactor, pero teniendo en cuenta el número de artículos de la revista. Se puede consultar en Eigenfactor.org

Es una fuente de datos métricos sobre las revistas científicas internacionales basada en información de citas de Journal Citation Reports y en la aplicación de algoritmos de relevancia tipo PageRank de Google, proporciona datos anuales que abarcan desde 1995 a 2006 acerca de las 7.000 revistas incluidas en JCR y de otras muchas fuentes citadas por ellas, también presenta rankings temáticos con dos indicadores: eigenfactor y article influence. Además ofrece análisis de calidad/precio de las revistas y un módulo de representación gráfica de las relaciones entre las ciencias.

¿Qué es el tercil?

A pesar de que la mayoría de recursos que ofrecen evidencias de calidad sobre las publicaciones las ordenan en cuartiles, en los formularios de acreditación se pide el tercil. Los terciles se calculan de la siguiente forma (siguiendo un ejemplo de 20 el número de revistas incluidas en la categoría temática): El resultado de dividir 20 entre 3, al no ser divisible (resultado =6.67): los terciles quedarían de la siguiente manera: 7 revistas en el primer tercil, otras 7 en el segundo tercil y 6 en el último, tomándolas ordenadas según el factor de impacto, de mayor a menor.

Si la revista en la que el investigador publica ocupa la posición 7, estaría en el primer tercil, el más importante por incluir las revistas con mayor factor de impacto.

Indicadores de calidad de monografías y otras publicaciones.

Dependen de las Agencias Evaluadoras

 

 

ANECA (Agencia Nacional de Evaluación de la Calidad y Acreditación)


Tipología de publicaciones:

• Libros completos de carácter científico (autor o editor)

• Capítulos de libros de investigación con ISBN publicados por editoriales de prestigio nacional o internacional

• Ediciones, traducciones anotadas, prólogos, reseñas y similares

• Tesis doctorales publicadas en editoriales de prestigio

• Congresos publicados considerados como libros o capítulos de libros si son organizados por asociaciones internacionales o nacionales de periodicidad fija, que publiquen actas con contribuciones completas seleccionadas mediante evaluación externa y que tengan asignado ISBN
         

Valoración por ámbitos de conocimiento:

• Ciencias, C. de la Salud, Ingeniería y Arquitectura. Escasa consideración

• Ciencias Sociales y Jurídicas. En algunos ámbitos se pueden valorar conjuntamente con las publicaciones en Revistas Científicas. Se excluyen Libros de texto y Manuales

• En Jurídicas se valoran los libros cuyo contenido reúna un conjunto de características

• Arte y Humanidades. Pueden unirse y formar valoración conjunta con los artículos (30, 15 entre artículos y libros)

 CNEAI: Comisión Nacional Evaluadora de la Actividad Investigadora

 Tipología de publicaciones:

• Dentro del apartado de aportaciones ordinarias tendríamos: Libros; capítulos de libro; prólogos (siempre y cuando se trate de una investigación que aporte algo novedoso y relevante); introducciones y anotaciones de textos; artículos en revistas; patentes o modelos de utilidad.

• También entrarían dentro de este apartado, y dependiendo del área de conocimiento, los desarrollos tecnológicos, proyectos arquitectónicos singulares, creaciones artísticas y actas de congresos de envergadura.

• Y como aportaciones extraordinarias tendríamos: informes, estudios, dictámenes, trabajos técnicos o artísticos, participación en exposiciones, excavaciones, dirección de tesis y comunicaciones a congresos.

 

Valoración por ámbitos de conocimiento:

• Para Ciencias no se citan en los requisitos mínimos de evaluación.

• Filosofía, Filología y Lingüística, Historia y Arte: Monografías que sean fruto de la investigación o de la reflexión documentada, las ediciones críticas, es decir las que presentan un estudio razonado de la fijación del texto, con la correspondiente mención de las fuentes y variantes textuales.

 - Se excluyen: Libros de texto, obras de divulgación, Antologías o diccionarios comunes, ediciones de textos o traducciones salvo que estén precedidas de estudios preliminares o acompañadas de anotaciones que sean fruto de una investigación personal y hagan una aportación valorable a su campo temático

- Las catalogaciones que no conlleven estudios históricos o artísticos.

- Las transcripciones, si no van acompañadas de juicio crítico o análisis histórico del documento.

- Los prólogos e introducciones, que no superen la condición de simples avances de la obra prologada y carezcan de interés crítico per se.

- Las actas de congresos, que no respondan a criterios de calidad equiparables a los exigidos para las revistas científicas.

• Derecho y Jurisprudencia: Se valorarán los estudios y trabajos que:
          

- Constituyan aportaciones originales de carácter doctrinal teórico o conceptual.

- Desarrollen nuevas perspectivas del ordenamiento jurídico, supongan investigaciones originales sobre la evolución histórica, social o cultural de las normas.

- Introduzcan propuestas relevantes de perfeccionamiento de las normas en relación con el sistema jurídico español o internacional.

- Aporten conocimientos e instrumentos conceptuales y analíticos para mejorar la eficacia de las normas jurídicas y el cumplimiento de los objetivos que se persiguen con ellas. Los análisis que ofrezcan soluciones a problemas de interpretación, lagunas y contradicciones del ordenamiento jurídico español o internacional.

Los análisis de jurisprudencia que se basen en un conjunto de sentencias sobre un tema o temas conexos, que tengan por objeto esclarecer los criterios de actuación de los tribunales y su evolución, y los comentarios sobre sentencias especialmente relevantes para el entendimiento y posterior aplicación del derecho.

Las obras generales que se reconozcan como de referencia dentro de la disciplina o supongan un progreso en la organización de un campo temático poco estructurado, siempre que se trate de su primera edición.

 Valoración por ámbitos de conocimiento: 

Se excluyen:

• Los libros de texto, programas, apuntes, monografías, casos o supuestos prácticos, libros.

• Las ediciones de textos o las traducciones, salvo que estén precedidas de prólogos o estudios preliminares o acompañadas de anotaciones que sean fruto de una investigación personal y hagan una aportación valorable a su campo temático.

• Las meras recopilaciones legislativas, aunque incluyan anotaciones sobre disposiciones concordantes, complementarias o derogadas.

• Los comentarios de sentencias que sean una mera glosa de las mismas.

• Los dictámenes y proyectos.

 Pero tomando datos de uno y otro podemos presentar un pequeño resumen genérico:

Criterios	CNEAI	ANECA
Número de citas generadas (cantidad y calidad)	X	X
Prestigio de la editorial, los editores, la colección en la que se publica la obra	X	X
Reseñas en las revistas científicas especializadas	X	X
Riguroso proceso de selección y evaluación de originales	X	X
Que no estén publicados por la misma institución en la que trabaja el investigador, salvo que ésta satisfaga los criterios especificados en el Apéndice 1	X
Traducciones de la propia obra a otras lenguas	X	Profesor Colaborador Doctor
Inclusión en bibliografías independientes del autor y su entorno	X
Presencia en bases de datos, repertorios bibliográficos especializados y catálogos de bibliotecas universitarias
Acreditar un proceso de selección riguroso mediante evaluadores externos a las Universidades de la Comunidad Autónoma (Derecho)	Jurídicas
Poseer ISBN (imprescindible)		X

 

Indicios de calidad de los libros.

¿Dónde y cómo buscarlos?

 Número de citas generadas

Web of Science: Todos los campos

Scopus: Especialmente científico-técnicos

Google Scholar: Todos los campos. Especialmente útil en Ciencias Sociales y Humanidades

Prestigio de la editorial o de los editores

• No existe ninguna herramienta de temática general para buscar este indicio.

En el Apéndice 1 del BOE nº 292 de 1 de diciembre de 2017, que establece los criterios específicos en cada campo de evaluación según la CNEAI, se determinan una serie de puntos sobre la calidad del proceso editorial.

Para Ciencias Sociales y Humanidades se puede consultar el ranking Scholarly Publishers Indicators (SPI).

Elaborado por el Grupo de Investigación de Evaluación de Publicaciones Científicas (EPUC), muestra un ranking obtenido mediante la aplicación de un indicador matemático a los resultados de una encuesta de valoración realizada por más de 3.000 investigadores (ver metodología de aplicación).

Reseñas en las revistas científicas especializadas

• Bases de datos de la especialidad: Medline, Sociological Abstracts, MLA, Historical Abstracts…. En España: bases de datos del CSIC

• Bases de datos multidisciplinares: Scopus y Web of Science

• Google: Ojo no en Google Scholar

Traducciones

Index translationum de la UNESCO

Patentes

• Lo que indica su calidad son los datos de explotación económica, pero estos no aparecen en el documento de la patente ni generan ningún documento público que pueda consultarse. Solo el titular de la patente posee esa información.

Riguroso proceso de selección y evaluación de originales

• Documentos internos de la propia editorial (publicados en la red o no)

 

Contacta con nosotros