Métricas a Nivel de Artículo, las revistas deben colaborar con la causa

Una de las responsabilidades de una revista, con relación a sus autores, es la de proporcionar datos que revelen la actividad de los artículos que publica. Habitualmente, las revistas han presentado los datos de manera agregada, al nivel de las revistas. Las Métricas a Nivel de Artículo (ALMs Article Level Metrics) pretenden desagregar todos esos datos y ofertarlos por artículo, aprovechando las posibilidades de las plataformas digitales de revistas (Journal Management Systems). Estos datos son importantes para las propias revistas pues les permite obtener una información muy valiosa sobre el uso, repercusión y distribución de cada uno de los trabajos que publican y por tanto de su papel como entidades evaluadoras y difusoras de trabajos. No obstante, es especialmente útil para los autores, pues estos datos son un reflejo de la calidad de los trabajos que pueden ser (y deberían ser) usados en procesos de evaluación.

Una de las revistas pioneras en ofrecer estos datos fue Plos One (2005) que entre muchas novedades incorporó una plataforma de gestión que aprovechaba al máximo toda la información que los usuarios registraban y la repercusión de los artículos en otras plataformas (Tabla 1). De hecho, es común que se usen las métricas tradicionales de citas, con las métricas de uso web y en conjunción con métricas alternativas. Sin embargo, estas métricas fuera de contexto no tienen una medida para ser comprendidas, las métricas tienen que estar contextualizadas, relativizadas en el tiempo y en el espacio, es decir, que las citas de un artículo se deben poner en relación con las del conjunto de su revista o su categoría en el número o el año en que se publicó. Para ello, existen productos como Incites (Web of Science) o SciVal (Scopus).

Tabla 1. Métricas a Nivel de Artículo registradas por Plos One (2005)

¿Por qué las Métricas a Nivel de Artículo son importantes para la evaluación científica?

La evaluación científica del profesorado español se basa principalmente en la valoración de las publicaciones según la calidad de los medios en los que se publica, se aproxima la calidad del artículo a la calidad de la revista que lo publica. ¿Por qué? Básicamente porque apenas había información que nos ayudaba a situar la relevancia de cada trabajo, especialmente de los recién publicados. Por ello, se asumía (y asume) que publicar en una revista de calidad implicaba “competir” y “ganar” a otros trabajos para poder publicar, pues existe una relación directa entre el impacto de las revistas y sus tasas de rechazo. Por cierto, esto ya no es así con las MegaJournals, donde la competitividad por publicar teóricamente desaparece.

Es decir, que se evalúa un trabajo por la presencia de una revista en ciertas bases de datos y los indicadores promedio (Factor de Impacto, CiteScore, Scimago Journal Rank) que se genera, lo que provoca una gran desigualdad, pues sabemos que unos pocos trabajos reciben la mayor parte de las citas que posicionan a las revistas y en cambio la mayoría de los trabajos pasan sin pena ni gloria. Dicho de otra forma, un trabajo se evalúa por asociación con la calidad del medio que lo publica. ¿Qué proponen las Métricas a Nivel de Artículo? Algo simple, evaluar un trabajo de forma directa según indicadores, principalmente las citas, que han generado el propio trabajo poniéndolos en relación con el conjunto. Los indicadores a nivel de artículo son mucho más fiables y justos.

Por ejemplo; el siguiente trabajo de Andreu Casero publicado en la revista amiga “El Profesional de la Información” obtiene un número de citas elevado (16 citaS). En principio la revista EPI estaba situada en el segundo cuartil de la categoría “Library and Information Science” posición 43 de 88. Sin embargo el artículo es uno de los trabajos más citados de la revista. InCites (Web of Science) nos indica que le trabajo recibe 5.28 veces más citas que el promedio de artículos publicados en EPI en 2017. A la vez, recibe 4.61 veces más citas que los artículos publicados en el área (Library & Information Science), por lo que si ordenásemos los artículos de esa categoría ese año de más citado a menos citado el artículo escrito por Andreu Casero se situaría en el percentil 3, o dicho de otra forma; ¡este trabajo está en el 3% más citado de su categoría!

Las revistas deben preocuparse por facilitar los datos de uso de los trabajos que publican, así como de buscar otros datos como las citas en distintas plataformas y a ser posible los registros altmétricos, pero como decíamos al principio, estos datos hay que contextualizarlos para poder darles valor. Por ejemplo, esta semana, hemos publicado en Comunicar las citas relativizadas de los artículos, al objeto de que sirvan a los autores para justificar mejor la calidad de sus trabajos en convocatorias como la de Sexenios de Investigación. Sólo con la colaboración de las revistas podremos evolucionar en nuestra forma de evaluar y medir algo más cercano a la realidad, objetivo de todo proceso evaluativo.

Apertura y transparencia: el espejo reputacional de la revista

La organización interna del proceso editorial en toda publicación científica debe establecerse de forma escrupulosa, atendiendo a una serie de criterios y normas que convierten a la revista en candidata para ocupar un puesto en las bases de datos nacionales e internacionales. El rigor con el que esto se acometa permitirá, además, que la publicación entre en las mejores bases de datos y escale puestos en los rankings, lo que se traducirá en impacto y visibilidad a través de indexaciones que le darán prestigio global.

Pero, ¿cómo conseguirlo?

Atendiendo a las dos características que dan nombre a este post, diremos que apertura hace referencia a la acción de abrir, de hacer accesible algo, y transparencia es la calidad de transparente, es decir, aquello que resulta claro, evidente y que se comprende sin duda ni ambigüedad. Así pues, en calidad de editores, si buscamos tener una publicación de alta reputación, es fundamental velar por la máxima aplicación de estas dos características a partir de una serie de acciones que garantizarán ambas por igual.

Como editores avalamos la apertura de nuestra publicación a través del establecimiento de unos criterios de calidad públicos y accesibles. En este sentido el equipo editorial debe trabajar en equipo para consensuar y desarrollar las bases de estos criterios, que serán la génesis para una intachable reputación de la revista.

Varios son los criterios que se pueden trabajar; incluso partiendo de un número mínimo se pueden ir ampliando hasta conseguir un elenco parecido al que proponemos a continuación, que ha servido para alcanzar los primeros puestos de las mejores bases de datos del mundo editorial:

Por otro lado, la transparencia se regula a partir de la existencia de una normativa pública y explícita que garantice la honestidad en el quehacer editorial de los tres agentes implicados en el proceso: editores, revisores y autores. El código ético de una revista es la concreción de esta norma. El código más conocido al que pueden adherirse las revistas de todas las áreas es el Committee on Publication Ethics (COPEque se actualiza periódicamente y cuyo objetivo principal es formar y apoyar a los editores para convertir la práctica ética en algo habitual dentro de la cultura editorial. Su Plan Estratégico ofrece una guía fundamental para los editores basada en tres principios:

Así pues, si como editores buscamos gestionar una revista de prestigio y gran reputación entre las publicaciones científicas de nuestra área resulta fundamental atender de forma específica a estos dos conceptos: apertura y transparencia tan intrínsecamente unidos a la buena gestión editorial y, que, trabajados convenientemente por el equipo editorial, se convertirán en el espejo reputacional de la revista.

Indexaciones prestigiosas, globales y regionales: JCR, Scopus, Google Metrics, así como REDIB y Dialnet Métricas

Una revista científica, frente a otras revistas académicas (de carácter divulgativo y profesional) ha de preocuparse no solo por su impecable gestión editorial, sino también de su visibilidad e impacto en la comunidad científica.

Las métricas en revistas científicas, que se han basado siempre en las citas recibidas por otras publicaciones de igual o superior posicionamiento, han sido el principal referente de “indexación”, sinónimo a su vez de calidad, prestigio y reconocimiento.

Si bien hay que reconocer que la asociación entre citas y calidad es reduccionista porque hay también otros parámetros más complejos que reflejan la “validez” de una publicación, la comunidad científica internacional ha aceptado esta medida como punto de referencia, partiendo de una premisa, al tiempo lógica y simple, esto es, que selectiva elección de manuscritos en un proceso editorial transparente y riguroso, y su necesaria alta visibilidad conlleva necesariamente a un gran impacto en la comunidad científica, que se traduce en citas en otros trabajos.

indicesAhora bien, partiendo del supuesto de que todo editor que aspire a la excelencia ha de preocuparse de que su publicación esté presente en los índices internacionales, ¿cómo podemos clasificar el prestigio de estos índices si hay miles de indexaciones, muchas de ellas etiquetadas ya por los expertos como “predator index”?

Esta labor de identificación no es fácil, pero el consenso internacional, asentado tras décadas en las áreas médicas y científico-técnicas y poco a poco asumido en las áreas más sociales y humanísticas, nos lleva a definir como “primera categoría” a las revistas JCR (Journal Citation Reports), compuesto por un total de casi 12.000 revistas (en octubre 2019) de todas las especialidades, con un sesgo claro hacia lo anglófono, lo nórdico y lo técnico, por causas evidentes vinculadas con el desarrollo científico. Es importante recordar que las JCR están dentro de WoS (Web of Sciencie), pero no hay que confundirlas, ya que la primera es una base muy selectiva y ranqueada, mientras que dentro de la segunda existen múltiples paquetes de revistas globales (por ejemplo, ESCI) y regionales (por ejemplo, Scielo). Leer más “Indexaciones prestigiosas, globales y regionales: JCR, Scopus, Google Metrics, así como REDIB y Dialnet Métricas”

Factor de impacto de las revistas de Comunicación de Emerging Source Citation Index

A continuación, se presenta el que sería el factor de impacto de las revistas de Emerging Source Citation Index (ESCI) del área de Comunicación. Se trata de un dato ficticio ya que este cálculo no se realiza de forma oficial por parte de Clarivate Analytics. No obstante, esta simulación va a permitir establecer una clasificación de revistas y ofrecer una visión sobre cómo se posicionan las publicaciones.

El ranking generado lo forman 114 revistas de las que 25 son españolas. Entre ellas, destaca la publicación Review of Communication Research que ocupa el primer puesto de ESCI en la categoría de Comunicación.

Por otro lado, Communication Methods and Measures que años anteriores se siituaba entre las primeras posiciones, ha abandonado este año ESCI y ha pasado a ocupar el puesto 20 de 88 en JCR. De este modo, dicha revista se sitúa ahora en el primer cuartil con un factor de impacto de 2.306 según datos de Web of Science.

Hay que señalar que el factor de impacto simulado ha sido calculado a partir de las citas que recibieron los documentos en Web of Science durante el año 2018 con datos obtenidos el 24 de junio de 2019.

Ciencia de máxima visibilización e impacto: Las nueve selectivas revistas españolas en JCR-Q1 en 2018

Según el Scimago Country Rank, España ocupa en 2018 el 12º país del mundo en producción científica de alta calidad (en el acumulado 1996/2018, el 10º, lo que supone una pérdida de dos puestos).

Si bien hay aun voces críticas (cada vez más silenciadas), el Journal Citation Reports y Scopus, como bases selectivas de ámbito internacional, son los dos portales más fiables y válidos para medir la mejor producción científica del mundo, más allá de su impacto social y local. Así se reconoce en los principales rankings del mundo y en las agencias de calidad de prácticamente todos los países con estructura científica. JCR recoge 80 países, 236 disciplinas y 236 revistas nuevas indexadas este año.

Nuestros investigadores, los españoles, han sabido proyectar la investigación nacional en el mundo, ocupando un digno puesto (al compás con nuestro PIB) que no se ha visto drásticamente afectado por el recorte en los presupuestos de investigación en la última década con la crisis estructural y global ni con la escasa recuperación de la inversión en I+D en los tres últimos años post-crisis.

Sin embargo, el otro pilar, junto a los investigadores, es nuestro tejido editorial científico y este es más que raquítico y muy alejado de nuestras tasas de producción científica (es obvio que tenemos que publicar más fuera que dentro para mantener la tasa de producción).

De las 11.877 revistas JCR que existen en el índice recién publicado (2018) solo 126 son revistas españolas (1% de la base) y de las 40.503 revistas que cuenta Scopus, a fecha de hoy (junio 2018), 794 revistas están editadas en nuestro país (solo 564 activas; 1,3% de la base). SJR-Scimago se ha quedado ya muy desfasado, de su base-fuente Scopus y solo mide 31.975 revistas Scopus, de las cuales son españolas solo 592; menos del 2% de la base). Se trata ya de por sí de un club selectivo muy por debajo de las 1.800 revistas científicas que Navas, Abadal y Rodrigues (http://bit.ly/2KO3Pbi) tienen registradas en España.

Y aun más selectivo es el número de revistas que están en el top de estas bases internacionales de prestigio.

En JCR solo 9 revistas (menos del 1% de las españolas, que son a su vez solo el 1% de la base internacional, esto es, menos del 0,1%) están posicionadas en el Q1 del Journal Citation Reports.

9-jcr-spainLas temáticas de estas revistas, como es generalizado en esta base, son del área científico-técnica y de las Ciencias de la Salud, disciplinas con fuerte potencial de crecimiento e inversiones, cuatro de ellas en inglés. “La Revista Española de Cardiología” ocupa el primer lugar en citas e impacto, seguida de “Archivos de Bronconeumología” y en tercer lugar por una revista psicológica en inglés “European Journal of Psychology applied to Legal Context”, como también la octava del área de la Psicología: “Psychological Intervention”. La cuarta publicación sigue estando en el ámbito sanitario “Emergencias”, como la sexta y séptima “International Journal of Clinical an Health Psychology” y “Adicciones”. La novena y última revista en Q1 es del área medioambiental “Ardeola: International Journal of Ornithology”.

Solo la quinta revista clasificada “Comunicar” (tercera en el número de citas con 1.367 y muy cerca en impacto de la cuarta) es del área social y humanística y representa a este nivel la producción editada en España en esta macroárea.

“Comunicar”, además, en sus áreas científicas, ocupa posiciones privilegiadas a nivel mundial en JCR. Es la 10ª revista mejor del mundo en Educación (sobre 243), y primera y única en español Q1 en esta disciplina, posicionándose en el top 5% mundial. Es la 9ª revista mejor del mundo en Comunicación, 1ª y única en español Q1-JCR. Es además la única revista JCR en esta especialidad de España sobre 84 revistas indexadas.

Es revista SCOPUS-Q1 (Citescore) en tres áreas distintas de conocimiento: primera en todas las áreas en español: top mundial 1% (la 5ª de 890 en Estudios Culturales), la top 8% del mundo (79ª de 1.040 en Educación) y la 9% mundial en Comunicación (26ª de 312) en estas tres especialidades. Esa la primera revista en valores absolutos sobre 2.820 en REDIB-2019 (índice de Revistas Latinoamericanas del CSIC) y la primera absoluta del top 100 de Google Scholar en español en todas las áreas (2018), así como la primera revista en Dialnet Métricas (2019) en Educación (1 sobre 225) y 1ª en Comunicación (1 sobre 55).

Scopus Preview y CiteScore, el indexador oficial de Scopus. SJR es ya un producto externo secundario

El mundo de las revistas científicas y sus indexaciones es altamente dinámico y en profunda conexión con la revolución que supone el big data y los flujos de información.

Scopus es una de las bases de datos más importantes de revistas científicas de todo el mundo, con implantación mundial y cobertura de 40.000 revistas de todas las especialidades.

Hasta hace muy poco tiempo, la indexación de esta base de datos la realizaba en exclusiva un grupo de investigación español, Scimago, que anualmente publicaba un índice (el famoso SJR: Scimago Journal & Country Rank), que clasificaba las revistas de Scopus por un factor de impacto de creación propia: SJR con sus correspondientes cuartiles, teniendo presente sus áreas de conocimientos y regiones/países (www.scimagojr.com/journalrank.php). Este índice ha sido tan popular (por su libre acceso y su página intuitiva) que muchos investigadores (e incluso evaluadores) han identificado e identifican aun hoy erróneamente Scopus con este portal privado.

Desde hace ya dos años (2017), Scopus cuenta con su herramienta oficial de medición de las revistas en su propio portal: Scopus Preview: https://www.scopus.com/search/form.uri?display=basic (sitio oficial), y que es donde realmente deben consultarse las revistas Scopus, con notables ventajas frente a otros productos secundarios e indirectos que, por desgracia, pueden contener errores notables.

elsevieryScimago

Leer más “Scopus Preview y CiteScore, el indexador oficial de Scopus. SJR es ya un producto externo secundario”

Avanzar ciencia: el plagio como virus máximo

Que toda ciencia aspira a lo inédito, lo original, lo relevante y lo impactante para mejorar la calidad de vida de las personas y la sociedad en general es casi una verdad intangible. Por ende, toda investigación competitiva, toda producción científica de calidad, toda tesis doctoral… debería tener este faro como brújula permanente.

PLAGIO-01Los editores de revistas de excelencia tenemos una enorme responsabilidad en este sentido porque somos los ‘gatekeepers’ de la ciencia, los porteros que permiten que una investigación se haga visible, y potencialmente impactante, para la comunidad científica.

El control de la integridad académica se ha convertido en los últimos años, no solo es un síntoma de la calidad de la publicación, sino también en una acción básica y esencial para preservar el ‘reconocimiento’ científico de la revista.

PLAGIO-02Desgraciadamente, estamos todos observando que las tasas de plagio académico son enormemente preocupantes en todos los niveles educativos. En ‘Comunicar’ se publicó un estudio en 2015 que demostraba que los estudiantes de secundaria no eran conscientes que copiar cualquier producto de Internet pudiera ser acto de usurpación o robo intelectual y mucho menos que pudiera ser constitutivo de delito (https://doi.org/10.3916/C44-2015-11).  Posteriormente, en 2016, publicamos un monográfico completo sobre ‘Ética y plagio en la comunicación científica’ (Comunicar, 48: www.revistacomunicar.com/index.php?contenido=revista&numero=48) con importantes aportes sobre este tema de investigadores internacionales.

El plagio se ha extendido como la pólvora también en la investigación científica y por ello en sus resultados de investigación, plasmados en los artículos científicos que nos llegan a las publicaciones académicas, incluso las de mayor posicionamiento a nivel internacional.

PLAGIO-04Bien es verdad que hasta hace poco tiempo (una década), las posibilidades de detección del plagio era casi mínimas porque la copia de las publicaciones en formato papel eran muy difícilmente detectables. Pero Internet y las ediciones en línea, al tiempo que han facilitado y proliferado el plagio, también han puesto en nuestras manos los mecanismos para su detección.

Hoy no puede entenderse una Universidad con una mínima reputación que no tenga a disposición de sus profesores (y también de sus alumnos) aplicaciones informáticas automatizadas de detección del plagio.

Esta realidad es igualmente trasladable a las revistas científicas que han de controlar sus tasas de plagio de todos los aportes que les llegan con posibilidad de revisión científica. Ahora bien, las múltiples aplicaciones de detección de copia ilegal no son todas igualmente efectivas no todas son válidas para cualquier tipo de fuPLAGIO-05ente. Es un error aplicar un programa antiplagio centrado en trabajos de estudiante a un artículo científico porque la focalidad de la búsqueda no es la misma y por tanto las tasas de captación de plagio diferirán de forma significativa.

‘Comunicar’ tiene publicada una sección dedicada al ‘Antiplagio’ Con más de 10 aplicaciones activas en Internet (www.revistacomunicar.com/index.php?contenido=antiplagio), algunas de ellas totalmente gratuitas pero con escasas prestaciones y otras (la mayoría) de pago y profesionales. CrossCheck (de CrossRef) es uno de los productos de mayor calidad para la detección de plagio en artículos científicos.

Finalmente, es muy importante saber interpretar las tasas de plagio para valorar un trabajo, ya que el porcentaje absoluto solo tiene un valor relativo al tener que tener presente muchos factores colaterales como el tipo de citación, las fuentes explícitas, el epígrafe donde se copia, las tasas por fuentes… En suma, un mundo que se debe conocer para que realmente la ciencia que se publique en las mejores revistas (también en las demás) responda a los criterios de novedad, original y que, en definitiva, genere el impacto deseado.