Beyond Impact factor : Traditional and alternative metrics ¿enemies or complement?

22 February, 2021
22 April, 2021
27 April, 2021

Views 2081Views

License

This is an open-access article distributed by the terms of the Creative Common Attribution License (CC-BY NC-4). The use, distribution or reproduction in other forms is permitted, provided the original author(a) and the copyright owner(s) are credited and that the original publication in this journal is cited, in accordance with accepted academic practice. No use, distribution or reproduction is permitted which does not comply with this terms.

Beyond Impact factor : Traditional and alternative metrics ¿enemies or complement?

Summary

Resumen /Abstract

Resumen en Español

Las métricas son herramientas que permiten evaluar el impacto de los productos de investigación. Se clasifican en tradicionales y no tradicionales, las primeras enfocadas en el número de citas, mientras que las ultimas se enfocan en el análisis de tendencias de las publicaciones o trazabilidad digital. Las métricas tradicionales y no tradicionales se complementan entre sí, cada una cumpliendo diferentes roles y propósitos, permitiendo un análisis del desempeño de las publicaciones a corto y largo plazo.

Resumen en Inglés

Metrics are tools that allow a reliable evaluation of the impact of research products. They are classified into traditional and non-traditional, the former focus on the number of citations, while the latter focuses on the analysis of trends or digital traceability of publications.
Traditional and non-traditional metrics complement each other, each fulfilling different roles and purposes, allowing analysis of publications' performances in the short and long-term.

Resumen en Portugués

Métricas são ferramentas que permitem uma avaliação confiável do impacto dos produtos de pesquisa. Eles são classificados em tradicionais e não tradicionais, o primeiro enfoca o número de citações, enquanto o segundo se concentra na análise de tendências ou rastreabilidade digital de publicações.
Métricas tradicionais e não tradicionais se complementam, cada uma cumprindo funções e finalidades diferentes, permitindo a análise do desempenho das publicações no curto e no longo prazo

Introduction

Introducción

Las métricas permiten evaluar el impacto de los productos de investigación (1). A la fecha se encuentran disponibles para su uso varios métodos que se basan en las citaciones o en la trazabilidad digital, y que pueden mostrar el panorama de la visualización de un artículo, de los autores y las revistas, proceso en el que juegan un papel especial las redes sociales y los marcadores en línea (1,2). En esta revisión realizaremos una actualización de conceptos y definiremos qué son, para qué sirven y cuáles son los indicadores más usados. Compararemos las métricas tradicionales con las alternativas y expondremos cuáles son sus principales ventajas y las limitaciones para su práctica.

Discussions and conclusions

Generalidades

Los productos de investigación clínica adquieren un valor real cuando se publican y se evalúa su calidad e impacto a través del número de citas, o análisis de tendencias (3). Esa es la manera en que tales productos (artículos científicos) salen de los archivos de las revistas y empiezan a ser leídos y tenidos en cuenta para su aplicación en la práctica diaria (3,4). Para que esto ocurra es imperativa la difusión de las publicaciones y es allí cuando resulta de gran importancia la bibliometría, pues nos permite medir cuál ha sido el desempeño y la productividad de una publicación en relación con otras (4).

Los indicadores bibliométricos se clasifican en tradicionales y no tradicionales (1,2). Los primeros se basan en citas e incluyen el factor de impacto, como el Institute for Scientific Information (ISI), Scimago Journal Rank (Scimago) y H Index (Google Scholar) (1). Las no tradicionales o alternativas son aquellas métricas que se basan en la trazabilidad digital que incluyen algunos proveedores de datos como: Lagotto, Impactstory, Altmetric y Plumx (2).

Métricas tradicionales

  • Factor de Impacto (FI) :                

El factor de impacto (FI) es una medida objetiva útil para poder comparar distintas publicaciones y grupos de investigación que se puede utilizar en los ambientes institucionales o de patrocinio de investigadores para definir premios académicos o inversiones financieras (3). Este es un índice que se calcula mediante el cociente del número de artículos citados de las publicaciones de una revista en un intervalo de tiempo determinado (generalmente los dos últimos años), y el número total de artículos publicados en el mismo período de tiempo (4.5). 

El Institute for Scientific Information (ISI), calcula y publica los factores de impacto de las revistas anualmente en su plataforma: www.isinet.com (4,5). Desde su aplicación se ha considerado que aquellas incluidas en esta base están dentro de las mejores del mundo (4) En la última publicación, se recopilan los índices de impacto de 15212 revistas del año 2019-2020, agrupadas en 236 categorías indexadas en el Web of Science de Clarivate Analytics (4).

En los primeros lugares se encuentran revistas como New England Journal of Medicine (FI 74.6), Nature (FI 71.8) y Lancet (FI 60.3), en el campo de la reumatología por ejemplo Nature Reviews Rheumatology (FI 16.6), Annals of Rheumatic Diseases (FI 16.102), Arthritis & Rheumatology (FI 9.5), considerandolas las revistas más influyentes y prestigiosas en sus áreas de estudio (6). El número de revistas incluidas varía cada año, teniendo en cuenta que el ingreso y la permanencia en el listado dependerá del cumplimiento de los requisitos de selección (6). 

El factor de impacto tiene limitaciones. Se sustentan en citas, que requieren un tiempo para generarse y en general refleja más el prestigio de la revista donde se publica el artículo que la calidad del mismo artículo ya que no se puede asumir que todos los artículos de una revista son de la misma calidad y representan el proceso de revisión por pares de cada revista (3,7).

Los artículos más citados son solo una pequeña fracción de los que se publican en una revista, pero contribuyen abrumadoramente al FI de las mismas y pueden afectarse por modas (Ejemplo: El tema actual de la pandemia como tema general que genera una fuente alta de citaciones) (3).  Finalmente el factor de impacto tiende a ser mayor en aquellas revistas que incluyen recomendaciones oficiales de las diferentes sociedades que las respaldan o incluyen muchas revisiones que al integrar mucha  información con frecuencia documentos citados  (3,4).

  • Scimago Journal Rank

El Scimago Journal Rank es una medición que evalúa la calidad de las publicaciones científicas mediante citaciones, tomando de referencia las publicaciones en la base de datos de Scopus, desde 1996, dándole mayor importancia a aquellas provenientes de revistas de alto prestigio (8). Se calcula según las citas recibidas en un periodo de 3 años con un algoritmo que se publica a través de la plataforma: https://www.scimagojr.com/. En la figura 1 se muestra el Scimago journal rank de 2019 (8). Las principales ventajas de este método es que a través de su página web se puede evaluar y comparar de manera rápida la calidad de las fuentes de información académicas (9).

En esta se incluye el récord histórico de calificación de las revistas sin importar que en algún momento presenten un cambio de título, continuando su escalafón según la nueva denominación (10). Las principales limitaciones a considerar son originadas por un razonamiento circular, lo que significa que aquellas revistas con mayor calificación son las que reciben mayor número de citaciones que pueden estar motivadas por su prestigio (10,11). Otra desventaja para este indicador es que su status está sujeto a publicaciones constantes, y en el caso en que se suspendan estas, no podría evaluarse los siguientes períodos limitando su comparación con otras revistas (10,11).

  • H index

El índice H es un sistema que evalúa la calidad de los científicos mediante el número de citas de sus productos de investigación (12). Se calcula según el valor en el que coincida el número de orden de artículos que haya publicado, con el número de citas que haya obtenido (12). En la figura 2 se muestra la forma como se calcula este indicador. Para conocer el Índice H de un científico se puede valorar mediante la plataforma de google académico ( www.scholar.google.com ) (12,13).  Como ventajas, este indicador combina el impacto de las citas con las medidas de la actividad de publicación, requiriendo más que un aumento en el número de publicaciones para lograr un buen status (13,14). Esta es una medición de rendimiento duradera y personal que no perjudica a los investigadores seniors, a pesar de suspender sus productos de investigación lo que representa una de sus mayores desventajas para jóvenes investigadores (14). Sin embargo, el índice H de un investigador se podrá ver limitado por los nombres y apellidos que utilice para ser citado en las publicaciones, porque no puede variar con el tiempo (13,14), aunque actualmente hay soluciones para evitar estos problemas como ORCID, una plataforma que permite mediante un código de identificación única vincular las publicaciones de un investigador (15). Otra de las desventajas es que el índice H no refleja la calidad de las revistas donde se ha publicado el artículo, las unidades académicas a las que pertenezcan ni el factor tiempo y favorece a los investigadores “senior”  frente a los “junior” por la acumulación de citas de sus productos académicos (14).  Como alternativa para sobrellevar algunas de sus limitaciones se propuso el h5 o h10, que se calcula bajo el mismo principio incluyendo únicamente los artículos publicados en una revista o de origen de un grupo de investigación como unidad académica en un tiempo determinado que pudiera ser de 5 a 10 años lo que podría proveer una evaluación más integral del científico, y del grupo al que pertenece en un tiempo determinado (13). Como vemos hasta este punto, cada una de las métricas tradicionales tiene un objetivo distinto a evaluar que se muestra en la figura 3.

Métricas alternativas 

Desde 2010 se han propuesto las métricas alternativas, evaluando la diseminación y el impacto de las revistas científicas en las redes sociales, mediante el número de seguidores, el número de publicaciones, videos y tweets, además de contemplar las veces que ha sido marcado como favorito o guardado (16,17). Las métricas alternativas se generan de interacciones de los usuarios con los materiales generados por científicos, que se basan en los registros en medios sociales se pueden comportar como una fuente de datos en tiempo real, manteniendo información actualizada sobre la atención en línea que recibe un artículo determinado (18-23).

Las fuentes utilizadas para la agregación o compilación de datos se pueden dividir en cinco categorías:

  • Uso: vistas y descargas, desde el sitio de la revista o desde un tercero, por ejemplo, PubMed Central;

 

  • Captura: marcadores en CiteULike, compartidos dentro de Mendeley o Delicious;

 

  • Menciones: publicaciones de blog, artículos de Wikipedia, comentarios y reseñas;

 

  • Redes sociales: Tweets, Google+, Me gusta, acciones y calificaciones de Facebook;

 

  • Citas: Web of Science, Scopus, CrossRef, PubMed Central y Mendeley (24).

Mendeley cuenta con la mayor cobertura entre todos los indicadores alternativos y es el que más se correlaciona con el recuento de citas (25)

Proveedores de métricas alternativas

Hay varias empresas que se han especializado en brindar métricas alternativas desde el año 2009. Los principales servicios son:

  • Lagotto ( www.lagotto.io ) fue el primer proveedor de datos alternativos y fue creado en 2009 por la editorial Public Library of Science (PLoS). Es una herramienta abierta que puede ser utilizada por cualquier editor, sin embargo solo tres editoriales (PLoS, Copernicus y Public Knowledge Project) han implementado este proveedor, lo que representa su principal limitación (2). 

 

  • Altmetric ( www.altmetric.com ), fue lanzado en 2011, con el apoyo de la empresa Digital Science (2,20,26,27). Este indicador analiza el impacto en línea de los artículos de investigación basado en tres fuentes principales: redes sociales, medios tradicionales, tanto convencionales como específicos de la ciencia y gestores de referencias online (21,26). Posterior al análisis de los datos se genera una puntuación y se transmite a través de pequeñas visualizaciones en forma de rosquilla para una rápida comprensión, siendo mayor la puntuación, mientras más "popular" sea el artículo (19-21).  Una de sus limitaciones, es que no se tienen en cuenta publicaciones previas a julio de 2011, lo que da lugar a una puntuación inexacta (21). Altmetric ha sido adoptado por editoriales como Springer, Nature Publishing Group y Biomed Central, entre otros (24). Actualmente captura más de 60 millones de eventos y rastrea el impacto social de cerca de 9.5 millones de artículos de investigación (2). En la figura 4 se muestra un ejemplo de rosquilla de un artículo publicado.

 

  • Impactstory ( www.impactstory.org ) fue creado en 2011 con el nombre de Totalimpact (24). Mediante Orcid y una cuenta de Twitter, esta herramienta permite la creación de un perfil con la lista de publicaciones mencionadas en la Web (2,21,24). Hasta la fecha, se han creado alrededor de 18.000 perfiles, utilizándose cada vez menos, pues no cuentan con una interfaz de programación de aplicaciones (API) pública (2). 

 

  • PlumX ( www.plumanalytics.com ) es un panel de impacto creado en 2012 que recopila datos de una variedad amplia de fuentes y los divide en cinco categorías: uso, capturas, menciones, redes sociales y citas (21-23). Esta herramienta resume y compara el impacto no solo de investigadores individuales sino también de centros, departamentos e instituciones de investigación (21). Es la métrica que evalúa más variables, incluidas las variables de uso (es decir, vistas y descargas), por lo que se considera que es la más completa (2). En 2017, Plum Analytics fue adquirida por Elsevier y ahora rastrea la presencia en línea de cualquier artículo indexado en la base de datos de Scopus (2,21).

En la actualidad Altmetric.com se ha venido utilizando en más de la mitad de los artículos revisados ​​(54%), seguido por PlumX (17%), ganando mayor protagonismo en la comunidad académica tras su compra por la casa editorial Elsevier (2).

Métricas tradicionales y alternativas

Las medidas tradicionales como el factor de impacto permiten a las revistas mantenerse en registros como el ISI, logrando un posicionamiento en la comunidad científica, generando gran interés por parte de investigadores para enviar y publicar sus trabajos en estas. Por otra parte, las agencias y grupos que financian la investigación utilizan el factor de impacto para valorar las publicaciones de los solicitantes y dirigir los recursos disponibles. Es una manera de conocer el esfuerzo que realizan los países y grupos de investigación para realizar investigaciones (17).

La mayor ventaja que brindan las métricas alternativas sobre las métricas tradicionales es la rápida disponibilidad de una medida del impacto de un artículo en términos de la atención en línea que recibe y el debate que genera (27). Sin embargo, hay que tener en cuenta que estas informan la cantidad de atención recibida y no la naturaleza (positiva o negativa) de la atención (20). Por lo tanto, un artículo podría discutirse varias veces y alcanzar una puntuación alta, pero debido a la retroalimentación negativa (20). En la figura 5 comparamos las métricas tradicionales y alternativas.

Visibilidad de la producción científica de América Latina

La producción de revistas científicas se encuentra dominada por los países más desarrollados, por lo que vemos que países latinoamericanos se encuentran subrepresentados en la composición del ISI (28,29). Como una respuesta a la necesidad de mejorar y visibilizar las publicaciones científicas de América Latina  han surgido en la región plataformas de acceso abierto total, donde no se cobran cargos por procesamientos de artículos a los autores y las publicaciones se encuentran  disponibles libremente al público ( Acceso abierto diamante ó Diamond open access). Estas plataformas entre las cuales se encuentran Scielo y Redalyc se han posicionado como líderes a nivel global en este tipo de iniciativas dando la posibilidad de tener métricas y comparar la producción científica  en la región (30).

  • Scielo

La Scientific Electronic Library Online (SciELO) ( www.scielo.org ) fue creada en 1998 con financiamiento de la Fundación de Apoyo a la Investigación del Estado de São Paulo, BIREME-Centro Latinoamericano y del Caribe de Información en Ciencias de la Salud, para potenciar la visibilidad de las publicaciones editadas en los países en desarrollo, especialmente en América Latina, con énfasis en las revistas pertenecientes a las disciplinas médicas (31). Esta plataforma organiza y publica textos completos, además de producir y publicar indicadores acerca de su uso e impacto (32). Trabaja bajo dos planteamientos: la indexación de las revistas nacionales de calidad como complemento a los índices internacionales y la publicación de los textos completos con acceso gratuito en Internet (32,33). SciELO ha sido pionero en la adopción del acceso abierto, convirtiéndose en uno de los principales proyectos de la ciencia a nivel mundial y sin duda el más importante entre los países en desarrollo (33).

Scielo brinda métricas a través de herramientas como Scielo Analytics (disponible en: https://analytics.scielo.org) que incluyen la composición de colecciones, el número de citas, los accesos por mes y año y la distribución por afiliación de autores, entre otras (31,32).

  • Redalyc:

El sistema de Información Científica redalyc.org  es un programa creado en 2003 en la Universidad Autónoma del Estado de México, que inició con publicaciones desde 1969 a la fecha, vinculadas principalmente a las ciencias sociales y humanidades (31,34). A partir del 2006 incluyeron publicaciones de todas las áreas del conocimiento; dando inicio a un proyecto que ha ido adquiriendo una gran relevancia y reconocimiento (29). AmeliCA ( www.amelica.org ) fue creada en 2018, basado en lo experimentado con Redalyc (35). Esta ofrece un sistema de comunicación para las revistas latinoamericanas, con criterios de ingreso definidos (35).

Hasta este momento lo que se puede resaltar de todas las métricas es que los productos de investigación están sujetos a múltiples factores que le permiten darse a conocer (35).  Se puede ver que no hay una métrica perfecta y que a pesar del advenimiento de las alternativas existen brechas como en el caso de América Latina, donde hay mayor limitación para evaluar la calidad de los productos de investigación, pues sus revistas no tienen el mejor posicionamiento al compararlas con las de otras latitudes. Proyectos como Scielo, Redalyc y AmeliCA permiten darle un valor propio a estas, resaltando la importancia que se le da al libre acceso para permitirle mayor impacto y visibilidad (35).

Redalyc brinda métricas disponible en: https://www.redalyc.org, que incluyen: Composición de colecciones con artículos externos o con coautoría externa, tiempo entre la recepción y aceptación de manuscritos, países de autoría, decil de descarga, evolución de la procedencia de los artículos por año, entre otros (31,35).

Conclusiones

Las métricas tradicionales y alternativas le han dado un valor de impacto a los trabajos de investigación desde su implementación. Las primeras, aunque bien establecidas y aceptadas en la comunidad científica y académica, tienen varias limitaciones en el contexto actual, con las alternativas proporcionando una nueva opción atractiva para medir el impacto de la investigación. Los trabajos que muestran correlación de uso de redes sociales con las posteriores citaciones de los artículos estimulan la utilización complementaria de las mismas (36).  

Siguen pendientes por aclarar aspectos de las métricas alternativas, pues si bien se ha descrito la importancia de la difusión de los artículos en redes sociales, es incierto el valor de la atención recibida por lo que la posición y el uso de estas sigue siendo un campo en evolución. Estas deben considerarse como una ayuda complementaria y no como sustituto de las métricas tradicionales definiendo diferentes roles y propósitos para cada una, permitiendo un análisis del impacto de la investigación a corto y largo plazo.

Interest Conflict

El doctor Caballero es el editor en jefe de GRP . Sus puntos
de vista en este artículo son personales y no reflejan necesariamente los de la
revista.

Financing

Esta investigación no recibe ningún soporte financiero

References

1.         Rodríguez MD, Sáenz RG, Arroyo HM, Herrera DP, de la Rosa Barranco D, Caballero-Uribe C V. Bibliometría: Conceptos y utilidades para el estudio médico y la formación profesional. Salud Uninorte. 2009;25(2):319–30. 

2.         Ortega J. Altmetrics data providers: A meta- analysis review of the coverage of metrics and publication. El Prof la Inf. 2020;29(1):1–23. Disponible en: https://doi.org/10.3145/epi.2020.ene.07

3.          Caballero C, Cuello M, Lubo A, Martínez D, Marriaga A, Ospino F, Palacio S. El Factor de Impacto (FI) en la evaluación de las revistas biomédicas. Salud. Uninorte, 2006; 22(2): 92-104

4.         Grzybowski A. The journal impact factor: How to interpret its true value and importance. Med Sci Monit. 2009;15(2):2007–10.

5.         Tam CH, Tan SB, Soo KC. The journal impact factor: Too much of an impact? Ann Acad Med Singapore. 2006;35(12):911–6.

6.         Clarivate Analytics Releases Global Research. Web of science journal citation reports 2020. Assess the world’s leading journals with publisher-neutral data. [Internet]. 2020. Disponible en: https://clarivate.com/webofsciencegroup/web-of-science-journal-citation-reports-2020-infographic/

7.         Grzybowski A. Impact factor-benefits and limitations. Acta Ophthalmol. 2015;93(3):201–2. Disponible en:  https://doi.org/10.1111/aos.12579

8.         Scimago Journal & Country Rank. Scimago institutions rankings [Internet]. 2019. Disponible en:: https://www.scimagojr.com/

9.         Guerrero-Bote VP, Moya-Anegón F. A further step forward in measuring journals’ scientific prestige: The SJR2 indicator. J Informetr. 2012;6(4):674–88. Disponible en:  https://doi.org/10.1016/j.joi.2012.07.001

10.       Rodríguez JM, Toledo EG. Revistas de educación e investigación educativa. Modelos de negocio y desempeño bibliométrico. Rev Educ. 2015;2015(369):31–57.

11.       Mañana-Rodríguez J. A critical review of SCImago Journal & Country Rank. Res Eval. 2015;24(4):343–54. Disponible en: https://doi.org/10.1093/reseval/rvu008

12.       Hirsch JE, Buela-Casal G. The meaning of the h-index. Int J Clin Heal Psychol [Internet]. 2014;14(2):161–4. Disponible en: http://dx.doi.org/10.1016/S1697-2600(14)70050-X

13.       Rojas S. En defensa del factor h5 como indicador de impacto (según Colciencias). Ingeniería. 2017;22(1). Disponible en: http://dx.doi.org/10.14483/udistrital.jour.reving.2017.1.ne01

14.       Glänzel W. On the opportunities and limitations of the H-index. Sci Focus. 2006;1(1):10–1.

15.       Haak L. Why Identifiers Matter. ORCID. 2017. Disponible en: https://doi.org/10.23640/07243.5046865.v1

16.  Laccourreye O. Altmetrics: What exactly is that? Eur Ann Otorhinolaryngol Head Neck Dis [Internet]. 2020;7296. Disponible en: https://doi.org/10.1016/j.anorl.2020.05.002

17.       Ávila-Rodríguez V, Fernández-Ávila DG, Muñoz-Velandia Ó, García-Peña ÁA. Use and impact of social networks by rheumatology journals. Rev Colomb Reumatol. 2020;1–6.

18.       Maggio LA, Leroux TC, Meyer HS, Artino AR. #MedEd: exploring the relationship between altmetrics and traditional measures of dissemination in health professions education. Perspect Med Educ. 2018;7(4):239–47. Disponible en: https://doi.org/10.1007/s40037-018-0438-5

19.       Chen WMY, Bukhari M, Cockshull F, Galloway J. The relationship between citations, downloads and alternative metrics in rheumatology publications: A bibliometric study. Rheumatol (United Kingdom). 2020;59(2):277–80. Disponible en: 10.1093/rheumatology/kez163

20.       James A, Raux M. Altmetrics scores: What are they? Anaesth Crit Care Pain Med. 2020;39(3):443–5. Disponible en: OI: 10.1016/j.accpm.2020.03.015

21.       Lihitkar S, Veeranjaneyulu K. Almetrics: new metrics for measuring the research impact. J Libr Inf Commun Technol. 2018;10(2):11–22.

22.       Thelwall M, Haustein S, Larivière V, Sugimoto CR. Do Altmetrics Work? Twitter and Ten Other Social Web Services. PLoS One. 2013;8(5):1–7. Disponible en: DOI https://doi.org/10.1371/journal.pone.0064841

23.       Sud P, Thelwall M. Evaluating altmetrics. Scientometrics. 2014;98(2):1131–43. Disponible en: https://doi.org/10.1007/s11192-013-1117-2

24.       Melero R. Research integrity corner. Biochem Medica. 2013;23(3):237–41.

25.       Bar-Ilan J, Halevi G, Milojević S. Differences between Altmetric Data Sources – A Case Study. J Altmetrics. 2019;2(1):1. Disponible en: http://doi.org/10.29024/joa.4

26.       Fassoulaki A, Vassi A, Kardasis A, Chantziara V. Altmetrics versus traditional bibliometrics Short-time lag and short-time life? Eur J Anaesthesiol. 2020;37:944–52. Disponible en: DOI: 10.1097/EJA.0000000000001208

27.       Baheti AD, Bhargava P. Altmetrics: A Measure of Social Attention toward Scientific Research. Curr Probl Diagn Radiol. 2017;46(6):391–2. Disponible en: 10.1067/j.cpradiol.2017.06.005

28.       Aguado López E, Rogel Salazar R. Redalyc: Red de Revistas Científicas de América Latina, el Caribe, España y Portugal: Un balance a tres años de camino. Edición electrónica, Bibl virtuales y portales para las ciencias Soc en América Lat y el Caribe. 2006;209–33.

29.       Becerril A, Aguado E, Becerril A, Aguado E. AmeliCA : Una estructura sostenible e impulsada por la comunidad para el Conocimiento Abierto en América Latina y el Sur Global. Conoc Abierto para América Lat y el Sur Glob. 2018. Disponible en: http://www.memoria.fahce.unlp.edu.ar/libros/pm.693/pm.693.pdf

30.      Huang CK, Neylon C, Hosking R, Montgomery L, Wilson K, Ozaygen A,      Brookes-Kenworthy C. Meta-Research: Evaluating the impact of open access policies on research institutions. eLife 2020;9:e57067

31        Aguirre-Pitol MÁ, Leal-Arriola M, Martínez-Domínguez ND. Análisis Comparativo de la cobertura de SciELO y Redalyc.org. Lab Cienciometría redalyc-fractal [Internet]. 2013;(3):7. Disponible en: http://ri.uaemex.mx/bitstream/123456789/571/1/AnalisisComparativoScieloRedalyc_Aguirre_Leal.pdf%5Cnpapers3://publication/uuid/934252C6-7BCC-4856-9388-66881D21969A

32.       Packer AL, Biojone MR, Antonio I, Takemaka RM, García AP, Silva AC Da, et al. SciELO: Una metodología para la publicación electrónica. Rev Esp Salud Publica. 2001;9(SUPPL. 4):9–22. Disponible en: http://www.redalyc.org/articulo.oa?id=17075404

33.       Bojo Canales C. La red SciELO (Scientific Electronic Library Online): perspectiva tras 20 años de funcionamiento. Hosp a Domic. 2017;1(4):211. Disponible en: http://doi.org/10.22585/hospdomic.v1i4.31

34.       Miguel S. Journals and scientific production in Latin America and the Caribbean: Its visibility in SciELO, RedALyC and SCOPUS. Rev Interam Bibliotecol. 2011;34(2):187–99.

35.       Correa L, Chiarullo F. LuXMeL: hacia la interoperabilidad Redalyc/AmeliCA-Scielo. Palabra Clave (La Plata). 2019;9(1):e075. Displonible en: https://doi.org/10.24215/18539912e075

36.  Luc JGY, Archer MA, Arora RC, Bender EM, Blitz A, Cooke DT, Hlci TN, Kidane B, Ouzounian M, Varghese TK Jr, Antonoff MB. Does Tweeting Improve Citations? One-Year Results From the TSSMN Prospective Randomized Trial. Ann Thorac Surg. 2021 Jan;111(1):296-300.Displonible en https://www.sciencedirect.com/science/article/abs/pii/S0003497520308602

enviar Envía un artículo