Bibliometría o altimetría: desde
las métricas tradicionales a las actuales. Revisión Bibliográfica.
Bibliometry or altimetry: from traditional metrics to present. A review.
Carlos Roberto Puerto Sanabria
https://orcid.org/0000-0001-7296-8617 1*, Ángela Díaz Moreno
https://orcid.org/0000-0002-6204-491X2**, Ólman Gradis Santos: https://orcid.org/0000-0001-7403-41562***.
*Correspondencia a:
carlos.r.puerto.s@gmail.com
1Posgrado
Medicina Legal y Forense UNAH y Dirección de Medicina Forense, Tegucigalpa, 2Unidad
de Investigación y Docencia, Dirección de Medicina Forense, Honduras.
*Médico residente. **Médico en servicio social,
UNAH, ***Estudiante de medicina, Universidad Católica de Honduras.
Recibido: May. 2020, Aceptado: Agos. 2020
AGRADECIMIENTOS:
A la Dra. Mireya Matamoros, por la guía
proporcionada en el diseño de este trabajo y las revisiones realizadas
al mismo.
ASPECTOS
ÉTICOS
Los autores declaran que no existe conflicto de interés en
la publicación de este artículo.
CITAR
COMO
Puerto-Sanabria CR, Díaz-Moreno A, Gradis-Santos
OD. Bibliometría o altmetría: desde las métricas
tradicionales a las actuales. Revisión Bibliográfica. Rev. cienc.
forenses Honduras. 2020; 6(2):24-30.
RESUMEN
Introducción: La forma en la que se mide la difusión
de la información en la comunidad científica ha sufrido cambios en la última
década. Objetivo: Esta revisión tiene como objetivo contextualizar al lector
sobre las diferentes formas de medir el impacto de un artículo, tomando en
cuenta el “sistema de medición tradicional” y el de “métricas alternativas”.
Metodología de búsqueda: Se realizó una búsqueda en las bases de datos
“PubMed/MEDLINE”, “Dialnet”, “Scielo” y “ScienceDirect”,
utilizando las palabras clave: Bibliometría, alt
métricas, métricas alternativas y factor de impacto. Conclusiones: El “sistema
de medición tradicional”, basado en el factor de impacto y que se apoya
esencialmente en la opinión de expertos, con el fin asegurar la calidad de las
investigaciones, es una herramienta aún vigente que en conjunto con las
métricas alternativas o altmétricas, favorecen la
difusión del conocimiento, sin que necesariamente midan de manera precisa la
calidad del artículo y su impacto.
PALABRAS CLAVE
Bibliometría, Alt métricas, Métricas alternativas,
Factor de impacto, Revisión bibliográfica.
ABSTRACT
Introduction: The way in which the dissemination of information is measured in the
scientific community has undergone changes in the last decade. Objetive: This review aims to contextualize the
reader on the different ways of measuring the impact of an article, taking into
account the “traditional measurement system” and that of “alternative metrics”.
Metodology: A search was carried out in the databases
"Medline", "Dialnet", "Scielo" and "ScienceDirect", using the
keywords: Bibliometry, alt metrics, alternative
metrics and impact factor. Conclusions:
The “traditional measurement system
is
based on the citations and the impact factor. Alternative or altmetric seek to measure the dissemination of scientific
articles on blogs, web portals, social networks, or bibliographic managers. It
is a mistake to try to evaluate whether traditional or alternative metrics are
better. These should be considered as complementary to one of the onother.
KEYWORDS
Bibliometric,
Alt metric, Alternative metrics, Impact factor, Bibliographic review.
INTRODUCCIÓN
La forma
en que se mide la difusión de la información en la comunidad científica ha
sufrido cambios en la última década. Medios como blogs, repositorios y redes
sociales facilitan la visibilidad y extensión del contenido científico,
favoreciendo el acceso a los datos virtuales del investigador. Todo esto
beneficia la conexión con otros académicos y aumenta la probabilidad de
contacto con inversores y/o aliados. En base a lo anterior, han surgido cambios
en la aplicación de métodos y modelos estadísticos destinados a medir la
difusión de material científico. Estos ya no se basan solamente en las
citaciones, sino también en la actividad que la información tiene en “medios no
formales” 1–4. Por tanto, surge el interés de ampliar la comprensión
de las nociones de visibilidad, impacto y divulgación de trabajos académicos.
Esta revisión tiene como objetivo contextualizar al lector sobre las diferentes
formas de medir el impacto de un artículo, tomando en cuenta el “sistema de
medición tradicional” y el sistema de “métricas alternativas”
METODOLOGÍA DE
BÚSQUEDA: Se hizo una búsqueda en las bases de datos “PubMed/MEDLINE”,
“Dialnet”, “Scielo” y “ScienceDirect”, utilizando
como palabras claves: Bibliometría, altmétricas,
métricas alternativas y factor de impacto.
Se seleccionaron artículos que facilitaran la comprensión de conceptos y
contextualización de las métricas tradicionales y alternativas.
Antecedentes y
conceptos: De lo Tradicional a lo Alternativo: Lo que
hoy conocemos como el “sistema de medición tradicional”, de la calidad
científica data desde 1955, este se basa en el factor de impacto, el cual toma
forma a partir de la opinión de expertos, con el fin de asegurar la calidad de
los artículos de investigación. Al ser un sistema de medición cuantitativo,
permite ser exacto en cuanto al número de citas, sin embargo, no toma en
consideración otros factores como el impacto social de la publicación, la
calidad del artículo o la relación individual artículo-investigador 1,5.
En 1963
Eugene Garfield lanza el Índice de Citación Científica (Science
Citation Index o SCI por
sus siglas en inglés), como una base de datos documental, sentando las bases
para las métricas actuales. En el año 1969,
Pritchard acuña oficialmente el concepto de
bibliometría definiéndola como: “La aplicación de los métodos estadísticos y
matemáticos a los libros y otros medios de comunicación”, con el fin de crear
un lenguaje común en el sistema de citación 3,6.
Desde el
2004 se correlacionó un mayor número de citaciones en artículos de repositorios
con acceso libre, y por ende un mayor número de descargas.
En 2010 Priem, Taraborelli y Groth
publican el documento ‘’AltMetrics: A Manifesto’’, el cual sienta las bases para las métricas
alternativas a nivel del artículo. Es en 2012 que miembros académicos de
múltiples disciplinas, principalmente de la Sociedad Americana de Biología
Celular, toman nota de dichas deficiencias y se lleva a cabo en San Francisco
la Declaración sobre Evaluación de la Investigación (Declaration on Research Assessment “DORA”),
de la
cual se obtienen tres recomendaciones claves 1,3:
1. La
necesidad de eliminar el uso de métricas basadas en revistas, en la
financiación, en los nombramientos.
2. La
necesidad de evaluar la investigación por sus propios méritos, y no por la
revista en que se publica.
3. La necesidad de
aprovechar las oportunidades que ofrece la publicación en línea.
Los indicadores
bibliométricos utilizados tradicionalmente se valen de los siguientes índices
estadísticos:
1. Citación:
el número de veces que un artículo o material académico está mencionado en
otros artículos de investigación. Es por este motivo que se atribuye mayor
calidad y prestigio a aquel recurso que cuenta con mayor cantidad de citas, ya
que es prueba de la retroalimentación y control de calidad del método
científico. Este concepto es esencial para comprender el resto de índices 3,4.
2. Factor de
impacto de una revista: Término acuñado por Garfield en el 1955; se define
como la cantidad de veces que se cita a una revista en un periodo de dos o
cinco años de manera consecutiva y se utiliza como factor de referencia para la
evaluación y jerarquización de las publicaciones3–5.
3. Índice h: Es
el conteo máximo de artículos que cuenta con igual número de citas, por
ejemplo: Un índice h de 10 significa que 10 publicaciones del investigador
tienen al menos 10 citas, y el resto cuenta con menos de 10 citas. Esto es una
aproximación a la cantidad y calidad de publicaciones por cierto autor 7,8.
4. Índice g: Se
creó con la intención de mejorar el índice anterior, en el cual la variable g
simboliza un conjunto de publicaciones con citas según orden decreciente de
manera que las que estén agrupadas primero cuenten con más citas de forma
exponencial o duplicada. Ejemplo: Un índice g de 10= g², ya que 10²= 100, lo
que equivale a por lo menos 100 citaciones para esas 10 publicaciones 7,9.
5. Índice e:
Complemento del índice g, tiene el finde contrastar entre investigadores con
índices g similares, pero con diferentes patrones de citación. El índice e, es
la raíz cuadrada del remanente del grupo de publicaciones que no se tomó en
cuenta más allá del h, de esta manera no se pierden referencias de
publicaciones de alta calidad que no se toman en cuenta en los índices
anteriores 8.
6. Índice i10:
Mide cuántas publicaciones del investigador tienen al menos 10 citaciones o
más, por ejemplo: Un índice- i10 de 20 significa que 20 publicaciones del autor
tienen al menos 10 citaciones o más 8.
Sin embargo, estos
métodos estadísticos no toman en cuenta factores como la calidad individual del
artículo, sino que en general, el de la revista en estudio. El número total de
citaciones en una revista no refleja al del total de cada uno de sus artículos
contenidos, ya que se estima que generalmente solo un 20% de los artículos,
aporta el 80% de citaciones para la revista. Por otro lado, los que solo
estudian el artículo individualmente, lo hacen en base a una dimensión: las
citaciones en otros artículos, lo que puede no reflejar su difusión y calidad
real 3,8,10.
En
consonancia a lo anterior es evidente que los métodos utilizados por los
sistemas de medición del impacto de un documento son claramente insuficientes,
ya que no proporcionan información de todas las interacciones que se producen
en los nuevos contextos y medios sociales 11,12.
¿Qué son
las métricas alternativas?
La llegada de las
redes sociales, y las bases de datos Open Access han aumentado las
oportunidades de difusión del material científico. Surge el interés
creciente de incluir indicadores que se acoplen a los nuevos medios de
difusión. Las métricas alternativas, o altmétricas,
son creadas como una propuesta complementaria al sistema métrico tradicional. “AltMetrics: A Manifesto”
define a las métricas alternativas como “la creación y estudio de nuevos
indicadores basados en interacciones sociales y difusión del contenido
académico y científico por medio de la web”. Estas buscan medir la divulgación
de los artículos científicos en blogs, portales web, redes sociales, o gestores
bibliográficos 4,8,13–15.
Indicadores
altmétricos:
1. En medios sociales generales y
académicos: número de retuits, de me gusta, de clicks, de conversaciones, hilos o menciones.
2. Blogs científicos y enciclopedias: número
de comentarios, de citas, de menciones y comentarios a la entrada de blogs, así
como citas en la entrada de las enciclopedias.
3. Repositorios: consultas, vistas del
artículo y descargas del mismo.
4. Gestores de referencias (CiteULike, Mendeley y Connotea): la
incorporación a bibliografías y las lecturas 5,10,14,15.
Ventajas
de las Métricas Alternativas: las métricas
alternativas ofrecen numerosas ventajas, tanto para el investigador como para
el académico. El aumento acelerado de la web como medio para diseminación de
literatura médica permite cuantificar el impacto que tienen las publicaciones
de manera individual 3,4,8.
Los puntos favorables
para el investigador son: en contraste con el Factor de Impacto de Revista, las
Altmetrías se miden en tiempo real, haciendo posible
que el académico identifique artículos altamente diseminados en días
posteriores a su publicación, independientemente de que el Factor de Impacto no
haya sido calculado previo a los primeros dos meses de publicación en la
revista o la aprobación de manuscritos 5,13,16–18. Suelen ser de libre acceso pues, aunque
existan múltiples herramientas pagas para cuantificar la influencia del
artículo, existe una variedad gratuita. Aumenta la visibilidad que posee el
investigador, proveyendo enlaces hacia el perfil de éste y forjando su
reputación en el ámbito científico moderno, facilitando alianzas con
instituciones académicas o inversores 5,16,19.
Ventajas para el
académico: al basarse en múltiples fuentes,
provee una variedad de formatos de aprendizaje para el académico, ya sea en
forma de repositorios o medios audiovisuales que se adapten a sus diferentes
formas de aprendizaje. Es de fácil acceso, por lo que ciertas bases de datos ya
cuentan con su AltMetric Score correspondiente para
cada artículo disponible en su directorio, como es el caso de Elsevier o
Mendeley. Finalmente, es más fácil de entender que los índices tradicionales 5,16,20.
Desventajas de las
métricas alternativas: el número de menciones de un
artículo puede no ser directamente proporcional a la relevancia académica del contenido
del mismo pues son susceptibles a manipulación artificial, por ejemplo: la
publicación de un caso clínico sobre una enfermedad rara puede no ser útil si
se trata de incluir en una serie de casos, por lo que no será relevante
académicamente. Si bien, es fácilmente entendible, esto no asegura la calidad
del trabajo ya que el público general también realiza menciones y al no llegar
a un consenso sobre qué indicadores medir, se vuelven subjetivas 5,20,21.
Cuadro 1. Herramientas para la
medición de métricas alternativas.
|
Herramienta |
Descripción |
Ventajas |
|
Altmetrics.com (5,26–30) |
Es la plataforma de Scholastics y es la herramienta más común de métricas
alternativas, que reúne datos de la mayoría de redes sociales y otros sitos
como Mendeley y CiteULike. |
a. Los
datos de AltMetrics se encuentran disponibles
directamente en el artículo o base de datos científica y toma en cuenta
conversaciones o menciones en redes sociales y diarios importantes como ser
el New York Times. b. El
atajo, o bookmarklet, de AltMetrics
permite ver en tiempo real los datos del artículo sin importar que el lector
esté suscrito a este servicio. c.
Ofrece muchas funciones gratuitas. d. Interfaz colorida
y fácil de entender para el usuario. |
|
PlumAnalytics https://plumanalytics.com/learn/about-metrics/ (5,10,28,30) |
Es una herramienta
paga del grupo editorial Elsevier. Su interfaz presenta el número de citas,
menciones, uso, capturas y difusión en redes sociales a través de un widget:
“PlumX”. |
a. Incluye fuentes más variadas,
por ejemplo, medios audiovisuales como You Tube. b. Interfaz colorida y fácil de
entender por el usuario. c. Agrupa información del autor/es
por medio de ORCID, DOI y otros formatos. d. Hace uso de
widgets. |
|
https://profiles.impactstory.org/ (28,31) |
Es una herramienta
paga basada en la web, utilizada por autores de contenido científico. |
a. Brinda información sobre
marcadores de impacto variados, como medios audiovisuales y repositorios
populares como Slide Share. b. Le permite al autor crear su
perfil de investigador o importarlo desde ORCID y poder compartirlo con otros
académicos. c. Le permite el
autor descargar los marcadores del artículo en hojas de Excel. |
|
PLOS metrics https://plos.org/publish/metrics/ 5,28,29,32 |
Es una plataforma de
Alt Metrías en línea disponible en PLOS.org. |
a. Interfaz amigable con el
usuario. b. Se enfoca más en marcadores
como descargas de PDF y vistas que en redes sociales. c. Cuenta con muchas
funciones gratuitas. |
Una sugerencia que
hace la comunidad científica es que las altmétricas
se deben usar en combinación con el factor de impacto, el índice h, el número
de descargas y el recuento de citas, para proporcionar una imagen más amplia
del impacto del artículo, para así evitar posible sesgo y manipulacion22–25.
Herramientas
para la medición de métricas alternativas.
En el Cuadro
1 se describen brevemente cuatro herramientas creadas con el fin de medir
las métricas alternativas de una publicación, Almetrics.com, PlumAnalytics, Impactstory.com,
PLOS metrics.
CONCLUSIONES
La transformación de
la forma de medir la divulgación de los trabajos científicos debe ser
proporcional a la evolución de los medios de comunicación. Bajo este
enunciado surgen las métricas alternativas, sin embargo, es un error desestimar
la importancia que tienen las métricas tradicionales. Las altmetrías
resaltan como herramientas para medir el impacto social, mientras que las
tradicionales lo hacen en la medición del impacto científico. Se ha demostrado
que ninguna por si sola ha sido suficiente como factor pronóstico en el número
futuro de citaciones de un artículo individual, sin embargo, esta asociación
mejora al ser usadas de forma conjunta. Asimismo, es un error pensar que la
forma de medir la “calidad” de la comunicación científica se logra solo a
través del número de citaciones, obviando el factor de alcance. Por lo
anterior, podemos concluir que es un error querer evaluar si las métricas
tradicionales o las alternativas son mejores. Estas deben ser consideradas como
complementarias una de la otra.
REFERENCIAS
BIBLIOGRÁFICAS
1. Alonso-Arévalo J, Cordón-García
JA, Maltrás Barba B. Altmetrics:
medición de la influencia de los medios en el impacto social de la
investigación. Sist Nac Eval Acreditación Certif Calid Educ - SINEACE [Internet].
2016 [citado 14 de marzo de 2020];
Disponible en:
http://repositorio.sineace.gob.pe/repositorio///handle/sineace/5947
2. Smith DR,
Watson R. Career development tips for today’s nursing academic: bibliometrics, altmetrics and social media. J Adv Nurs. 2016;72(11):2654–61.
3. Gorbea Portal S, Gorbea Portal S.
Una nueva perspectiva teórica de la bibliometría basada en su dimensión
histórica y sus referentes temporales. Investig
Bibl. 2016;30(70):11–6.
4. Travieso Rodríguez C, Ferreira de
Araújo R. Indicadores altmétricos y de citación en la
producción científica en ScienceOpen: estudio
descriptivo para Brasil, España y Portugal. Bibl An Investig. 2018;14(2):124–137.
5. Alonso-Arévalo J. Altmetrics: la integración del impacto científico y el
impacto social de la investigación. En: Epistemología, acceso abierto e impacto
de la investigación científica ISBN 978-9942-972-27-09-5. Cuenca: Universidad
Católica de Cuenca (Ecuador); 2016. p. 139–163.
6. Martinovich
V, Martinovich V. Indicadores de Citación y
Relevancia Científica: Genealogía de una representación. Dados [Internet]. 2020
[citado 28 de septiembre de 2020];63(2). Disponible en: http://www.scielo.br/scielo.php?script=sci_abstract&pid=S0011 52582020000200206&lng=en&nrm=iso&tlng=es
7. Díaz I, Cortey M, Olvera À, Segalés J.
Use of H-Index and Other Bibliometric Indicators to Evaluate Research
Productivity Outcome on Swine Diseases. PLOS ONE. 2016;11(3):e0149690.
8. Paul B, Saha I. Research rating: some technicalities. Med J Armed
Forces India [Internet]. 2018 [citado
26 de abril de 2020]. Disponible en:
http://www.sciencedirect.com/science/article/pii/S0377123718301230
9. Costas R,
Bordons M. Is g-index better than h-index? An
exploratory study at the individual level. Scientometrics.
2008;77(2):267–88.
10. Akers
KG. Introducing altmetrics to the Journal of the
Medical Library Association. J Med Libr Assoc.
2017;105(3):213–5.
11. Alonso-Arévalo J. Altmetrics pueden no seguir siendo alternativa por mucho
tiempo. Rev ORL. 2016;7(3):169–177.
12. Smith
ZL, Chiang AL, Bowman D, Wallace MB. Longitudinal relationship between social
media activity and article citations in the journal Gastrointestinal Endoscopy.
Gastrointest Endosc.
2019;90(1):77–83.
13. Santana S. Las métricas
alternativas y sus potencialidades para el profesional de la salud. Rev Médica Clínica Las Condes. 2018;29(4):484-90.
14. Maggio
LA, Meyer HS, Artino AR. Beyond
Citation Rates: a real-time impact analysis of health professions education
research using altmetrics. Acad Med J
Assoc Am Med Coll.
2017;92(10):1449–55.
15. Uribe-Tirado A, Ochoa-Gutiérrez
J, Ruiz-Nuñez K, Fajardo-Bermúdez M. Visibilidad e
impacto altmétrico de los investigadores de la
Universidad de Antioquia: metodología aplicable a universidades. Transinformação. 2019;31.
16. Trueger NS, Thoma B, Hsu CH,
Sullivan D, Peters L, Lin M. The Altmetric score: A
New Measure for Article-Level Dissemination and Impact. Ann Emerg
Med. 2015;66(5):549–53.
17. Vrabel
M. Beyond the Impact Factor. Oncol Nurs Forum.
2019;46(2):143–5.
18. Thelwall M, Nevill T. Could
scientists use Altmetric.com scores to predict longer term citation counts? J Informetr. 2018;12(1):237–48.
19. Crotty
D. Altmetrics. Eur Heart J. 2017;38(35):2647–8.
20. Bean JR.
Altmetrics in Scientific Research: Flash in the Pan
or Transformative Innovation? World Neurosurg. 2017;104:993–5.
21. Butler
JS, Kaye ID, Sebastian AS, Wagner SC, Morrissey PB, Schroeder GD, et al. The
Evolution of Current Research Impact Metrics: From Bibliometrics to Altmetrics? Clin Spine Surg. 2017;30(5):226–8.
22. Taberner R. Altmetrics: beyond
the impact factor. Actas Dermosifiliogr. 2018;109(2):95–7.
24. Muñoz JM, Lorenzo JME. Citas,
revistas y autores: claves para la evaluación de la producción científica en ciencias
de la salud. FisioGlía Rev Divulg Fisioter.
2015;2(1):9–13.
25. Zuluaga Gaviria JD. Evaluación
de la actividad científica en ciencia de la información a partir de indicadores
bibliométricos y altmétricos. [Tesis]. Bogotá: Pontificia Universidad Javeriana; 2017.
26. Daly JM.
Making sense of altmetrics. Equine Vet J.
2016;48(4):399–400.
27. Delgado
López-Cózar E, Martín-Martín A. Thomson Reuters y las
altmetrics: usage counts frente
a citation counts en la Web of Science. Granada: EC3,
2015. (Working Papers; 20).
28. Wimmer EN, Rethlefsen ML, Jarvis
C, Shipman JP. Understanding Research Impact: A Review of Existing and Emerging
Tools for Nursing. J Prof Nurs Off J Am Assoc Coll Nurs. 2016;32(6):401–11.
29. Altmetric: sources of attention. [Internet].London:
Altmetric; 2020 [citado 10 de mayo de 2020]. Disponible en: https://www.altmetric.com/about-our-data/our-sources/
30. López-Padilla D, García-Río F,
Alonso-Arroyo A, Pérez Gallán M, Puente Maestú L, Segrelles-Calvo G, et al. Altmetrics analysis of Archivos de Bronconeumología
from 2014 to 2018. Arch Bronconeumol
Engl Ed [Internet]. 2020 [citado 26 de
abril de 2020]; Disponible en: http://www.sciencedirect.com/science/article/pii/S1579212920300513
31. Impactstory:
descubra el impacto en línea de su investigación [Internet]. 2020 [citado 10 de
mayo de 2020]. Disponible en: https://profiles.impactstory.org/about
32. Huang W,
Wang P, Wu Q. A correlation comparison between Altmetric
Attention Scores and citations for six PLOS journals. PloS
One. 2018;13(4):e0194962.
23. Elmore
SA. The Altmetric attention score: what does it mean
and why should i care? Toxicol Pathol.
2018;46(3):252–5.