Um bom artigo precisa ser citado? Métricas e Altimetrics

Nos próximos dias 21 e 22/08, terei o prazer de apresentar um seminário sobre divulgação científica na internet. Em parte, vou tratar sobre o impacto dessa divulgação na forma como medimos o impacto da pesquisa, assunto que explico aqui.

Métrica de uso dos artigos da PLoS ONE

O que você faz com o artigo que lê? Fonte: Goobledygook.

 

Mudamos a forma como lemos o artigo científico

Por muito tempo, uma das poucas medidas disponíveis sobre a importância de um trabalho científico foram as citações. Em um tempo em que não se podia saber quantas cópias foram feitas do artigo impresso, ou quantas vezes a revista foi lida na biblioteca, a forma de se medir o impacto de um artigo – ou melhor, de um periódico, já que medir artigos até então era muito complicado – era contar o número de vezes em que ele era citado em outras publicações. Conte as citações durante um certo período de tempo, faça as contas e magia negra uma análise que ninguém consegue reproduzir, e você tem o Fator de Impacto de uma revista.

Mas a forma como a ciência é publicada e divulgada mudou muito desde então. A última vez que entrei em uma biblioteca para copiar um artigo foi em 2006, para conseguir os trabalhos clássicos de HIV que não estavam disponíveis pela Capes e pela universidade, mas que a biblioteca havia assinado. Isso antes de conhecer amigos que podem me mandar por email. De lá para cá, todos os artigos que consumi foram baixados pela versão online dos periódicos. E quase sempre foram adicionados a um organizador de referências: inicialmente o Zotero, e depois o Mendeley, desde a grande diáspora de 2009 do Firefox para o Chrome. Não me lembro da última vez que imprimi um artigo.

Meu uso para os artigos também mudou durante o doutorado. Muitos deles foram relevantes, apesar de não serem usados diretamente na minha pesquisa, e não são citados nos trabalhos publicados. Foram importantes para nortear ideias, e estão adicionados no Mendeley, não só por mim, como por vários pesquisadores com interesses em comum. Outros possuem figuras completas e explicativas que foram usadas em apresentações e aulas. Alguns são tão abrangentes e interessantes que foram compartilhados por mim no Twitter, por saber que podem ser aproveitados por pessoas de diferentes áreas com as quais interajo, por mais que também não sejam citáveis. Além disso, muitos dos artigos com os quais tive contato não vieram de ferramentas de busca como o PubMed ou Google Scholar, e sim de blogs que acompanho pelo Research Blogging (que agrega posts sobre artigos científicos) e mesmo do podcast This Week in Virology.

Por que não mudar a forma como medimos?

Todas estas ações geram marcas, impressões que podem ser coletadas e computadas para informar sobre os diferentes tipos de impacto dos artigos que li. O impacto do artigo, e não só do periódico onde ele foi publicado. Sim, pois por mais que o fator de impacto de uma revista informe muito sobre as chances dos seus artigos serem citados por outros, a correspondência não é direta. Meu supervisor, por exemplo, publicou em 1996 um trabalho na PNAS bem mais citado do que o trabalho publicado no mesmo ano na Nature, uma revista com maior fator de impacto. Aliás, medir o impacto do artigo, e não do periódico, é uma forma bastante eficiente de qualificar o trabalho publicado em revistas sem tema fechado onde o fator de impacto não faz muito sentido, como a PLoS One, onde trabalhos de biologia molecular dividem espaço com artigos sobre psicologia humana – e podem ser lidos por pesquisadores de áreas completamente diferentes: nosso artigo sobre redes sociais e hepatite C foi citado em um trabalho sobre formigas e outro sobre riscos de predação.

O número de citações que um trabalho recebe é uma métrica fundamental sobre sua relevância no mundo acadêmico, mas não é o único tipo de impacto que ele tem. Artigos lidos por serem inspiradores, ou muito utilizados em aulas, ambos sem muitas citações medidas normalmente, podem ser tão ou mais relevantes. Agora, podemos saber que o artigo “How to choose a good scientific problem”, por mais que tenha apenas 10 citações, é muito popular no Mendeley e tem mais de 3600 leitores. Também podemos medir quantas vezes uma figura usada para aulas foi baixada diretamente no formato para apresentação com o botão Download for PowerPoint presentation, ou quantas vezes o artigo fonte é citado nos slides compartilhados no SlideShare.

Quando a informação era impressa, e precisava ser resgatada para ser processada, não tínhamos como saber que colaboradores muito citados nos agradecimentos, que não participaram diretamente do trabalho mas contribuíram com sugestões e críticas valiosas, podem contribuir para 10 a 20% da produtividade de seus colegas, conforme medido para pesquisadores de imunologia falecidos. Hoje, a PLoS fornece todo tipo de métrica de acesso e compartilhamento de seus artigos, tentando se distanciar cada vez mais do Fator de Impacto. Até a Amazom tem muito mais informação sobre os hábitos de leitura dos seus consumidores através do Kindle do que o livro impresso permitia.

Este conjunto de métricas alternativas, apelidado de Altmetrics, agrega uma série de ferramentas que ajudam a entender estes diferentes tipos de impacto que um artigo pode ter, além de agregarem informação sobre aquele trabalho, como as palavras-chave associadas pelos leitores. E mesmo se você estiver interessado na medida mais usada, tais métricas podem explicar em pouco tempo tendências de citações que levam anos para serem vistas, preenchendo o espaço entre a publicação de um trabalho e a constatação de seu impacto. O número de compartilhamentos de um artigo nos dias após sua publicação, por exemplo, prediz bem as chances dele ser mais citado no futuro – o que não implica que ele será mais citado por que foi mais divulgado, o trabalho pode ser bastante divulgado por ser relevante e portanto mais citável.

Por que não mudar a forma como medimos a produtividade?

Assim, em concursos interessados em medir diferentes aspectos da carreira de um candidato, ou mesmo a avaliação da Capes sobre a produtividade dos pesquisadores, ao invés de medirem apenas participações em bancas de defesa e números similares como a relevância do docente fora de sua pesquisa, poderiam contar quantas apresentações ele(a) tem disponibilizadas e quantas vezes os slides foram compartilhados e lidos. Ou quantas pessoas adicionaram seus artigos no Mendeley. Medidas simples, atualizadas constantemente, que poderiam ser incorporadas automaticamente na plataforma Lattes, não dependem do preenchimento correto das várias categorias de produção acadêmica e ainda evitam currículos enormes que contém pouco conteúdo relevante.

Nas palavras de Jason Priem, um dos autores de um trabalho bastante completo sobre altmetrics, não podemos confundir o tipo de uso de um artigo que pode ser medido com o uso de fato. Precisamos levar em conta muito mais do que as citações para julgar a importância de um trabalho.

 

[update] Como lembrou o Karl, vale ler o post dele de 2009 sobre o tema:

http://scienceblogs.com.br/eccemedicus/2009/07/a_vez_das_revistas_cientificas/

Related Posts Plugin for WordPress, Blogger...

Discussão - 12 comentários

  1. Leo Martins disse:

    Por acaso acabo de ver esse post (http://phylogenomics.blogspot.com.es/2012/08/some-articles-on-uses-and-misuses-of.html) com links para vários artigos (pdf) criticando o Fator de Impacto.

    abraço,
    Leo

  2. Karl disse:

    Átila,

    Excelente post. Parece que isso já vem sendo anunciado desde de 2009. Veja só http://scienceblogs.com.br/eccemedicus/2009/07/a_vez_das_revistas_cientificas/

    Alguma coisa têm que mudar. Gostei muito dessa estória das aulas compartilhadas. É um jeito de valorizar o bom professor. (Apesar de não ser o melhor já que as aulas que tendem a ser compartilhadas podem não ser as melhores, mas é um começo sem dúvida!).

    Abs e parabéns pelo doutorado de novo!

  3. Sibele disse:

    Enfim, EPPUR SI MUOVE!!! \o/

    Muito, muito bom, Dr. Atila! :)

  4. Maximus Gambiarra disse:

    Excelente texto, bem documentado e passível de citação.

  5. Concordo com os pontos levantados, Átila. A tecnologia moderna nos permite uma maneira mais rica de entender o impacto de uma publicação científica. Mas a adoção de métricas alternativas deve ser gradual pois a quantidade de pessoas que utiliza o Mendeley/twitter/Zotero/blogs é ínfima se comparada ao número de cientistas no mundo. A maioria dos pesquisadores que eu conheço troca artigos por e-mail e faz download em site. E a métrica de pageviews do PLoS é fácil de sacanear. Por conta disso, os altmetrics são legais pra ver seus “cookie points” mas não são robustos o suficiente pras agências de fomento. Que é o grande motivo pra pessoas se importarem com métricas (e, fwiw, publicações).

    • Atila disse:

      @Shridhar,

      Acredito que todas as métricas tem falhas bastante sérias, justamente o motivo pelo qual não precisamos seguir apenas uma. Citações são infladas por auto-citações, e por aí vai. Mas, como ainda quero mostrar em outro post, em um trabalho com artigos da PLoS, viram que 80% dos artigos estavam adicionados no Mendeley de alguém, enquanto menos da metade dos artigos tinha citações pelo PubMed. Medindo citações, estamos ignorando mais artigos do que pelo Mendeley, o que não invalida o uso de cada um deles. O ponto, como você levantou, é as agências de fomento pensarem em considerar isso.

  6. Isso não é um resultado surpreendente. Minha lista do Mendely tem um monte de artigo que eu ainda não li, e mais um monte de artigo que eu li mas que achei ruim, errado ou irrelevante pra mim… muitos dos artigos que estão no Mendeley mas ignoradas no PubMed assim estão por um motivo… o artigo sobre as bactérias que utilizam Arsênico é emblemático. Eu gosto de métricas novas pois eles dão uma dimensão adicional sobre a obra de um pesquisador. Uma analogia besta são as pesquisas de opinião antes de eleição. Existe uma diferença grande entre “intenção de voto”, “taxa de rejeição” e “popularidade” e saber os três resultados te dá uma perspectiva bem melhor do que se só um dos resultados. Mas de novo, o problema é que essa ênfase em métricas distorce o objetivo principal da nossa profissão. Sim, divulgação/comunicação é uma parte importante de nossa profissão, mas não é a parte fundamental.

  7. Pois é, o problema é combinar com os russos primeiro (CNPq, CAPES, etc).. Se vc tiver interesse no indice h e no indice gamma (Garfield-Hirsch), que é extremamente robusto frente a autocitacoes, detecta falsos positivos (pesquisadores cheios de papers e citacoes infladas) e falsos negativos (pesquisadores com poucos papers e indice h mas que tem alto impacto) etc, É o ultimo arquivo desta pasta: http://stoa.usp.br/osame/files/1310

  8. [...] Além de poder saber quantas pessoas estão lendo aquele artigo, outra métrica informativa, não fiquemos apenas com as citações, também é possível ver as palavras associadas e grupos temáticos, o que aumenta bastante a [...]

  9. [...] tão bem já escreveu o Atila Iamarino, outro autor do trabalho, nesses dois posts de seu blog: Um bom artigo precisa ser citado? Métricas e Altimetrics; Redes sociais, artigos científicos e novas métricas (esse último com a íntegra da palestra que [...]

Envie seu comentário

Seu e-mail não será divulgado. (*) Campos obrigatórios.

Receba as atualizações por e-mail:

Digite seu e-mail:

Sobre ScienceBlogs Brasil | Anuncie com ScienceBlogs Brasil | Política de Privacidade | Termos e Condições | Contato


ScienceBlogs por Seed Media Group. Group. ©2006-2011 Seed Media Group LLC. Todos direitos garantidos.


Páginas da Seed Media Group Seed Media Group | ScienceBlogs | SEEDMAGAZINE.COM