Crise na Ciência ou Crise na Reprodutibilidade de Pesquisas?

Ocorrências cada vez mais frequentes de retratação de pesquisas científicas sugerem que o erro, o falseamento de dados, a omissão e a manipulação ameaçam a qualidade das evidências que embasam as publicações. Podemos dizer que há uma crise na Ciência?

Estudo recente de março 2018 publicado na revista PNAS apresenta os resultados de um levantamento feito na Base de Dados Web of Science sobre a ocorrência de uma das seguintes frases nos artigos indexados: “crise de reprodutibilidade”, “crise científica”, “ciência em crise”, “crise na ciência”, “crise de replicação”, “ crise de replicabilidade” no título, resumo ou palavras-chave. Os registros, apresentados na Figura 1 abaixo, foram classificados se endossavam implícita ou explicitamente a narrativa da crise descrita no texto (vermelho), ou alternativamente questionavam a existência de tal crise (azul), ou discutiram “crises científicas” de outros tipos ou não puderam ser classificadas devido a informações insuficientes (cinza). O conjunto de dados completo, que inclui todos os títulos e resumos desde 1933 até 2018, está disponível no Dataset S1. A amostra não inclui os numerosos artigos recentes de pesquisa e artigos de opinião que discutem a narrativa “ciência está em crise” sem incluir nenhuma das frases acima no título, resumo ou palavras-chave [1]. O Gráfico abaixo (Figura 1) deixa claro que o número de artigos endossando a crise aumentou nos últimos anos.

Corroborando essa percepção, pesquisa baseada em questionário enviado em 2016 pela equipe da revista Nature a 1.576 pesquisadores revelou que 52% deles acreditavam haver uma crise significativa de reprodutibilidade (Figura 2). Mais de 70% dos respondentes afirmaram que tentaram e não conseguiram reproduzir os experimentos de outros cientistas, e mais da metade não conseguiu reproduzir seus próprios experimentos [2]. 

Embora 52% dos respondentes do questionário concordem que há uma “crise” significativa de reprodutibilidade, menos de 31% acham que a falha em reproduzir os resultados publicados significa que o resultado provavelmente está errado, e a maioria diz que ainda confia na literatura publicada. Quase 90% dos pesquisadores da área de Química, 80% da área de Biologia, perto de 70% das áreas de Física, Engenharia e Medicina afirmaram que haviam falhado em reproduzir a pesquisa de outros pesquisadores e mesmo seus próprios experimentos. O Gráfico abaixo apresenta esses resultados (Figura 3). 

Recente artigo publicado na Plos One sobre a pesquisa em saúde pública informa que pesquisadores que tentaram replicar os estudos foram bem-sucedidos em apenas 21% dos estudos sobre drogas, 40% a 60% dos estudos de psicologia e 61% dos estudos de economia. Erro e omissão no relatório de resultados estatísticos estão entre as razões para as baixas taxas de reprodutibilidade. Além disso, 20 a 80% dos artigos em cada um dos dez principais periódicos científicos omitiram ou não informaram o tamanho das amostras e até 40% dos trabalhos em cada periódico não incluíram o tipo de testes estatísticos realizados. Tabelas foram rotuladas erroneamente em três dos seis estudos de saúde pública reproduzidos [3]. Fato é que nos últimos anos, os cientistas começaram a prestar mais atenção à reprodutibilidade. Há um consenso crescente entre os cientistas de que a falta de reprodutibilidade deriva de fatores metodológicos, graus de liberdade do pesquisador e ênfase na publicação apenas de resultados positivos. 

Matéria da Fapesp sobre boas práticas publicada em março de 2018 enumera as 20 diferentes razões para uma pesquisa chegar a resultados não confirmáveis [4]. Fraude ou fabricação de dados, falta de rigor na análise estatística, não compartilhamento dos dados ou dos detalhes metodológicos, formulação de hipóteses depois da obtenção dos dados, estão entre as causas da irreprodutibilidade (Figura 4).

No esteio dessas preocupações, começam a surgir iniciativas de verificação de dados de pesquisa. Em matéria publicada no dia 6 de setembro de 2018, a Fapesp informa que, infelizmente, o Projeto de Reprodutibilidade: Biologia do câncer não alcançará a meta inicial de revisar 50 artigos publicados em revistas de alto impacto devido a dificuldades técnicas e custos elevados. Apenas 18 estudos deverão ser completados. O projeto foi lançado em 2013, depois que a empresa de biotecnologia Amgen anunciou que tentara, sem sucesso, reproduzir os resultados de 47 de 53 experimentos publicados em periódicos científicos como NatureScience e Cell. Ainda segundo a Fapesp, um grupo de pesquisadores do Instituto de Bioquímica Médica Leopoldo de Meis, da Universidade Federal do Rio de Janeiro (UFRJ) prepara-se para enfrentar um desafio semelhante e já começou a organizar uma rede de laboratórios incumbida de repetir até 100 experimentos em ciências biomédicas publicados em artigos científicos brasileiros [5].

Concluindo, reanalisar dados para verificar os resultados publicados, aumentar o rigor e registrar detalhadamente os procedimentos de coleta de dados pode melhorar a qualidade da ciência e aumentar os índices de reprodutibilidade. Pesquisadores, revistas, empregadores e financiadores desempenham um papel importante no incremento da reprodutibilidade da ciência, alcançado por meio de estratégias que incluem maior transparência, publicação de dados de pesquisa em acesso aberto, adoção de diretrizes mais detalhadas para a redação das seções de métodos e procedimentos, ênfase na elaboração de protocolos de pesquisa científica, realização de eventos de boas práticas e conscientização sobre a importância da reprodutibilidade da ciência.

== REFERÊNCIAS ==

[1] FANELLI, D. Opinion: Is science really facing a reproducibility crisis, and do we need it to? Proc Natl Acad Sci, v. 115, n. 11, p. 2628-2631. Mar. 2018. doi: 10.1073/pnas.1708272114. Disponível em:<https://www.ncbi.nlm.nih.gov/pubmed/29531051> Acesso em: 14 set. 2018.

[2] BAKER, M. 1,500 scientists lift the lid on reproducibility. Nature, v. 533 n.7604, p. 452-4. May 26 2016. DOI 10.1038/533452a. Disponível em: <https://www.nature.com/news/1-500-scientists-lift-the-lid-on-reproducibility-1.19970> Acesso em: 14 set. 2018.

[3] HARRIS, J.K.; JOHNSON, K.J.; CAROTHERS, B.J.; COMBS, T.B.; LUKE, D.A.; WANG, X. Use of reproducible research practices in public health: A survey of public health analysts. PLoS ONE, v. 13, n. 9, e0202447. Disponível em: <https://doi.org/10.1371/journal.pone.0202447> Acesso em: 14 set. 2018.

[4] FAPESP. Para previnir novas crises. Pesquisa Fapesp, n. 265, março 2018. Disponível em: <http://revistapesquisa.fapesp.br/2018/03/20/para-prevenir-novas-crises/> Acesso em: 14 maio 2018.

[5] FAPESP. Boas Práticas: Uma rede para reproduzir experimentos. Pesquisa Fapesp, n. 267, maio 2018. Disponível em: <http://revistapesquisa.fapesp.br/2018/05/17/uma-rede-para-reproduzir-experimentos/> Acesso em: 27 set. 2018.

Como citar este post [ABNT/NBR 6023/2002]:

DUDZIAK, E.A. Crise na Ciência ou Crise na Reprodutibilidade de Pesquisas? São Paulo: SIBiUSP, 2018. Disponível em: <https://www.aguia.usp.br/?p=28441> Acesso em: DD mês. AAAA.