A Associação Européia de Universidades (EUA) apresentou as conclusões de um estudo publicado hoje (22 de outubro de 2019) sobre “Avaliação da pesquisa na transição para a ciência aberta” – Research Assessment in the Transition to Open Science [1].

O relatório contém os resultados da pesquisa da EUA em 2019 sobre avaliação da pesquisa, acesso aberto e ciência aberta. Pela primeira vez, reúne e compartilha uma visão abrangente das abordagens de avaliação de pesquisa de 260 universidades europeias. Também explora por que e como as instituições estão revisando suas práticas de avaliação e tem como objetivo informar e fortalecer a discussão. Esta matéria é uma tradução livre com pontos destacados da obra.

“A avaliação da pesquisa é uma ferramenta poderosa para tornar realidade a transição para a Ciência Aberta. Tornar as práticas de avaliação mais precisas, transparentes e responsáveis ​​permitirá que as universidades estabeleçam as melhores práticas e trabalhem juntas para a nossa comunidade acadêmica ”, observou o vice-presidente da EUA, Paul Boyle.

Novo relatório identifica cinco descobertas principais

– as instituições se concentram na publicação dos resultados da pesquisa e na atração de financiamento externo em suas estruturas de incentivo e recompensa nas carreiras de pesquisa;

– as universidades contam com um conjunto limitado de práticas de avaliação para carreiras de pesquisa, voltadas principalmente para a avaliação de publicações de pesquisa;

– outros indicadores são menos difundidos e freqüentemente também menos desenvolvidos;

– as universidades se consideram amplamente autônomas quando se trata de desenvolver e implementar abordagens de avaliação de pesquisa;

– as universidades também estão profundamente cientes das influências externas que moldam suas abordagens à avaliação da pesquisa.

Objetivos da Associação Européia de Universidades (EUA)

No momento, a Associação Européia de Universidades (EUA), que representa 800 universidades em 48 países, trabalha em quatro prioridades relacionadas à transição para a Ciência Aberta.

1º) Promove políticas institucionais e europeias de acesso aberto para publicações e dados de pesquisa. Pesquisas mostraram que em 2018, 62% das universidades europeias possuíam uma política de acesso aberto para publicações de pesquisa, e apenas 13% possuíam uma política de acesso aberto para dados de pesquisa.

2º) Trabalha para alcançar mais transparência e maior sustentabilidade no sistema de publicações acadêmicas. Um exercício de mapeamento de 2018 mostrou que pelo menos 1,025 bilhões de euros são gastos todos os anos em grandes acordos com editores acadêmicos.

3º) Contribui para o desenvolvimento e implementação da infraestrutura de Ciência Aberta. É parceira de um projeto europeu para tornar os dados de pesquisa Localizáveis, Acessíveis, Interoperáveis e Reutilizáveis (FAIR) no âmbito da European Open Science Cloud (EOSC), e em ajudar as universidades a criar uma cultura de pesquisa FAIR.

4º) Aumenta a conscientização e ajuda as universidades a revisar sua abordagem de avaliação de pesquisas em direção à transição para a ciência aberta.

Metodologia adotada na pesquisa

A pesquisa consistiu em 20 perguntas baseadas na experiência do Grupo de Especialistas de Ciência 2.0 da EUA, que desenvolveu consultas anteriores sobre o Acesso Aberto na universidade. Foi incluída uma combinação de perguntas abertas, de classificação, de múltipla escolha e única escolha, cobrindo uma variedade de tópicos relacionados ao estado atual da avaliação da pesquisa nas universidades europeias, bem como por que e como as instituições estão revisando suas práticas de avaliação.

As perguntas sobre os procedimentos atuais de avaliação de pesquisa foram divididas em três seções, cobrindo três objetivos principais da avaliação da pesquisa universitária: (a) carreiras de pesquisa, (b) avaliação do desempenho da unidade de pesquisa e (c) alocação de recursos para pesquisa dentro da instituição.

De 26 de março de 2019 a 21 de junho de 2019, a pesquisa foi disponibilizada às universidades europeias, por meio da ferramenta Qualtrics [2]. Convites para participar da pesquisa foram enviados por diversos canais de comunicação: e-mails para membros e parceiros dos EUA, Conselhos de Reitores, promoção em eventos da EUA e nas mídias sociais. Apenas uma resposta foi aceita por instituição.

As conclusões deste relatório são baseadas em 260 respostas válidas de universidades em 32 países europeus. 

Resultados

Os resultados da pesquisa indicam que a grande maioria das instituições respondentes considera como atividades mais importantes na avaliação da carreira do pesquisador: (a) as publicações científicas e as métricas quantitativas de publicação, (b) capacidade de atrair investimentos externos, (c) o impacto da pesquisa e a transferência de conhecimento,  (d) as colaborações em pesquisa na academia, (e) as atividades de supervisão de pesquisa, (f) as atividades de ensino, (g) colaborações em pesquisa fora da academia, entre outros. O acesso aberto e a ciência aberta não são considerados elementos de grande importância. 

As principais métricas de publicação usadas para carreiras de pesquisa são apresentadas abaixo.

As altmetrics, embora em menor escala, também foram mencionadas na avaliação da carreira de pesquisa, principalmente para medir o alcance social.

Em relação aos indicadores de Acesso e Ciência Aberta, os resultados mostram um número considerável de universidades que relatam políticas e infra-estruturas de acesso aberto (ex. Repositórios), bem como o monitoramento de acesso aberto em nível da instituição. Isso se refere predominantemente às publicações, pois dados científicos foram mencionados apenas ocasionalmente. Os resultados indicam que as políticas de Acesso e Ciência Aberta ainda não foram transpostas para as estruturas de incentivo e recompensa das universidades.

Em resumo, as instituições respondentes indicaram que confiam em um conjunto limitado de práticas de avaliação, principalmente voltado para a avaliação de publicações de pesquisa. Métricas quantitativas de publicação, notadamente o fator de impacto da revista e o índice H, além da revisão qualitativa por pares são as práticas mais importantes na avaliação dos pesquisadores e sua produção. Outros métodos são menos difundidos e freqüentemente também menos desenvolvidos como, por exemplo, indicadores de Acesso e Ciência Aberta, geralmente monitorados apenas em nível institucional.

Quando questionados sobre que políticas e diretrizes de acesso e ciência aberta seguiam, tais como San Francisco Declaration on Research Assessment (DORA), Leiden Manifesto for Research Metrics e The Metric Tide, a maior parte dos respondentes declarou que segue diretrizes institucionais e governamentais.

Em resumo, as instituições respondentes geralmente reconhecem a influência dos governos e outras universidades como modelos para sua abordagem em relação à avaliação da pesquisa.

Praticamente todas as instituições respondentes estão revisando sua abordagem de avaliação da pesquisa. A maioria das instituições respondentes indicaram que incentivarão e recompensarão uma gama mais ampla de atividades no futuro. A publicação de pesquisas e a captação de recursos externos são constantemente mencionadas e provavelmente permanecerão como atividades importantes. Impacto da pesquisa e transferência de conhecimento, além do Acesso Aberto e Ciência Aberta são mencionados como indicadores que serão considerados no futuro.

Enquanto a grande maioria dos entrevistados está adotando abordagens que são comumente consideradas mais precisas, transparentes e responsáveis, um pequeno número de universidades indicou que pretendia
fazer maior uso de métricas de publicação, como o Journal Impact Factor.

As instituições respondentes admitem que há uma grande variedade de pressões externas e drivers catalisando a revisão de suas abordagens de avaliação da pesquisa. Embora haja influência de atores e condições externas, os resultados mostram que as universidades estão procurando adotar práticas de avaliação que sejam mais capazes de incentivar e recompensar mudanças que estejam de acordo com os objetivos institucionais.

Principais barreiras e dificuldades apontadas para rever abordagens de avaliação de carreira e pesquisas incluem: complexidade das reformas de avaliação, falta de capacidade institucional, resistência por parte dos pesquisadores, preocupações com custos crescentes, para citar alguns.

Os resultados da pesquisa mostram que revisar abordagens de avaliação da pesquisa é uma responsabilidade compartilhada e requer orquestrar a união dos principais atores. Internamente, é necessário diálogo entre pesquisadores, equipe de apoio à pesquisa e liderança da universidade.

Externamente, requer envolvimento de universidades e seus principais parceiros, principalmente governos e organizações de fomento à pesquisa, trabalhando juntos no desenvolvimento e na implementação de práticas de avaliação mais precisas, transparentes e responsáveis.

== Referência e Nota ==

[1] SAENEN, Bregt; MORAES, Rita; GAILLARD, Vinciane; DAMIÁN, Lidia-Borrell. Research Assessment in the Transition to Open Science 2019 EUA Open Science and Access Survey Results. Brussels: European University Association, 2019. Disponível em: https://eua.eu/resources/publications/888:research-assessment-in-the-transition-to-open-science.html Acesso em: 22 out. 2019.

[2] Qualtrics – https://www.qualtrics.com – é uma ferramenta de pesquisa baseada em nuvem que possibilita criar e distribuir pesquisas, visualizar relatórios, tabular e analisar respostas.

================================================

2019 Agência USP de Gestão da Informação Acadêmica – AGUIA