No começo de julho de 2016, a USP sediou pela primeira vez o Encontro Brasileiro de Bibliometria e Cientometria (EBBC), organizado pelo Programa de Pós-Graduação em Ciência da Informação da Escola de Comunicações e Artes (PPGCI-ECA-USP). Entre os palestrantes internacionais constava o Dr. Ismael Ràfols, analista de política científica no Ingenio – Instituto de Gestão da Inovação e do Conhecimento, um instituto de pesquisa parceiro do Conselho Superior de Pesquisa da Espanha (Consejo Superior de Investigaciones Científicas – CSIC) e da Universidade Politécnica de Valência (UPV), e pesquisador da Unidade de Política Científica (Science Policy Research Unit – SPRU) da Universidade de Sussex, no Reino Unido. O Dr. Ismael concedeu esta entrevista ao Sistema Integrado de Bibliotecas da USP (SIBiUSP), comentando alguns tópicos relacionados a uma avaliação mais inclusiva e judiciosa da produção científica. Confira:

SIBiUSP: Sua palestra no EBBC intitulada “Capturando a investigação invisível: por indicadores mais inclusivos de Ciência e Tecnologia”, versou sobre indicadores. Fale-nos um pouco sobre esse assunto.

Ismael Ràfols: Minha apresentação no EBBC discutiu o fato bem conhecido que as bases de dados bibliométricas convencionais de Ciência e Tecnologia [C&T], tais como a Web of Science e a Scopus, cobrem apenas uma pequena parte das publicações científicas. Uma vez que parte das publicações não está incluída nestas bases de dados, as medidas e indicadores que derivam dessas bases são tendenciosos. Normalmente, a cobertura de países menores ou mais pobres é inferior – por exemplo, Índia e China têm uma cobertura menor do que os EUA. Mas temáticas que são importantes para os países em desenvolvimento também têm uma cobertura inferior. Por exemplo, a pesquisa sobre o arroz abordando as características do desenvolvimento de plantas (que é importante em contextos locais) tem uma cobertura inferior à pesquisa sobre o arroz na biologia molecular (pode importar para os transgênicos). Existem diferentes tipos de espaços “periféricos” em termos de baixa cobertura das bases de dados: geográficas, cognitivas (por exemplo humanidades), sociais (por exemplo, gênero dos pesquisadores), linguísticas (por exemplo, idiomas diferentes do Inglês), setoriais (por exemplo, tecnologia de baixa complexidade)

.

Nesta apresentação, sugerimos que a falta de cobertura é tanto um problema técnico – que pode ser melhorado através da melhoria dos indicadores pelos pesquisadores em bibliometria –, e um problema político – o que exige o reconhecimento por parte dos gestores de que certos tipos de pesquisa considerada marginal são importantes. É por isso que propomos que precisamos de uma agenda para métricas mais inclusivas.

SIBiUSP: Como tem sido a repercussão do Manifesto de Leiden? Quais mudanças podem ser observadas na avaliação da pesquisa?

Ismael Ràfols: Desde a publicação do Manifesto Leiden em Abril de 2015, sabemos por comentários nas mídias sociais que muitos profissionais têm levado em consideração os dez princípios do Manifesto ao usar indicadores de C&T. Algumas organizações, como a Thomson-Reuters tem refletido abertamente sobre o uso e abuso de indicadores.

No entanto, não vimos uma mudança séria nas práticas de avaliação – no Brasil ou em Espanha, as publicações individuais ainda são avaliados formalmente com base em rankings de revistas, o que contradiz o Manifesto. Parece que o Manifesto não é suficiente para perceber as limitações dos indicadores e acontecer a mudança. Temos de transformar as práticas atuais de avaliação para processos que sejam mais sensíveis à natureza contextual das contribuições científicas para que os princípios do Manifesto sejam realmente implementados.

SIBiUSP: O que é impacto social da pesquisa? E como podemos mensurá-lo?

Ismael Ràfols: Por “impacto social” entendemos a contribuição da pesquisa às esferas sociais e econômicas. O termo “impacto” é enganoso, uma vez que transmite a impressão de um efeito linear da pesquisa para a sociedade. Muitos estudos tem estabelecido que as influências entre a pesquisa e a sociedade acontecem em ambos os sentidos, e em muitas formas e canais diferentes. É por isso que quantificar a contribuição social da pesquisa é extremamente difícil – mesmo do ponto de vista dos estudos especulativos. Em vez de medir o resultado das contribuições, acredito que faz mais sentido tentar medir as interações entre o meio académico e agentes da sociedade civil – que são os canais através dos quais a contribuição social é mais provável de acontecer. Isto é o que projetos como o SIAMPI ou o ASIRPA propõem.

4. SIBiUSP: Como define portfolio de pesquisa e qual a relação com o impacto social?

Ismael Ràfols: O portfolio de pesquisa é esse conjunto de temas ou projetos de pesquisa que uma organização ou agência de financiamento apoia. Normalmente, as organizações são mais fortes ou colocam mais ênfase em um campo científico do que em outro -, observando simultaneamente toda a pesquisa de uma organização, um portfólio de pesquisa ajuda a refletir sobre quais são as prioridades reais da organização. Este exercício de reflexão ajuda a repensar o alinhamento (ou falta dele) entre as missões de uma organização e suas prioridades de pesquisa. No caso de organizações com uma missão social, tais como a extensão agrícola ou de saúde, facilita a consciência crítica sobre as suas contribuições sociais. Esta reflexão é importante por pelo menos duas razões.

Primeiro, porque pensar em termos de portfólio de pesquisa ajuda a diversificar as agendas de investigação. Dada a incerteza da ciência, é mais sensato distribuir recursos para diferentes métodos de resolução de um problema ao invés de assumir que os gerentes podem adivinhar qual caminho investigação será bem sucedido. Em segundo lugar, porque tipos diferentes de soluções tem implicações socioeconômicas diferentes: não é a mesma coisa fazer a pesquisa sobre obesidade visando uma solução farmacêutica (um medicamento) do que com o objetivo de uma solução de estilo de vida (esporte ou dieta). Diferentes partes interessadas irão favorecer soluções diferentes – e portfólios são um método para debater as prioridades atuais e a possível redistribuição dos recursos, dependendo da avaliação relativa das agendas alternativas.

Embora a abordagem de portfólio não seja muito comum, algumas análises de política científica tais como a de Daniel Sarewitz ou a da revista Nature (em editorial), acreditam que essa abordagem é um instrumento que tem potencial para apoiar a ciência na tentativa de “ajudar a fazer do mundo um lugar melhor.”

== Informações Adicionais e Publicações ==

Ismael Ràfols (Ingenio – CSIC-UPV): http://www.ingenio.upv.es/en/Ismael-Rafols

Dr. Ismael coordenará esse ano a Conferência Internacional de Indicadores em Ciência e Tecnologia:

21st International Conference on Science and Technology Indicators
14 a 16 de Setembro – Valência/Espanha

English version

1. SIBiUSP: Your lecture at the EBBC event was titled “Capturing the invisible research: For more inclusive indicators of science and technology.” Tell us a little about this subject.

Ismael Ràfols:  My presentation in EBBC discussed the well-known fact that conventional S&T bibliometric databases such as Web of Science and Scopus, only cover a small part of scientific publications. Since part of the publications are not included in these databases, the measures and indicators that we derive from these databases are biased. Typically, the coverage of smaller or poorer countries is lower – e.g.  India and China have a lower coverage than the US. But also, topics that matter for developing countries have a lower coverage. For example, rice research on increasing plant characteristics (which is important in local contexts) has a lower coverage than rice research on molecular biology (which may matter for transgenics). There are different types of ‘peripheral’ spaces in terms of poor coverage: geographical, cognitive (e.g. humanities), social (e.g. gender), linguistic (e.g. non-English), sectoral (e.g. low technologies).

In this presentation, we suggest that the lack of coverage is both a technical problem –which can be improved by bibliometricians by making better indicators–, and a political problem – which requires the recognition by managers that certain types of research at the margins are important. This is why we propose that we need an agenda toward more inclusive metrics.

2. SIBiUSP: What has been the impact of the Leiden Manifesto? What changes can be observed in the research evaluation?

Ismael Ràfols: We know from comments in social media since we published The Leiden Manifesto in April 2015, that many practitioners have taken into consideration the ten principles of the Manifesto when using S&T indicators. Some organisations such as Thomson-Reuters have openly reflected on the use and misuse of indicators.

However, we have not seen a serious change in evaluation practices – in Brazil or in Spain, individual publications are still formally assessed on the basis of journal rankings, which contradicts the Manifesto. It seems that it is not enough to realise the limitations of indicators to see change. We need to transform current evaluation practices toward processes that are more sensitive to the contextual nature of the scientific contributions in order for the principles of the Manifesto to be actually implemented.

3. SIBiUSP: What is the social impact of research? How can we measure it?

Ismael Ràfols: By ‘social impact’ we mean the contribution of research to social and economic spheres. The term ‘impact’ is misleading since it conveys the impression of a linear effect from research to society. Many studies have settled that the influences between research and society happen in both directions, and in many different forms and channels. This is why quantifying the societal contribution of research is extremely difficult – even from the point of view of speculative studies. Rather than measuring the outcome of the contributions, I believe that it makes more sense to try to measure the interactions between academia and societal stakeholders – which are the channels through which the societal contribution is more likely to happen. This is what projects such as SIAMPI or ASIRPA have proposed.

4. SIBiUSP: How do you define a research portfolio and what is its relationship to the social impact of research?

Ismael Ràfols: A research portfolio is that ensemble of research topics or projects that an organisation or funding agency supports. Typically, organisations are stronger or put more emphasis in one scientific field than another — by looking at all the research of an organisation at the same time, a research portfolio helps reflect what the actual priorities of an organisation are. This reflection exercise helps to to rethink the alignment (or lack of thereof) between the missions of one organisation and its research priorities. In the case of organisations with a social mission, such as agricultural extension or health, it facilitates critical awareness on their social contributions. Such reflection is important for at least two reasons.

First, because thinking in terms of research portfolio helps to diversify research agendas. Given the uncertainty of science, it is wiser to distribute resources to different methods of solving a problem, rather than assuming that managers can guess which research avenue will be successful. Second, because different types of solutions have different socio-economic implications: it is not the same to do research on obesity aiming at a pharmaceutical solution (a pill) than aiming at a life-style solution (sport or diet). Different stakeholders will favour different solutions – portfolios are a method to debate current priorities and possible redistribution of resources depending on the relative valuation of the alternative agendas.

Although the portfolio approach is not very et common, some policy analyst such as Daniel Sarewitz or a Nature editorial, believe that it is a potentially an instrument that can support in science in trying “to help to make the world a better place.”