Comunicação Científica na Web e na América Latina: Entrevista com Isidro Aguillo

ISIDRO

Reconhecido como autoridade internacional nas questões relacionadas à bibliometria, cientometria e webometria, Isidro Aguillo concedeu entrevista (por e-mail) à equipe do Sistema Integrado de Bibliotecas da USP (SIBiUSP), onde compartilhou alguns de seus pontos de vista sobre a visibilidade acadêmica e científica na web, impacto da ciência e o futuro da comunicação científica. Antes, saiba um pouco mais sobre esse importante pesquisador, suas atividades e projetos.

Nascido Isidro Francisco Aguillo Caño em La Rioja, Espanha em 1963, licenciou-se em Biologia com especialização em Zoologia, é mestre em Informação e Documentação, diplomado em Estudios Avanzados (DEA), detentor de dois títulos Doctor Honoris Causa. É membro regular de comissões científicas de conferências e revistas científicas, autor de numerosas publicações sobre os processos de comunicação científica e indicadores web de desenvolvimento da ciência e da tecnologia, quase que diariamente compartilha suas opiniões no Twitter

aguillo

Editor do Rankings Web de Universidades – Webometrics, responsável pelo Laboratorio de Cibermetria (Grupo Scimago) do Instituto de Bienes y Políticas Públicas (IPP – CSIC), dedica-se também a projetos como o OpenAIRE – de repositórios da Comissão Européia, ACUMEN – portfolio de indicadores científicos para indivíduos do VII Programa Marco de Inovação e Desenvolvimento da União Européia (UE); QEAVIS (Seção eHumanidades); Redes de Colaboración (Visibilidade Web) e PRACTIS 2008 (Tecnometría de CC SS e HH) do Plano Nacional de Inovação e Desenvolvimento da Red de Excelencia MA2VICMR da Comunidade de Madrid, Espanha. Ornitólogo aficionado, já fez várias viagens de observação de aves, da Floresta Amazônica aos desertos da Namíbia, entre outros destinos. Sua lista inclui mais de 2.000 espécies. Em 2012, foi um dos palestrantes convidados pelo SIBiUSP para o Simpósio Internacional sobre Rankings Universitários e Impacto Acadêmico na Era do Acesso Aberto, em São Paulo, Brasil, que reuniu especialistas internacionais e possibilitou a discussão em torno do impacto gerado pela produção científica e os indicadores de qualidade institucionais. Confira a entrevista. 

SIBiUSP: Você é pesquisador do Cybermetrics Lab, ligado à Agencia Estatal Consejo Superior de Investigaciones Científicas (CSIC). Conte-nos um pouco sobre este laboratório e seu papel na estrutura de Ciência e Tecnologia (C&T) da Espanha.

Isidro Aguillo: O Cybermetrics Lab é um grupo de pesquisa pertencente ao CSIC, o mais importante organismo de pesquisa pública da Espanha e um dos maiores da Europa. Nossa principal missão é estudar a comunicação científica na Web, publicando artigos e relatórios sobre esse tema em nível local e global, mas com um forte interesse na América Latina [LATAM]. Também acolhemos doutorandos e visitantes de pós-doutorado, e estamos envolvidos em projetos da União Europeia (UE).

SIBiUSP: O Cybermetrics Lab desenvolveu e mantém ferramentas de avaliação, como o Webometrics Ranking, o Ranking Web de Repositórios e, mais recentemente, a lista de Autores com h> 100 segundo seu perfil no Google Scholar Citations1 .

     – De que maneira essas ferramentas são distintas de outras disponíveis?

Isidro Aguillo: A diferença mais óbvia é que estamos usando indicadores da web, sozinhos ou combinados com dados bibliométricos. Mas há também uma agenda “política”, pois decidimos cobrir todos os países em nossa análise, não apenas os desenvolvidos. Nossas listas de instituições possuem mais de 40.000 entradas, enquanto o número de indivíduos classificados é provavelmente perto de 200.000, com uma cobertura completa dos países latino-americanos [LATAM].

SIBiUSP: O Google Scholar é uma fonte de dados confiável?

Isidro Aguillo: Verificando a literatura disponível sobre este banco de dados, a maioria dos estudiosos concorda que é tão confiável como WoS ou Scopus, mas com uma cobertura que é várias vezes maior e considerando que é de livre acesso, eu acho que deveria ser a opção preferida para os países latino-americanos. Claro, existem problemas, como os indicadores de revistas científicas do Google Scholar Metrics que, na minha opinião, são demasiado tendenciosos para serem úteis.

SIBiUSP: Qual é a real importância dos rankings universitários?

Isidro Aguillo: Para nós, tem sido uma ferramenta poderosa para promover iniciativas de acesso aberto, que foi (e ainda é) o objetivo original dos Rankings Web. Outros editores de rankings têm outras agendas com fortes vieses políticos e comerciais e há até charlatões sem qualquer conhecimento real sobre o ensino superior e sobre as universidades. Mas no final há uma grande sobreposição entre os melhores desempenhos dos principais rankings, por isso há poucas dúvidas sobre quais são as melhores universidades de acordo com determinado modelo – as chamadas universidades intensivas em pesquisa. No entanto, as instituições que seguem outros modelos, como as universidades nacionais, que são tão importantes na América Latina, não são adequadamente reconhecidas nos rankings ARWU [Academic Ranking of World Universities], THE [Times Higher Education World University Rankings] ou o QS [Quacquarelli Symonds World University Rankings].

SIBiUSP: Muitos pesquisadores consideram as Ciências Humanas periféricas no campo das ciências. Isso se deve às diferentes dinâmicas de produção de conhecimento, que dificultam a mensuração pelos padrões atuais de avaliação científica.

    – Neste sentido, que alternativas teríamos para demonstrar o potencial desta área e quais os indicadores que poderiam ser utilizados?

Isidro Aguillo: Discordo fortemente dessa afirmação. Como mostra o Google Scholar, as contribuições das Humanidades não são apenas relevantes, mas têm um impacto independente dos canais de publicação. A bibliometria fácil realizada por estudiosos com a base de dados WoS é realmente errada em muitas disciplinas devido aos grandes vieses e lacunas das bases de dados “tradicionais”.

SIBiUSP: Tendo em conta que os atuais modelos de avaliação científica tendem a enfatizar as citações em vez dos resultados reais, uma alternativa a esta questão seria medir o impacto das pesquisas científicas na sociedade. Desta forma, como poderíamos medir o impacto social?

Isidro Aguillo: Em primeiro lugar, acho que as citações ainda têm um papel importante nos processos de avaliação e não devem ser descartadas. No entanto, elas devem ser utilizadas em combinação com métodos qualitativos como o Manifesto de Leiden recomenda. Os indicadores altmetrics2 podem ser úteis também, mas eu acho que os atuais indicadores disponíveis estão realmente longe de medir verdadeiro impacto social. Os bibliotecários passaram por alto de outra disciplina de métricas que deve ser explorada em profundidade para tal propósito: Econometria. Como método, não apenas como forma de incorporar fontes de dados econômicos.

SIBiUSP: Em sua recente apresentação, você destacou a importância dos perfis de autores, instituições e grupos de pesquisa, que representam uma mudança de paradigma na ciência e na comunicação científica.

Isidro Aguillo: Devemos abandonar as métricas baseadas em revistas que não são úteis e são muito enganosas para os processos de avaliação, um grave erro comum na América Latina. O perfil é o futuro e a marca digital do pesquisador se tornará cada vez mais importante, por isso novas estratégias de comunicação devem ser desenvolvidas, especialmente aquelas que envolvem redes sociais.

SIBiUSP: Neste cenário, como fica a revisão por pares, elemento fundamental da validação da qualidade da pesquisa? E o que acontece com o papel do marketing? Poderá desvirtuar a avaliação da qualidade da ciência?

Isidro Aguillo: Tenho sérias dúvidas sobre o papel da revista tradicional como a principal unidade de comunicação científica. O esforço deve ser no sentido de fortalecer os artigos individuais, e a revisão por pares aberta é uma boa opção para identificar e filtrar a qualidade. Existem vários modelos que podem ser aplicados, mas minhas preferências vão para um híbrido de revisão por pares pré e pós-aberta.

Desde o passado o prestígio tem sido um motor para a mobilidade acadêmica, e é um fator chave para explicar o sucesso das instituições anglo-saxônicas. Até muito recentemente este recurso intangível era construído de uma forma muito opaca, mas agora a marca digital de cada pesquisador oferece uma maneira mais acessível e transparente para construí-lo, embora a confiabilidade dos métodos de marketing possa ser um problema.

SIBiUSP: Tendo em conta este pano de fundo, qual seria o futuro da publicação científica? Estaremos publicando em revistas como fazemos hoje?

Isidro Aguillo:  Acho que o grande problema da ciência latino-americana é a inflação de revistas científicas. Redalyc, Scielo, Latindex e PKP [Public Knowledge Project] devem repensar seriamente suas políticas, pois promovem um enorme aumento de periódicos medíocres. Também na América Latina não há diretórios de assunto ou megajournals que deveriam ter um papel na transição para um cenário sem revistas. Também me preocupa o foco atual dos repositórios latino-americanos em teses e dissertações e artigos em revistas locais. Outra questão que necessita de mais debate é a preferência dos repositórios / coletores de conteúdo nacionais relativamente aos repositórios institucionais. Para minha surpresa um grande número de repositórios institucionais na América Latina coletam principalmente teses e dissertações (Doutorado e Mestrado). Parece que muitas universidades pensam que apenas teses são de acesso aberto ou talvez publiquem poucos artigos em revistas não-locais.

SIBiUSP: Como você vê o crescimento das recentes métricas alternativas na avaliação da pesquisa e dos pesquisadores?

Isidro Aguillo: Há muitos artigos na América Latina descrevendo muito acriticamente o movimento altmetrics2. Há muita ênfase nas métricas de uso que podem ser muito enganosas sem fixação de padrões, e os indicadores fornecidos por serviços como ResearchGate, Academia ou Mendeley de forma alguma substituem a análise de citação (provavelmente tais indicadores sejam um subconjunto da análise de citação); e o indicador composto oferecido pela [empresa] Altmetric.com é uma caixa preta, e ninguém sabe exatamente o que o Twittermetrics está realmente medindo.

SIBiUSP: Na sua opinião, qual é a importância da Ciência Aberta? Ela é realmente viável ou será “destruída” pelos interesses comerciais? Como vê as ameaças ao acesso aberto?

Isidro Aguillo: Cada um dos componentes da Ciência Aberta (incluindo até mesmo a Ciência do Cidadão – Citizen Science) já está sendo alvo de interesses comerciais. Os bibliotecários estão contribuindo com a aquisição ou suporte de ferramentas comerciais e serviços com condições desvantajosas ​​(nada de novo nisso, uma vez que as condições de assinaturas digitais já são bastante abusivas). Em minha opinião, para evitar problemas, a Ciência Aberta deve ser fortemente apoiada por governos envolvendo um vigoroso financiamento público de infraestruturas e ferramentas.

SIBiUSP: Qual é o papel das bibliotecas e bibliotecários no atual cenário de mudança da avaliação científica?

Isidro Aguillo: Na Europa, os bibliotecários acadêmicos já constituem o maior grupo bibliométrico existente, mas ainda há muitos problemas – muitos deles não conhecem o Manifesto de Leiden, por exemplo. Na América Latina temos iniciativas equivocadas como a bibliografia do Redalyc, outras com viabilidade futura incerta como o acordo Scielo-WoS, e em geral a maioria de seus bibliotecários ainda não estão assumindo um papel bibliométrico. Se posso dar um conselho, sugiro-lhes o modelo CRIS [Current Research Information System], evitando produtos comerciais como PURE e analisando serviços como o FUTUR (da Universidade Politécnica da Catalunha).

Notas:

1. h = índice h, mede a produtividade e o impacto individual de cientistas através do número de publicações e suas citações. Saiba mais em: https://pt.wikipedia.org/wiki/%C3%8Dndice_h.

2. Indicadores altmetrics = medidas de indicadores alternativos (em português: altmetria) baseadas no uso e nas menções nas mídias sociais. Saiba mais em: https://bsf.org.br/2014/07/15/altmetrics-redes-sociais-como-metricas-alternativas-para-medir-o-impacto-cientifico/.

Contato:

email-icon-100 isidro.aguillo@csic.es    twitter_thumb @isidroaguillo

== English version ==
Scientific Communication on the Web and in Latin America: Interview with Isidro Aguillo 

Recognized as an international authority on issues related to bibliometrics, scientometrics and webometrics, Isidro Aguillo gave an interview (by e-mail) to the team of the Integrated Library System of USP (SIBiUSP), where he shared some of his points of view on academic and The impact of science and the future of scientific communication. Before, know a little more about this important researcher, his activities and projects.

Born Isidro Francisco Aguillo Caño in La Rioja, Spain in 1963, he has a degree in Biology with a specialization in Zoology, a Master in Information and Documentation, a Diploma in Advanced Studies (DEA), holder of two Doctor Honoris Causa degrees. He is a regular member of scientific commissions of conferences and scientific journals, author of numerous publications on the processes of scientific communication and web indicators of development of science and technology, almost daily he shares his opinions on Twitter.

Editor of the Web Rankings of Universities – Webometrics, responsible for the Laboratory of Cybermetrics (Grupo Scimago) of the Institute of Public Goods and Policies (IPP – CSIC), is also dedicated to projects such as OpenAIRE – from European Commission repositories, ACUMEN – portfolio Of scientific indicators for individuals of the VII Framework Program for Innovation and Development of the European Union (EU); QEAVIS (Section eHumanities); Redes de Colaboración (Web Visibility) and PRACTIS 2008 (Tecnometría de CC SS and HH) of the National Plan for Innovation and Development of the Network of Excellence MA2VICMR of the Community of Madrid, Spain. Amateur ornithologist, he has already made several trips of bird watching, from the Amazon Forest to the deserts of Namibia, among other destinations. His list includes more than 2,000 species. In 2012, he was one of the speakers invited by SIBiUSP to the International Symposium on University Rankings and Academic Impact in the Open Access Era, in São Paulo, Brazil, which brought together international experts and made it possible to discuss the impact of scientific production and institutional quality indicators. Check the interview.

SIBiUSP: You are a researcher at Cybermetrics Lab, CSIC. Tell us a little bit about this lab and its role in Spain’s S&T structure.

Isidro Aguillo:  The Cybermetrics Lab is a research group belonging to CSIC (Spanish Research Council), the most important public research body in Spain and one of the largest in Europe. Our primary mission is to study the scholarly communication in the Web, publishing papers and reports on this topic at local and global level but with a strong interest in Latin America [LATAM]. We also host doctoral students and post-doctoral visitors and we are involved in EU projects.

SIBiUSP: Cybermetrics Lab has developed and maintains evaluation tools, such as the Webometrics Ranking, the Ranking Web of Repositories, and, more recently, the list of Authors with h> 100 according to their Google Scholar Citations Profile1    

     – In what ways are these tools distinct from others that are available?

Isidro Aguillo: The most obvious difference is that we are using web indicators, alone or combined with bibliometric data. But there is also a “political” agenda, as we decided to cover all the countries in our analysis, not only the developed ones. Our lists of institutions are over 40,000 entries, while the number of individuals ranked is probably close to 200,000, with a full coverage of LATAM countries.

SIBiUSP: Is Google Scholar a reliable data source?

Isidro Aguillo:  Checking literature available about this database, most scholars agree that is as reliable as WoS [Web of Science] or Scopus, but with a coverage that is several times larger and considering that it is free access, I think it should be the preferred option for LATAM countries. Of course, there are problems, such as the journal indicators in Google Scholar Metrics that in my opinion are too strongly size biased to be useful.

SIBiUSP: What is the real importance of the university rankings?

Isidro Aguillo: For us it has been a powerful tool for promoting open access initiatives, that was (and still it is) the original aim of the Web Rankings. Others rankings editors have another agendas with strong political and commercial biases and there are even charlatans without any real knowledge about  higher education and universities. But at the end there is a large overlap of the top performers among the main rankings, so there is little doubt about which are the best universities according to certain model, the so-called research-intensive universities. However, the institutions following other models like the nation-building universities, that are so important in LATAM, are not adequately recognized in ARWU [Academic Ranking of World Universities], THE [Times Higher Education World University Rankings] ou  QS [Quacquarelli Symmonds World University Rankings].

SIBiUSP: Many researchers consider the subject of Human Sciences peripheral in the sciences field. This is due to its different dynamics of producing knowledge, which make it difficult to measure by the current standards of scientific evaluation.

    – In this sense, what alternatives would we have to demonstrate the potential of this area and what indicators could be used?

Isidro Aguillo: I strongly disagree with that sentence. As Google Scholar is showing, the contributions by Humanities are not only relevant but having an impact independently of their publication channels. Easy bibliometrics done by WoS-centered scholars is really wrong about a lot of disciplines due to the large biases and gaps of the “traditional” databases.

SIBiUSP: Taking into account that current models of scientific evaluation tend to emphasize citations rather than actual results, an alternative to this question would be to measure the impact of research on society. In this way, how could we measure social Impact?

Isidro Aguillo: First of all, I think citations still have an important role in the evaluation processes and they should not be discarded. Nevertheless they should be used in combination with qualitative methods as Leiden Manifesto recommends. Altmetrics indicators 2 can be useful too, but I think the current ones are really far from measuring true societal impact. Librarians have overlooked another metrics discipline that should be explored in depth for such purpose: Econometrics. As a method, not only as a way of incorporating economic data sources.

SIBiUSP: In your recent presentation, you highlighted the importance of the profiles of authors, institutions and research groups, which represent a paradigm shift in science and scientific communication.

Isidro Aguillo: We should abandon journal-level metrics that are not useful and very misleading for evaluation processes, a serious mistake common in LATAM. Profiling is the future and branding will become more and more important, so new communication strategies should be developed, especially those involving social networks.

SIBiUSP: In this scenario, does the peer review, fundamental element of research quality validation, need to change? Also, what about the role of marketing? Can it distort the evaluation of the quality of science?

Isidro Aguillo: I have serious doubts about the role of traditional journal as the main unit of scholarly communication. Effort should be done for enriching individual papers and open peer review is a good option for identifying and filtering quality.  There are several models that can be applied but my preferences go to an hybrid one with both pre- and post- open peer review.

Prestige has been a motor for scholar mobility in the past, a key factor for explaining the success of Anglo-saxon institutions. Till very recently this intangible resource was built in a very opaque way, but now the digital branding offers a more more affordable and transparent way to build it, although reliability of marketing methods are going to be an issue.

SIBiUSP: Taking into account this backdrop, what would be the future of scientific publication? Will we still be publishing in journals as we do today?

Isidro Aguillo: I think major problem of LATAM science is the inflation of journals. Redalyc, Scielo, Latindex e PKP [Public Knowledge Project] should rethink seriously their policies that are promoting a huge increase of mediocre journals. Also in LATAM there is no subject directories or megajournals that should have a role in the transition to a journal-less scenario. I also concerned about the current focus of LATAM repositories in thesis and dissertations and papers in local journals.  Another issue that needs more debate is the preference of national repositories/harvesters regarding the institutional repositories. To my surprise a large number of institutional repositories in LATAM are collecting mostly thesis (MS and doctoral). It looks that many universities think that only thesis are OA [Open Access] or perhaps they publish few papers in non-local journals.

SIBiUSP: How do you see the growth of recent alternative metrics in the evaluation of research and researchers?

Isidro Aguillo: There is a lot of papers in LATAM describing very uncritically the altmetrics movement. There is a lot of emphasis on usage metrics that can be very misleading without fixing standards, the indicators by RG [ResearchGate], Academia or Mendeley are in no way substitutes  to citation analysis (probably they are a subset of it), the Altmetric.com composite indicator is a black box and nobody knows exactly what twittermetrics is really measuring.

SIBiUSP: In your opinion, what is the importance of Open Science? Is it really viable or will it be “destroyed” by commercial interests? How do you see open access threats?

Isidro Aguillo: Each one of the components of the Open Science (including even Citizen Science) is already being the target of commercial interests. Librarians are even contributing by acquiring or supporting commercial tools and services with nasty conditions (nothing new otherwise, as the digital subscriptions conditions are already abusive enough).  In my opinion for avoiding problems the Open Science should be strongly supported by governments involving strong public funding of infrastructures and tools.

SIBiUSP: What is the role of libraries and librarians in the current changing scenario of scientific evaluation?

Isidro Aguillo: In Europe the academic librarians constitutes already the largest bibliometric group, but there are still a lot of problems, as for example not many of them knows about the Leiden Manifesto. In LATAM we have misguided initiatives like Redalyc bibliometrics, other with not clear future feasibility like the Scielo-WoS agreement, and in general most of its librarians are not assuming that bibliometric roles yet. If I can give an advice I will suggest to them the CRIS [Current Research Information System] model, avoiding commercial products like PURE and analyzing services like FUTUR (Technical University of Catalunya).

Notes:

1. h: h-index, it measures the productivity and individual impact of scientists through the number of publications and their citations. Learn more at: https://en.wikipedia.org/wiki/H-index .

2. Altmetrics indicators: alternative indicators metrics  based on use and mentions in social media. Learn more at: https://en.wikipedia.org/wiki/Altmetrics.

Contact:

email-icon-100 isidro.aguillo@csic.es    twitter_thumb @isidroaguillo