Introdução ao Jornalismo Científico/Ética da Ciência/Revisão por pares/script

A validação de um conhecimento

Académie des Sciences, em 1671.

Brasão de armas da Royal Society em um vitral, com o lema Nullius in verba ("Nas palavras de ninguém").

A revisão por pares, também conhecida como sistema de arbitragem, sistema de avaliação de originais, “referee system” e “peer review”, é uma avaliação crítica de manuscritos de pesquisas. Ela não se justifica somente como uma ação rotineira realizada por periódicos científicos, mas também como parte integrante do processo de construção do conhecimento. Ao prezar pela credibilidade do conteúdo publicado, pelo cumprimento das normas de publicação estabelecidas por cada revista e pelo atendimento às normativas éticas e legais, este processo contribui com a melhora de qualidade dos periódicos (e do próprio conhecimento). A avaliação por pares não está isenta de problemas ou falhas, ela é submetida a valores, premissas e condições que a conferem certos contornos subjetivos.

O processo de revisão por pares se iniciou nas primeiras sociedades e nas academias científicas do século XVII. A partir de 1665, a Académie des Sciences de Paris e, na sequência, a Royal Society de Londres, organizaram grupos de editores com a função de revisar os manuscritos remetidos para publicação em suas revistas científicas. Apesar de antigo, esse processo, como apontado anteriormente, fundamental para o desenvolvimento científico, tem sua efetividade reavaliada periodicamente.

No ambiente científico, a notoriedade de um pesquisador está relacionada à sua produção científica. Ele é avaliado pelos artigos publicados, projetos desenvolvidos, apresentações em congressos, participações em grupos de pesquisa e demais atividades que tornem sua investigação conhecida. Entretanto, a maior visibilidade às pesquisas é dada pelos artigos publicados em periódicos de reconhecimento nacional e internacional, que são classificados segundo determinados critérios, numa lista das publicações mais significativas nas diversas áreas de conhecimento. É importante para o pesquisador conseguir que sua produção seja publicada em periódicos de alto impacto, para que ela seja, de fato, divulgada. Esses periódicos procuram manter um reconhecido padrão de qualidade científica justamente ao adotar o sistema de revisão por pares.

No presente momento, nota-se um crescimento considerável na produção de manuscritos, ao passo que a qualidade das pesquisas, nem sempre, atende às expectativas da comunidade científica. Nesse contexto, de profusão e informação, é necessário um cuidado ainda maior para garantir uma análise acurada sobre a consistência dos estudos apresentados. Um dos critérios que indica a qualidade da publicação se refere à taxa de citações: por meio da verificação do nível de interesse dos outros pesquisadores no estudo em questão, que é mensurado pelo número de citações em um período de tempo, compreende-se o fator de impacto do trabalho. Ao considerar que determinado periódico tem uma taxa de citação maior que os demais, seria possível supor que a qualidade de suas publicações é melhor. No entanto, há de se considerar que pesquisadores renomados têm interesse em publicar seus estudos em revistas também renomadas. Desse modo, os periódicos menos reconhecidos na comunidade científica têm menos oportunidades de melhorarem sua classificação Qualis, criando-se um ciclo difícil de ser quebrado.

O Qualis é um sistema brasileiro de avaliação de periódicos mantido pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), que relaciona e classifica os veículos utilizados para a divulgação da produção intelectual dos programas de pós-graduação do tipo "stricto sensu" (mestrado e doutorado), quanto ao âmbito da circulação (local, nacional ou internacional) e à qualidade (A, B, C), por área de avaliação. No que diz respeito aos modelos de avaliação por pares, basicamente existem três:

• o simples cego (single-blind), quando apenas os revisores sabem quem são os autores;
• o duplo-cego (double-blind), quando nem o autor e o avaliador são identificados; e
• a revisão aberta (open review), quando o autor sabe quem são os revisores e os revisores sabem quem são os autores.

Um estudo realizado por Vilas Boas (2017) com editores de revistas brasileiras cadastradas no Portal Brasileiro de Publicações Científicas em Acesso Aberto (oasisbr), identificou que a avaliação duplo cega é a mais utilizada e considerada a mais eficiente. Quando um manuscrito é submetido a um processo de análise por um periódico, são três os possíveis resultados desta avaliação: aceito, aceito com modificações ou rejeitado.

As possíveis falhas no processo

As qualidades no sistema de avaliação por pares são muitas, Castro (2006) as enumera da seguinte forma: detecção de erros metodológicos e de delineamento; promoção de padrões éticos de pesquisa; melhora da qualidade do relato dos dados; aprimoramento da legibilidade do texto e aperfeiçoamento da acurácia das conclusões e afirmações. Entretanto, esse mesmo sistema, em certa medida, mostra-se ineficiente em identificar erros em análises estatísticas e detectar fraudes.

O gráfico mostra como a revisão por pares avaliou artigos sobre mudança climática.

Em seu estudo, Triggle e Triggle discutem alguns dos aspectos relativos à integridade da ciência na atualidade e quais as suas implicações no processo de revisão por pares. Os autores chamam atenção para o plágio, sabotagem, conflitos de interesse, financiamentos de periódicos por empresas interessadas em vender seus produtos e ressaltam a responsabilidade dos revisores frente a esse contexto.

Além desses apontamentos, outras críticas estão relacionadas ao tempo gasto no processo, ao cerceamento da liberdade do leitor de fazer sua crítica completa e pessoal, ao inevitável viés dos revisores e à falta de transparência.

A revisão aberta

Segundo investigação realizada por Mulligan, Hall e Raphael, a revisão aberta é considerada efetiva por 20% dos pesquisadores entrevistados, pois: [...] assegura comentários honestos e menos corrosivos do que na revisão simples ou duplo-cego, envolvendo revisor e autor em um debate científico frutífero. Os que se opõem acreditam que ela encoraja revisores a ser pouco críticos, pode excluir revisores jovens e dá ao autor a oportunidade de influenciar o revisor.

Conforme apontado pelo Council of Science Editors (CSE), o conhecimento dos nomes dos pareceristas pode torná-los objetos de animosidade ou comportamento vingativo e, consequentemente, os pareceristas podem tornar-se menos críticos e imparciais. Isso também pode ocorrer no sistema com mascaramento parcial, sobretudo em algumas especialidades nas quais os pesquisadores conseguem descobrir facilmente quem fez a avaliação.

Protesto em apoio ao financiamento de pesquisas sobre mudanças climáticas. Foto tirada em Berlin, em 2017.

Por outro lado, de acordo com o estudo de Snell e Spencer, 74% de 221 revisores consultados afirmam que a qualidade das revisões seria aprimorada se, na publicação, houvesse menção dos revisores do manuscrito. Acredita-se que, além de responsabilizar o revisor, esta estratégia funcionaria como estímulo e reconhecimento ao trabalho dos revisores.

As revistas que adotam o sistema aberto estão dispersas entre 23 países, sendo o Reino Unido responsável pela publicação de 88 títulos. Destaca-se que esse número está estreitamente relacionado ao publisher BioMed Central (BMC), que agrega a maioria das revistas identificadas na pesquisa. Outros editores como o Taylor & Francis Group e HighWire Press também aparecem como publicadores de revistas que adotam o sistema aberto. Os Estados Unidos aparecem com oito revistas, a Alemanha com cinco, a Espanha com quatro, o Brasil com três títulos e a Holanda e a România possuem dois títulos cada um. As revistas brasileiras são: Journal of Human Growth and Development, Revista Outubro e Projetos e Dissertações em Sistemas de Informação e Gestão do Conhecimento.

A investigação de Oliveira (2018) se orienta no sentido de identificar quais dessas revistas que adotam o sistema de revisão aberto estão em acesso aberto indexadas no Directory of Open Access Journals (DOAJ). São identificados os periódicos que adotam o sistema de revisão aberta por pares; os países de origem dessas publicações; os idiomas das revistas; os seus editores; e as áreas de cobertura.

Atualmente, o DOAJ, principal plataforma de registro de revistas em acesso aberto, possui 11643 revistas indexadas, em diferentes áreas do conhecimento, publicadas em 28 países. Seu objetivo principal é aumentar a visibilidade e acessibilidade das revistas de acesso aberto, revisadas por pares. O Brasil é o terceiro país com o maior número de indexados no Diretório, representado por 1264 (11%) revistas, depois do Reino Unido (1395) e Indonésia (1362).

A rejeição dos artigos

Uma revisora do American National Institutes of Health avalia uma proposta de financiamento.

A pesquisa de Job et al. tem como objetivo conhecer os motivos que levam um manuscrito a ser rejeitado. Para isso, foram analisados 191 pareceres referentes a um período entre 1997 e 2007 e divididos 1.030 itens em 77 motivos e sete categorias. Os achados mostram que o motivo que justifica a maior parte dos artigos recusados decorre de problemas metodológicos, totalizando 51,36% dos casos. Na sequência estão: a falta de aprofundamento teórico, 19,22%, o não seguimento das normas das revistas, 11,94%, problemas relativos à redação, 10,19%, falta de originalidade, 3,11%, problemas relacionados ao objeto ou instrumento de estudo, 2,62% e problemas éticos, 1,55%. A seguir serão detalhadas essas categorias.

Ética

Alguns tópicos desta categoria que podem levar à rejeição de um artigo são: texto de caráter ideologizado; emissão de opiniões, falta de distanciamento crítico para análise proposta; falta de objetividade a falta de informação sobre termo de consentimento informado e a aprovação pelo comitê de ética.

Objetos ou instrumentos de estudo

Uma amostra restrita para a coleta de dados ou o uso de apenas um instrumento para essa coleta podem justificar a rejeição de um artigo.

Retrato de Georges Cuvier (1769-1832).

Originalidade

As normas para publicação na revista exigem que o manuscrito seja original, no sentido de que não tenha sido apresentado em outra revista e que se constitua num texto relevante para a área. O que o avaliador observa ao apreciar o texto é se a ideia se desenvolve com originalidade e concisão.

Redação do manuscrito

Nesta categoria, estão relacionados os problemas observados pelos avaliadores que se relacionam à forma do manuscrito, à clareza e, de modo geral, à comunicação da mensagem que o autor pretende transmitir. Esses variam desde erros de redação, digitação, ortografia, concordância verbal e gramática até parágrafos sem conclusão, linguagem telegráfica, pobreza no estilo e na escrita. Além disso, a ocorrência de parágrafos repetitivos, uso excessivo de perguntas e expressões imprecisas (“talvez” e “será”) comprometem o artigo.

Normalização

Trata-se de um conjunto de regras que visam à qualidade e precisão dos aspectos da comunicação cientifica e que impactam no desenvolvimento lógico do texto. São considerados tópicos como a formatação do artigo, o atendimento às normas do periódico, a citação correta dos autores, a divisão adequada das seções e uso apropriado de notas de rodapé.

Aprofundamento teórico

Nesta categoria os avaliadores observam o embasamento teórico referente ao tema da pesquisa. Ao elaborar o texto, o autor demonstra o que leu e aprendeu sobre o assunto, descrevendo seu referencial com base nos autores lidos. Os avaliadores também procuram observar o diálogo que o autor promove entre os teóricos incluídos no manuscrito e a coerência no uso das teorias selecionadas. 

Metodologia científica

Esta é a categoria de análise mais ampla, além de contemplar os métodos utilizados e descritos pelo autor, é um termo utilizado para designar também todo o trabalho científico. Apesar de esta categoria de análise ser considerada problemática, dado que seus limites podem invadir algumas das outras descritas anteriormente, sua utilização é justificada porque por vezes os motivos apontados de fato comprometem a metodologia utilizada no trabalho. Alguns dos pontos que podem resultar em uma avaliação negativa são: enfoque metodológico superficial; falta de profundidade nas discussões; conteúdo confuso; suporte bibliográfico reduzido; carência de dados empíricos para sustentar a discussão; e conclusões frágeis.