Utilizador:Solstag/Sistemas, informação e a confiabilidade do conhecimento científico-acadêmico
Ale Abdo
<abdo@member.fsf.org>
5ª Semana de Sistemas de Informação
EACH - USP
20-08-2015
Dados, código e austeridade editar
"Does High Public Debt Consistently Stifle Economic Growth? A Critique of Reinhart and Rogoff"
por Thomas Herndon, Michael Ash, Robert Pollin (UMASS)
Assunto: Dívida/GDP
Original: Growth in a Time of Debt, por Reinhart e Rogoff (Harvard), publicado no American Economic Review (AER)
Resultado original:
Países com relação Dívida/GDP maior que 90% tem queda brusca no crescimento do GDP
Consequência: Políticos e economistas basearam-se no trabalho para defender políticas de austeridade
Problemas:
- Erros no código
- Exclusão seletiva de dados disponíveis e lacunas nos dados
- Pesos não convencionais nas estatísticas resumidas
Resultado corrigido:
Países com relação Dívida/GDP maior que 90% tem pouca queda no crescimento do GDP, não é claro se é causa ou consequência, varia muito entre países e épocas, e nos anos recentes esse padrão aparece levemente invertido, com esses países apresentando crescimento igual ou levemente maior.
Journal tem política de acesso a dados, mas não foi seguida para esse artigo.
Agravante: uso de Excel - fácil de provocar erros (conflui visualização e estrutura de dados), difícil de acompanhar modificações
Dados, código e parasitas editar
"Scientists Are Hoarding Data And It’s Ruining Medical Research"
por Ben Goldacre
Assunto: benefícios do tratamento de parasitas intestinais
Original: Worms: Identifying Impacts on Education and Health in the Presence of Treatment Externalities
Resultado original:
Tratar os parasitas melhora vários aspectos da saúde, performance escolar e presença escolar das crianças
Consequência: OMS promoveu aplicação massiva de tratamento ao redor do mundo, "deworm everybody"
Problemas:
- Lacunas nos dados
- Erros no cálculo da significância
- Erros primários no código das análises
Resultado corrigido:
Apenas o peso das crianças melhora significativamente. Todas as outras características permanecem inalteradas.
Atenção: o estudo original não era melhor nem pior que a média e foi até um marco de boas práticas por promover testes aleatorizados
Enfim? editar
Esses não eram estudos ruins, eles seguem o que ainda é considerado boa prática em muitas áreas.
Em ambos os casos, as correções ocorreram após os autores fazerem circular os dados e instrumentos da pesquisa.
Proliferação de resultados irreprodutíveis, seja por uma queda nos padrões admissíveis, seja por incentivos perversos, seja pela complexidade dos problemas atuais (Retraction Watch).
A confiabilidade da ciência depende do compartilhamento de dados e instrumentos, para além da publicação.
Compartilhamento viabiliza o estudo e a replicação, permitindo criticar e aprimorar trabalhos. Isso está na base do método científico.
Sistemas de informação científica precisam atender a esses pressupostos.
Meios editar
Dados científicos abertos: CC0, Re3Data
E para além de dados e software?
Sistematização dos processos de descoberta editar
ClinicalTrials.gov editar
Likelihood of Null Effects of Large NHLBI Clinical Trials Has Increased over Time
Implementado em 2000, provável causa de uma queda de 57% para 8% dos estudos demonstrando benefícios no resultado primário.
BioBoxes.org editar
Facilita a reproducibilidade de análises publicando o ambiente de pesquisa como uma máquina virtual.
The Aquarium editar
http://klavinslab.org/aquarium.html
Especificando protocolos experimentais a ponto de permitir um técnico realizar todo o experimento sem participação do pesquisador.