Discussão:OpenLattes

Real Dificuldade Da Totalidade Dos CVs

Texto

No Tópico Sprint 8-nov-2014 , No SubTópico Censo , Ou Totalidade Dos CVs Diz :

A criação de uma base de dados em paralelo (disponibilizada utilizando torrent, por exemplo) para análise necessitaria baixar todos os CVs utilizando o ScriptLattes (SL). O SL faz uso de uma lista de IDs na URL para extrair os dados <lattes.cnpq.br/0246540741711761>. No entanto o Lattes não faz uso de IDs sequenciais.

O esforço para baixar os CVs teria que ser "bruto" passando por todos os números sequencialmente, descartando os CVs vazios, ou

Modificação do script para identificar um retorno "vazio" e ignorar o CV.

Em ambos os casos seria demorado e poderíamos encontrar um DOS dos servidores do CNPq.

Comentário

Criar A Sequência De Números Para Ser Usada Para Baixar Os CVs Não É Algo Que Possa Ser Considerado Esforço Bruto . Eu Faço Isso Facilmente Por Planilhas . Uso Frequentemente O Excel Online E O LibreOffice Calc Para Construir Meus Códigos De Programação .

Apagar Os CVs Vazios Também É Relativamente Simples , Com Acesso Ao Banco De Dados Dos CVs Baixados Ordenamos Por Tamanho E Excluímos Todos Os Com Tamanho De Um CV Vazio . Notar O Tamanho De Um CV Vazio É Relativamente Simples Já Que Os CVs Com Dados Costumam Ser Bem Grandes Em Comparação Com Os Vazios . Se Houver Complicações Como CVs Vazios Com Diferentes Tamanhos , Podemos Excluir Todos Os Com Tamanho Menor Do Que Um Certo Limite Máximo , Descoberto Após Ordenar Os CVs Por Ordem De Tamanho . Se Haver Outros Arquivos Na Pasta E Correrem O Risco De Serem Excluídos FazSe Uma Pasta Apenas Para Os CVs .

O Esforço Mesmo É Para Baixar Os CVs . Mas Isso Podemos Fazer Pelo Navegador Aplicando Script Na Página Principal Do Lattes . Só Não Sei Como Construir Esse Script Pois Não Conheço A Linguagem De Programação Usada . E Para Facilitar PodeSe Construir O Script Em Uma Planilha Usando Os Códigos Da Planilha Para Facilitar A Criação Do Imenso Script . Pois Acredito Que Será Sim , Um Imenso Script . Podemos Rodar O Script Pelas Ferramentas De Desenvolvedor Do Navegador . A Lógica É Bem Simples , Se Podemos Tirar Um CV Por Vez Através Do Navegador Do Site Temos Que Isso É Feito Por Um Código Criado Automaticamente Pelo Navegador E Rodado Para Enviar O Pedido De Informações Ao Servidor Do Lattes , Assim Podemos Empilhar Vários Códigos Para De Pedido De CV , Um Para Cada Possível ID E RodaLos , No Navegador , Todos De Uma Vez , Ou Melhor , Por Partes , Já Que Varrer Milhares E Até Milhões De Dados Deve Demorar Um Pouco Se Não Se Usa Um SuperComputador Com Um SuperInternet .

Assinado . Alexandro Gon San . 19h02min de 8 de novembro de 2014 (UTC) .

Obrigado pelos comentários.

— o comentário precedente por Tamiel (discussão • contrib.) não foi assinado. _{Alexandro Gon San}