Essa pre-release compreende a implementação dos PRs 675, 795 e 847.
As mudanças proveniente de cada um dos PRs são descritas a seguir.
Changelog
PR 675
Adiciona módulo `metadata.py` com as modificações e funções descritas a seguir.
Elas estão disponíveis tanto a partir da importação do módulo e da classe `Metadata` via script ou notebook, tanto como a partir do cliente CLI `basedosdados`.
Baixar metadados do CKAN e converter para YAML: `Metadata.create`
1. Permite baixar metadados de um dataset/tabela do CKAN, construindo um `dataset/table_config.yaml` a partir deles
2. Permite criar um arquivo `dataset/table_config.yaml` estruturado e sem valores preenchidos para novos datasets e tabelas
Garantir que usuário não esteja subindo metadados mais antigos do que os atuais: `Metadata.is_updated`
1. Permite comparar a versão do YAML local com a versão dos metadados do CKAN, indicando se os metadados locais correspondem à versão mais atualizada.
Validar se metadado está dentro dos padrões: `Metadata.validate`
1. Indica, a partir das APIs do CKAN, quais campos do YAML estão preenchidos de forma inadequada.
2. Indica o padrão correto a ser seguido no preenchimento dos dados.
Subir metadado para o CKAN: `Metadata.publish`
1. Permite subir os metadados locais preenchidos no YAML para o CKAN.
Integração com `Table`
1. `Table.create` usa `Metadata.create` para gerar o `dataset/table_config.yaml`
PR 795
* Upload para o Google Storage permite novos `modes`: `header`, `auxiliary_files` e `architecture`
* Agora `table_approve.py` faz o download das 20 primeiras linhas da table e adiciona na pasta `header` do Google Storage
PR 847
* Introduz o parâmetro `use_bqstorage_api` nas funções de requisição de dados para acelerar o download