Perguntas com a tag "partition"

1

Como exportar BigQuery partições para o GC usando o Fluxo de ar

Eu preciso criar um Fluxo de trabalho que exporta as partições em que o BigQuery tabela para GCS entre o determinado intervalo de _PARTITIONDATE. Eu preciso de partições para ser em arquivo separado, com a data de partições. Como posso conseguir isso...
0

faísca estruturado de streaming de arquivos de origem de leitura a partir de uma determinada partição a partir de

Eu tenho uma pasta no HDFS, como abaixo contém ORC arquivos: /path/to/my_folder Ele contém partições: /path/to/my_folder/dt=20190101 /path/to/my_folder/dt=20190103 /path/to/my_folder/dt=20190103 ... Agora eu preciso para processar os dados aqui...