Perguntas com a tag "hive"

1

Ramo de Explodir e extrair um valor a partir de uma Seqüência de caracteres

Gente, eu estou tentando extrair valor de 'status' de baixo, a seqüência de(nome da coluna: pessoas) no ramo. O problema é que a coluna não é nem um completo JSON nem armazenada como uma Matriz. Eu tentei fazer parecer um JSON substituindo '= com':'...
0

Talend ' tSqoopExport componente Problema

Eu estou usando o tSqoopExport componente para carregar dados de Seção de banco de dados Oracle com o modo de linha de comando. Quando eu executar o Talend 'de trabalho, MapReduce trabalho não é de começar a executar e não logs de Erro mostrados no ...
0

Criação de Tabela EXTERNA no Ramo de Azure Blob com credenciais

Temos muito poucos contas de armazenamento em s3 e, agora, em wasb (azure blob). Eu fornecer access e secret teclas s3 quando eu EXTERNAL TABLE, como abaixo. CREATE EXTERNAL TABLE IF NOT EXISTS Table_S3 ( col1 string, col2 ...
0

Ramo de tabela não é capaz de criar em cima de Sqoop impot

Eu era capaz de importar os dados do MySQL para o HDFS. Mas ao tentar criar a mesma tabela com o mesmo sqoop comando importar, ela não funciona e dá-o abaixo erro. Meu Sqoop Comando: sqoop import --connect jdbc:mysql://localhost:3306/customer --use...
0

Howe para calcular a média ponderada do preço ter várias categorias e subcategorias?

Eu quero calculada a média ponderada do preço em SQL para cada nível i.e. L0,L1 e L2. Atualmente, eu só sei a fórmula para o cálculo geral ponderada avg = sum(preço*unidades)/soma(unidades). SELECT COALESCE((price*units)/units, 0) AS price_we...
3

Usando ramo de metadados externos, em faísca

Eu tenho o meu metastore no mysql externo criado utilizando ramo de metastore. Meu metadados da tabela em mysql externo. Eu gostaria de ligar este ao meu faísca e criar dataframe usando os metadados de forma que todas as informações de coluna é preen...
0

pyspark com o Hive, acrescentar irá adicionar a partição existente e dados duplicados

Atualmente, estou trabalhando com a api do google adwords e eu, para o processo 1, 7 e 30 dias de dados. Assim, a centelha de trabalho é fundamental, carga de csv e gravá-lo para com piso em parquet e uma partição: df.write .mode("append") .form...
0

falta de valores caso em dbeaver de exportação de dados

portanto, há essa consulta, conforme mencionado abaixo, que m em execução no ramo de utilizar dbeaver . select bt.id, bt.`common_key`,bt.entry_type, case when d.`common_key` is null and us.common_key is null and p.common_key is null ...
0

Não é possível atualizar/adicionar/excluir usuários ao grupo em Ranger

Nós temos uma exigência para adicionar/atualizar/excluir um usuário a um grupo no ranger através da API rest. Eu vejo que existem API rest disponíveis usando o id de utilizador, mas não através do nome de usuário. Existe alguma forma podemos fazer i...
0

Unpivot: Conversão de colunas para linhas dinamicamente usando o Spark ou Ramo de

Existe uma maneira de criar dinâmicas coluna ao ingressar em uma relação um-para-muitos tabelas e trazer o filho de tabela para tabela pai da granularidade? Por exemplo: tabela pai tem Identificação 1 & 2. Tabela filho tem 2 registro de Id=1 e 3...
0

Como obter o nome do cluster Hadoop dentro de um ramo de consulta?

Como obter o nome da HDInsight cluster dentro de um ramo de consulta? Por alguma razão, eu quero ser capaz de acessar esta dentro de um ramo de consulta (basicamente uma tez de trabalho).
0

Carregar ramo de registo de dados OpenCSVSerde comentário de controle

Como produzir o problema: Criar uma tabela de usar o ramo de criar SQL, tais como: create table `db`.`table`( `field1` string, `field2` string, `field3` string ) row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde'; Carreg...
0

Ramo: selecione a consulta de várias tabelas para arquivo(s)

Estou ciente de como a saída de uma consulta a tabela para um arquivo, como em: hive -e 'set hive.cli.print.header=true; select * from <table_name> limit 100' | sed 's/[\t]/,/g' > /path/to/file/select_query.csv O problema é que eu precis...
4

Junte-se três tabelas com base em uma chave, colocando dados na mesma coluna

Eu tenho três tabelas que eu estou tentando entrar juntos para verificar que os dados apropriados jogos. Eu tenho Uma tabela que é uma lista de todas as contas que uma comissão foi pago e o que que o montante da comissão foi. Eu tenho a Tabela B, e T...
0

Parquet de evolução do esquema estratégias

Temos uma aninhados (em vários níveis) json como em parquet esquema. O esquema é utilizado para ler o parquet, a partir de S3 usando uma tabela externa no Ramo. Agora o esquema evoluiu: temos removido e adicionado algumas colunas. Mudando de senti...
0

Como criar Ramo tabela com Azure WASB de armazenamento utilizando a conta e conta-chave?

Antes eu estava usando o AWS e leitura de dados utilizando o presto, agora mudou-se para o Azure e deseja criar a seção de tabelas usando o armazenamento de blob para contas diferentes, mas eu sou incapaz de a criar. Eu estava criando ramo de tabelas...
0

Autenticação por faísca thrift servidor

Eu comecei uma faísca de thrift servidor sem a hive. Ele funciona bem e eu posso usar o tableau de o ligar. No entanto, ele não tem qualquer tipo de autenticação e permite que qualquer utilizador e palavra-passe de início de sessão. Eu mudei "seção.s...
2

ParseException com '=' e ';'

Eu tentando selecionar alguns dados com constantes de seqüência de caracteres. Há um ParseException line 3:21 cannot recognize input near '<EOF>' depois de adicionar o '=', ';' sinais. select t.*, concat('=test;',t.id), t.other_id f...
0

Ramo: existe uma maneira de obter o conjunto de todas as colunas numéricas existentes em uma tabela?

Eu tenho uma tabela que contém mais de 50 colunas (numérico e char), existe uma maneira de obter estatísticas gerais, sem especificar cada coluna? Como um exemplo: a b c d 1 2 3 4 5 6 7 8 9 10 11 12 Eu deveria ter algo como: colum...
0

Faísca-submeter não pode se conectar ao ramo de

Eu posso ligar para a seção e acessar com êxito, tanto em faísca-shell e faísca-sql. Mas quando eu apresentar o meu programa de ignição, enviar, eu não posso ligar para ele e colméia. Ele não coincidir com as informações da seção. Eu tentei configur...
0

Não pode exportar ramo dat para o local "não pode reconhecer a entrada de perto '<EOF>' '<EOF>' '<EOF>'"

Minha consulta é insert overwrite local directory '/home/localfile' E o que é que fazer é: Error: Error while compiling statement: FAILED: ParseException line 1:48 cannot recognize input near '<EOF>' '<EOF>' '<EOF>' in statement (...
0

Pyspark em parquet tamanhos de arquivo são drasticamente diferentes

Eu uso pyspark para um processo de correcção conjunto de registros de dados em uma base diária e armazená-los como 16 parquet arquivos em um Ramo de tabela usando a data de partição. Em teoria, o número de registros de cada dia deve ser da mesma orde...
0

Loop através de Ramo ou SQL Linhas atribuindo valores em ordem decrescente

Para um ramo ou sql tabela com 5 linhas, como faço para dividir um valor = 12, e atribuí-la a linhas em ordem decrescente. Por exemplo, como mencionado na tabela a seguir, onde a soma da coluna (total) é de 12 e os valores são atribuídos em ordem dec...
0

(ramo de registo) falha ao Inserir: row_number () mais de partição com problema

Eu estou usando o ROW_NUMBER () OVER (PARTITION BY...), e tentar inserir para inserir, mas dosen'funciona: ERROR: FAILED: SemanticException Failed to breakup Windowing invocations into Groups. At least 1 group must only depend on input colum...
0

Criar uma coluna para inserir o valor para cada linha

Eu tenho uma consulta onde eu selecione os valores distintos a partir de uma tabela que é carregado a partir de um arquivo de dados todos os dias. Eu faço isso porque, às vezes, pode haver uma duplicata de transação no arquivo. Eu estou tentando para...