Cloudera Imapala: Руководство начинающего / Cloudera Imapala: Tutorials for Getting Started: Point an Impala Table at Existing Data Files

Перенаправление таблицы Impala на существующие файлы с данными

nipman 18.07.14 в 12:47

Проще всего сделать данные доступными для Impala - это использовать внешнюю таблицу, данные которой организованны в виде файлов на HDFS. Все что нужно - это указать таблице Impala папку в которой находятся эти данные. Например, что бы создать таблицу Impala, которой доступны данные Hive достаточно выполнить посредством impala-shell .sql файл, содержимое которого приведено ниже.

nipman 18.07.14 в 12:54

Примечание
Для ранних бета версий Impala, примеры данного руководства требовали выполнения CREATE TABLE средствами Hive. Однако начиная с версии 0.7 CREATE TABLE доступен и в Impala.

nipman 18.07.14 в 13:00

Ниже приведен пример двух таблиц, привязанных к путям файлов, поставляемых с Impala Demo VM. По историческим причинам файлы размещены внутри папки /user/hive, однако эти данные находятся по управлением Impala, а не Hive. При создании внешней таблицы, мы указываем папку содержащую один или несколько файлов. При обработке запроса Impala предварительно комбинирует содержимое файлов, находящихся внутри этой папки. Проверить эти файлы можно следующим образом:

nipman 18.07.14 в 13:04

Ниже приведено содержимое SQL-скрипта customer_setup.sql:

nipman 18.07.14 в 13:05

Скрипт может быть выполнен, следующим образом:

nipman 18.07.14 в 13:06

impala-shell -i localhost -f customer_setup.sql

nipman 18.07.14 в 13:06

Примечание
В данный момент, интерпретатор impala-shell ожидает что бы каждая команда была на отдельно строке, так что при самостоятельном написать sql-файлов используйте параметр -f для запуска скрипта, либо добавляйте пустые строки перед вставкой кода в командную строку.

nipman 18.07.14 в 13:09