Cloudera Imapala: Руководство начинающего / Cloudera Imapala: Tutorials for Getting Started: Switching Back and Forth Between Impala and Hive

Возвращение от Impala к Hive

nipman 19.07.14 в 10:36

Иногда, возникает необходимость использовать командную строку Hive для загрузки или передачи или изменения данных. Из Impala доступны для чтения такие форматы файлов как RCFile, SequenceFile и Avro Impala. Запись в этих форматах не поддерживается.

nipman 19.07.14 в 10:40

После выполнения операций удалении или изменения таблицы средствами Hive, у вас есть возможность выполнив в командной строке INVALIDATE METADATA заставить Impala перечитать измененные данные объекта.

nipman 19.07.14 в 10:43

При выполнении load, insert или change средствами Hive (или даже вручную через команды HDFS), в командной строке Impala достаточно выполнить REFRESH имя_таблицы для того что бы Impala были опознаны изменения.

nipman 19.07.14 в 10:46

Что бы понять как работает REFRESH, посмотрите на пример создания таблиц RCFile и SequenceFile средствами impala, загруженных через Hive а затем опрошенных через Impala. Обратите внимание на использование RCFile и SequenceFile таблиц Impala.

nipman 19.07.14 в 10:59

Что бы понять как работает INVALIDATE METADATA , посмотрите на пример создания и заполнения таблицы Avro средствами Hive, а затем опрошенных через Impala. Обратите внимание на использование Avro таблиц Impala.

nipman 19.07.14 в 11:01

Примечание. До версии Impala 1.2 пользовательские операции не поддерживались. Некоторые INSERT ... SELECT функции изначально доступные только в Hive теперь могут быть выполнены и средствами Implala. См Пользовательские функции (UDFs).

nipman 19.07.14 в 11:06

В версиях предшествовавших Impala 1.2 операции REFRESH и INVALIDATE METADATA нужно было выполнять на каждой их нод. Начиная с 1.2 при выполнении на одной из нод, результат распространяется на все ноды кластера, упрощая процесс обновления данных после выполнения DDL и ETL операций средствами Hive до одного шага.

nipman 19.07.14 в 11:10