impala实操

　　impala操作环境 impala-shell kinit -kt /data/impala.keytab impala klist impala-shell
　　# 连接impala时指定impalad，-i参数指定impalad节点(可以是任意节点)，-k参数是采用kerberos认证方式登录 impala-shell -i worker-2 -k
　　实际生产环境下-i参数至关重要，如果有多个并行任务，可以通过-i参数将任务均衡分发到不同的impalad节点上  hue操作impalahue创建impala用户
　　使用impala用户登录
　　-- 执行测试   select * from test;   create table test2(id string);
　　在安全环境下需要kerberos安全认证与sentry授权，认证与授权参照kerberos+sentry实操
　　impala-shell实操 impala-shell实操与hue实操命令一致。
　　impala 基本语句与hive基本一致。  创建测试表并加载数据#-- 创建临时表 create table if not exists xinniu.tmp1(     pk string,     col1 int,     col2 boolean,     col3 timestamp,     col4 varchar ) comment ＂临时加载表＂ row format delimited fields terminated by ＂	＂ ; -- 加载数据 load data inpath ＂/user/impala/testfile＂ into table xinniu.tmp1; -- 创建parquet正式表 create table if not exists xinniu.hainiu1 stored as parquet  tblproperties (＂parquet.compress＂=＂SNAPPY＂) as  select * from xinniu.tmp1 where 1=0 ; -- 临时表加载数据到正式表 insert into table xinniu.hainiu1 select * from xinniu.tmp1;
　　数据导出#
　　impala不支持insert overwrite 的方式导出数据，需要使用-o outputpath的方式导出。 # 参数解释:-i 指定impalad节点 -k 使用kerberos认证方式 -q 查询语句(也可以使用-f sql文件的方式) -B --output_delimiter 指定输出文件分隔符 -o 输出文件 impala-shell -i worker-1 -k -q ＂select * from xinniu.hainiu1 limit 200;＂ -B --output_delimiter=＂	＂ -o /data/output.txt
　　查询语句#
　　查询语句与hive基本一致 -- 在排序语句中使用offset 即从offset位置开始输出 select * from xinniu.hainiu1 order by pk desc limit 10 offset 2;
　　union与union all#-- union去重 union all不去重  -- 查询hainiu1表，创建并插入到hainiu2表中 create table if not exists xinniu.hainiu2  as select * from xinniu.hainiu1;  -- union create table if not exists xinniu.uniontable as select * from xinniu.hainiu1 union  select * from xinniu.hainiu2; -- 验证uniontable表数量 select count(1) from xinniu.uniontable; -- union all create table if not exists xinniu.unionalltable as select * from xinniu.hainiu1 union all select * from xinniu.hainiu2;
　　日期类型#-- hive parquet格式不支持date类型，orc格式支持date类型 create table if not exists xinniu.testdatetype4hive(     pk string,     col2 date ) comment ＂test date type＂ stored as orc tblproperties (＂orc.compress＂=＂SNAPPY＂); -- impala impala不支持date类型，什么格式都不支持date类型,统一使用timestamp create table if not exists testdatetype4impala(     pk string,     col2 timestamp ) comment ＂test date type＂ stored as parquet tblproperties (＂parquet.compress＂=＂SNAPPY＂); -- 时间转换 select current_timestamp(); select from_unixtime(unix_timestamp(current_timestamp())); select unix_timestamp(current_timestamp()); select typeof(unix_timestamp(current_timestamp())); select typeof(＂yyyy-MM-dd HH＂); select from_timestamp(cast(unix_timestamp(current_timestamp()) as timestamp),＂yyyy-MM-dd＂);
　　转码函数#-- 加密 select base64encode(＂hainiu＂); -- 解密 select base64decode(＂aGFpbml1＂);
　　拼接字符串#-- concat和hive没有区别，但是concat_ws没有hive强大，在impala中concat_ws(),有null出现则结果就为null select concat(＂hello＂,＂hainiu＂); select concat_ws(＂_＂,＂hello＂,＂hainiu＂); select concat(＂hello＂,＂hainiu＂,null); select concat_ws(＂_＂,＂hello＂,＂hainiu＂,null);
　　字符串查找#-- 查找bc在abcdefg中第一次出现的位置(以1起点) select instr(＂abcdefg＂,＂bc＂);
　　元数据同步#-- 在impala中执行ddl语句之后，并非所有impalad都会立刻感知到，有三种方式可以解决： -- 在ddl语句前开启sync_ddl参数，在ddl语句结束后关闭，当前session有效，优先使用 -- 使用refresh db.tablename 表级增量刷新，第二推荐 -- 使用invalidate metadata 全量刷新，使所有impalad上缓存的元数据无效，尽量少用或者不用，一般生产上不允许使用，即使非要用也是invalidate metadata tablename的方式使用 set SYNC_DDL=true; create table xinniu.synctable(id string); set SYNC_DDL=false; refresh xinniu.synctable; invalidate metadata xinniu.synctable;
　　解决中文注释乱码问题#-- 进入mysql元库查看建表语句 show create table metastore; -- 修改数据编码为latin1 alter database metastore default character set latin1; -- 修改表、列、分区、分区键、索引编码 alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8; alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8; alter table PARTITION_PARAMS  modify column PARAM_VALUE varchar(4000) character set utf8; alter table PARTITION_KEYS  modify column PKEY_COMMENT varchar(4000) character set utf8; alter table  INDEX_PARAMS  modify column PARAM_VALUE  varchar(4000) character set utf8;
　　impala性能相关
　　impala关联操作左大右小，如果没有按照左大右小的规则写，impala会按照表统计信息进行优化，但是这么做是依赖历史表统计信息进行优化的，所以在遇到性能非常差的场景时可以从新刷一下表统计信息。
　　表统计信息的目的是叫plainner知道每张表的一些统计信息，如表大小，表结构等，便于在生成执行计划树是准确的并行下发执行计划树。  -- 刷新全表统计信息 compute stats db.tablename; -- 执行完dml语句时针对分区刷新表统计信息,此种方式只刷新了batch_date这个新增分区的信息到表统计信息中，相比compute stats效率要快 compute incremental stats db.tablename partition (pt in ($batch_date,＂＂));
　　在执行大批量任务的时候通常会有非常多任务脚本，在任务提交的时候应该轮询发送到不同的imapad节点上进行，而不应该在同一个impalad节点上执行，会导致单一impalad节点的oom，也严重影响并发性能，在执行的过程中通过-i指定impalad的节点。 impala-shell -k -i worker-1(impalad节点) -q ＂查询语句＂ 或者 -f ＂sql文件＂
　　impala执行计划解读 判断是否有表或者列统计信息#explain select straight_join t1.*  from (SELECT pk,col1,col2 from xinniu.hainiu1) t1 join (select pk,col1,col2 from xinniu.hainiu2 limit 10) t2 on t1.pk=t2.pk;
　　在hue上可以查看执行计划树，并且可以直观的看到每个环节所用的时间。
　　海汼部落原创文章，原文链接：(http://hainiubl.com/topics/75547)