大数据开发工程师Hive（Hive如何进行优化）

　　1数据存储及压缩优化
　　针对hive中表的存储格式通常有textfile和orc，压缩格式一般使用snappy。相比于 textfile格式存储，orc占有更少的存储。因为hive底层使用MR计算架构，数据流是hdfs到磁盘再到hdfs，而且会有很多次IO读写操作，所以使用orc数据格式和snappy压缩策略可以降低IO读写，还能降低网络传输量，这样在一定程度上可以节省存储空间，还能提升hql的执行效率；
　　2 Hive Job优化
　　①　调节Jvm参数，重用Jvm；
　　②　合理设置Map个数；
　　③　合理设置Reduce个数；
　　3 Sql语法优化
　　① 建表优化：
　　1) Hive创建表的时候，可以建分区表，分桶表；
　　2) Hive创建表的时候，可以指定数据存储格式：TextFile、SequenceFile、RCfile 、ORCfile；
　　② 查询时优化：
　　1) 列裁剪，在查询时只读取需要的列，避免全列扫描，不要使用select * from table；
　　2) 分区裁剪：在查询时只读取需要分区的数据，避免全表扫描；
　　3) 开启谓词下推：set hive.optimize.ppd = true，默认是true：
　　a. 将Sql语句中的where谓词逻辑都尽可能提前执行，减少下游处理的数据量；
　　4) 大表join小表：
　　a. 开启MapJoin：set hive.auto.convert.join=true：
　　b. MapJoin是将Join双方比较小的那个表直接分发到各个Map进程的内存中，在 Map进程中进行Join操作，这样就不用进行Reduce步骤 ，从而提高了速度(大表left join小表才有效 ，小表left join大表会失效)；
　　5) 大表join大表：
　　a. SMB Join ：Sort Merge Bucket Join(数据不仅分桶了，而且每个桶数据是排好序了)；
　　b. 开启SMB Join之后，底层是根据两个表join字段进行分桶存储，这样的话，两张表就变为了基于桶之间join关联查询，而不是基于整张表的join，减少了笛卡尔积；
　　6) 少用in，用left semi join替代in：
　　a. 原始写法：select a.id, a.name from a where a.id in (select b.id from b)；
　　b. 用join改写：select a.id, a.name from a join b on a.id = b.id；
　　c. left semi join改写：select a.id, a.name from a left semi join  b on a.id = b.id；
　　7) 用union all代替union，因为union all不需要去重，也不需要排序，效率高于union；
　　(每天1小题，进步1点点)