JAVA高级面试进阶训练营视频教程

admin

今天下午有同事反馈她提交了了一个SQL后，hive 查询就停止响应了。

我看了下，发现hiveserver确实hug住了。听过查看日志，发现了一个牛逼的SQL，
这个SQL很简单：

select
    a.column1,
    b.column2
from
    a
left join
    b
on a.id = b.id

这两张表都是很大的表，保存了好多年的数据，表b按照日期和类目进行了分区。
因为没有加限制，所以HiveMetaStore在获取分区的时候，会从mysql中获取这个表所有的分区信息，SQL如下：

select "PARTITIONS"."PART_ID", "SDS"."SD_ID", "SDS"."CD_ID",
"SERDES"."SERDE_ID", "PARTITIONS"."CREATE_TIME",
"PARTITIONS"."LAST_ACCESS_TIME", "SDS"."INPUT_FORMAT",
"SDS"."IS_COMPRESSED", "SDS"."IS_STOREDASSUBDIRECTORIES",
"SDS"."LOCATION", "SDS"."NUM_BUCKETS", "SDS"."OUTPUT_FORMAT",
"SERDES"."NAME", "SERDES"."SLIB" from "PARTITIONS"  left outer join
"SDS" on "PARTITIONS"."SD_ID" = "SDS"."SD_ID"   left outer join
"SERDES" on "SDS"."SERDE_ID" = "SERDES"."SERDE_ID" 
where "PART_ID" in (8881686,8881687,8881688,8881689,8881690,8881691,8881692,8881693,
8881694,8881695,8881696,8881697,8881698,8881699,8881700,8881701,
8881702,8881703,8881704,8881705,8881706,8881707,8881708,8881709,
8881710,8881711,8881712,8881713,8881714,8881715,8881716,8881717,
8881718,8881719,8881720,8881721,8881722,8881723,8881724,8881725,
8881726,8881727,8881728,8881729,8881730,888173,
.........
.........
.........
,33429217,33429218) order by "PART_NAME" asc".

解释下里面的表：

• SDS ： 保存了每个表的分区的输入、输出格式、CD_ID 和SERDE_ID
• PARTITIONS ： 保存了分区的信息，包括名字，创建时间，最后访问时间，通过CD_ID和SDS表进行关联
• SERDES ： 保存了每个分区对应的序列化和反序列化的类名

上面的PART_ID从8881686 到 33429218，一共有2千多万，直接导致mysql抛出了异常，

com.mysql.jdbc.PacketTooBigException: Packet for query is too large
(1299572 > 1048576). You can change this value on the server by setting
the max_allowed_packet' variable.

解决办法就是重新设置max_allowed_packet的大小，并且在上面的sql中添加分区的限制。

后续还要看看问什么这个异常会导致后面的任务都无法提交到hiveserver了。

参考：
[1] http://blog.csdn.net/loseinworld/article/details/6856261
[2] http://blog.csdn.net/dabokele/article/details/51647332