重庆分公司,新征程启航

为企业提供网站建设、域名注册、服务器等服务

Hive的技巧命令有哪些

这篇文章给大家分享的是有关Hive的技巧命令有哪些的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。

成都网站制作、成都网站设计中从网站色彩、结构布局、栏目设置、关键词群组等细微处着手,突出企业的产品/服务/品牌,帮助企业锁定精准用户,提高在线咨询和转化,使成都网站营销成为有效果、有回报的无锡营销推广。创新互联公司专业成都网站建设十余年了,客户满意度97.8%,欢迎成都创新互联客户联系。

•desc extended/formatted table;可以查看更详细的表信息,例如:数据存储路径、字段分隔符等。区别是formatted 是格式化后的信息,更方便阅读。

•set hive.fetch.task.conversion=more;  或者  hive --hiveconf hive.fetch.task.conversion=more  可以做一些不启动mapreduce job的查询。

•add file ${path}/a.py;add file ${path}/b.py;可以简写为:add file ${path}/a.py ${path}/b.py;(以空格隔开)。

•SELECT uid,COALESCE(sex,0) FROM TABLE; 将sex字段值为NULL的转换为0,方便0、1化处理。

•可以通过ALTER TABLE table_name SET SERDEPROPERTIES('serialization.null.format'='');修改空值描述符。

•Hive自带函数collect_set返回的array分隔符是\x02。

•show tables '*a*'; 用正则方式筛选表名包含a的表。

•concat_ws(',', collect_set(channel)) 实现行转列,select col1, myCol2 from lateralview LATERAL VIEW explode(split(col2,',')) myTable1 as myCol2; 实现列转行,如果需要添加where条件 需要放在as 别名之后。

•hive查询导出数据的时候也可以指定分隔符:FIELDS TERMINATED BY '\t'。

•hive- 0.12.0.tar.gz\hive-0.12.0\src\ql\src\java\org\apache\hadoop\hive\ql\udf    hive自带UDF的源代码路径。

•设置你提交job的优先级队列:SET mapreduce.job.queuename=default。

•set hive.exec.parallel参数控制在同一个sql中没有依赖的job是否可以同时运行(hive.exec.parallel,hive.exec.parallel.thread.number)。

•UNIQUEJOIN:select .. from JOIN TABLES (A,B,C) WITH KEYS (A.key, B.key, C.key) where ....

感谢各位的阅读!关于“Hive的技巧命令有哪些”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!


名称栏目:Hive的技巧命令有哪些
当前URL:http://cqcxhl.cn/article/jspsis.html

其他资讯

在线咨询
服务热线
服务热线:028-86922220
TOP