月度归档: 2017年8月

2 篇文章

把mysql表导入到hive的注意点
我相信很多厂有把mysql表数据增量导入hive的需求,最近我有这个需求所以把注意点分享一下。 首先,这个任务大家肯定会想到sqoop这个专门的工具,我在折腾了很久这个工具之后意识到sqoop的可定制性太差了,很多细节没法自己控制,比如: 1、如果你要对一些字段进行脱敏或者增减字段,sqoop做不到;或者你想对hive表建表做一些定制,sqoop也…
hiveserver2客户端+服务端配置教程
首先是GUI客户端: 1、参考 几个连接HiveServer的客户端界面工具 - thy822的专栏 - CSDN博客 第一个SQuirrel SQL Client客户端:https://pan.baidu.com/s/1miSLSt6 ,下载下来,那几个jar包我已经去服务器上找好了打包直接下载:https://pan.baidu.com/s/1…