Kettle系列教程-第十章:对接大数据平台

Author Avatar
山小杰 7月 30, 2018
  • 在其它设备中阅读本文章

本系列教程基于Kettle 8.1(pdi-ce-8.1.0.0-365)。大部分内容同样适用于Kettle 7.x版本。
章节目录:

本章说明

Kettle是一个很强大的ETL工具,除了与传统关系型数据库对接,还可与Hadoop平台分布式存储库对接。可能你已经注意到,不管是作业还是转换,都有一个【Big Data】分组,分组下的各个组件都是与Hadoop平台做对接的。Kettle可与多种大数据平台做对接,比如CDH、HDP等。

基础文件配置

在使用【Big Data】插件之前,需要先进行一些配置。以CDH为例,首先需要准备下面这些集群配置文件:
img
然后将这些配置文件覆盖到data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh513\目录下:
img
再然后,配置一下本机的hosts文件,因为这些配置文件使用的都是hostname,不是ip地址。当然你也可以手动把这些配置文件中的hostname全部修改为ip地址:
img
上面这些配置完成后,重新打开Spoon,点击左上角工具栏 -> 工具 -> Hadoop Distribution弹出集群类型选择窗口,我们上一步配置的是CDH,所以这里选择【Cloudera CDH】,然后点击【OK】即可。
img
img

上传文件到HDFS

经过上面一小节的配置后,就可以上传文件到HDFS上了。这里使用的是作业中【Big Data】分组下的【Hadoop Copy Files】组件:
img
配置组件,【Source Environment】选择Local;【源文件/目录】用于指定要上传的文件位置,如果直接指定到了具体文件名,就只上传该文件,如果这里填写的是一个目录,则可以通过【通配符】去过滤要上传的文件;【Destination Environment】选择<Static>;【目标文件/目录】,填写HDFS上目标位置,特别要注意下图蓝底文字部分,一定要与集群配置文件core-site.xml文件中fs.defaultFS属性保持一致:
img
img
【设置】标签页,可以配置一些其他选项,根据需要配置即可:
img
配置完成后,保存,运行,查看结果:
img

连接Hive

可以把Hive当成普通的数据库去使用,比如执行DDL语句,查询语句,可以在【表输入】组件使用,但是不能在【表输出】组件中使用。
配置数据库连接如下,连接类型选择【Hadoop Hive 2】,主机地址为集群中HiveServer2服务所在主机,端口号为HiveServer2服务的运行端口。如果Hive开启了身份验证LDAP,则需要配置用户名和密码,否则不需要配置:
img
测试数据库连接:
img

本章完!
下一章:使用Windows计划任务定时执行Kettle作业