1月 06 2019
Categories: 杂记 Tags: 杂记, 随笔

又一年过去了。 博客概况距离建站... ...

12月 01 2018
Categories: 大数据 Tags: CDH, Linux, 大数据

本文是在CentOS7.5下进行CDH6集群的完全离线部署。CDH5集群与CDH6集群的部署区别比较大,关于CDH5集群的部署请移步: ...

12月 01 2018
Categories: 大数据 Tags: CDH, Linux, 大数据

这篇文章是安装CDH6集群之前的环境准备部分。基于CentOS 7.x,其他类型Linux请参考CDH官方文档进行配置。 ...

12月 01 2018
Categories: Linux Tags: CentOS, MySQL

MySQL5.7的RPM安装方式与MySQL5.6的安装方式略有不同。由于安装CDH6需要MySQL5.7,故这篇文章就来介绍一下CentOS7下安装MySQL5.7的操作流程。 ... ...

11月 30 2018
Categories: 大数据 Tags: CDH, 大数据

本文内容是参照CDH官方文档来写的,主要是对CDH6集群主机操作系统层面上的一些性能参数调优,不包含CDH组件的参数调优(比如MR、YARN等)。 本文所有配置内容基... ...

8月 07 2018
Categories: Kettle Tags: Hadoop, Kettle

其实在Kettle系列教程中第十章【... ...

8月 01 2018
Categories: Kettle Tags: Kettle

本文介绍了如何使用Kettle实现循环执行某个流程操作。注意:本流程在Kettle 7.1版本下可以正常运行,但是在Kettle 8.1版本下无法正常运行,【执行体】步骤【表输入】... ...

7月 30 2018
Categories: Kettle Tags: Kettle

本系列教程基于Kettle 8.1(pdi-ce-8.1.0.0-365)。大部分内容同样适用于Kettle 7.x版本。章节目录: 一、 ...

7月 30 2018
Categories: Kettle Tags: Kettle

本系列教程基于Kettle 8.1(pdi-ce-8.1.0.0-365)。大部分内容同样适用于Kettle 7.x版本。章节目录: 一、 ...

7月 30 2018
Categories: Kettle Tags: Kettle

本系列教程基于Kettle 8.1(pdi-ce-8.1.0.0-365)。大部分内容同样适用于Kettle 7.x版本。章节目录: 一、 ...

7月 30 2018
Categories: Kettle Tags: Kettle

本系列教程基于Kettle 8.1(pdi-ce-8.1.0.0-365)。大部分内容同样适用于Kettle 7.x版本。章节目录: 一、 ...

7月 30 2018
Categories: Kettle Tags: Kettle

本系列教程基于Kettle 8.1(pdi-ce-8.1.0.0-365)。大部分内容同样适用于Kettle 7.x版本。章节目录: 一、 ...

7月 30 2018
Categories: Kettle Tags: Kettle

本系列教程基于Kettle 8.1(pdi-ce-8.1.0.0-365)。大部分内容同样适用于Kettle 7.x版本。章节目录: 一、 ...

7月 30 2018
Categories: Kettle Tags: Kettle

本系列教程基于Kettle 8.1(pdi-ce-8.1.0.0-365)。大部分内容同样适用于Kettle 7.x版本。章节目录: 一、 ...

7月 30 2018
Categories: Kettle Tags: Kettle

本系列教程基于Kettle 8.1(pdi-ce-8.1.0.0-365)。大部分内容同样适用于Kettle 7.x版本。章节目录: 一、 ...

7月 18 2018
Categories: Kettle Tags: Kettle, 资源库

本系列教程基于Kettle 8.1(pdi-ce-8.1.0.0-365)。大部分内容同样适用于Kettle 7.x版本。章节目录: 一、 ...

7月 18 2018
Categories: Kettle Tags: Kettle

本系列教程基于Kettle 8.1(pdi-ce-8.1.0.0-365)。大部分内容同样适用于Kettle 7.x版本。章节目录: 一、 ...

7月 18 2018
Categories: Kettle Tags: Kettle

本系列教程基于Kettle 8.1(pdi-ce-8.1.0.0-365)。大部分内容同样适用于Kettle 7.x版本。章节目录: 一、 ...

7月 18 2018
Categories: Kettle Tags: Kettle

本系列教程基于Kettle 8.1(pdi-ce-8.1.0.0-365)。大部分内容同样适用于Kettle 7.x版本。章节目录: 一、 ...

5月 06 2018
Categories: Kettle Tags: ETL, GPG, Kettle, 文件加密

Kettle是一个很强大的开源的数据ETL工具,并且可以与大数据平台整合,直接将关系型数据库中的数据接入到Hadoop平台上。 在对数据文件进行操作的时候有些场景可能... ...

2月 08 2018
Categories: 大数据 Tags: CDH, 大数据, 高可用

前几篇文章介绍了下原生Hadoop集群的部署过程,这篇文章就来介绍下CDH的部署过程,毕竟发行版Hadoop的部署、运维都很方便,稳定性也好,实际生产环境上用原生Hadoop的并不是很多。... ...

2月 02 2018
Categories: Linux Tags: CentOS

虚拟机也好,物理机也罢,在CentOS的使用过程中都有可能会出现需要增加磁盘的情况,这篇文章就是介绍如何为新磁盘进行分区以及挂载操作。 所有操作都在root用户下进行。 ...

1月 24 2018
Categories: Linux Tags: CentOS, Yum

国内有很多Yum的镜像源,比如阿里、网易等等,速度很快,使用着很方便。但是,有些公司的生产环境是不能连接外网的,这样的环境下,不作一些措施的话,在CentOS上安装软件会很麻烦,依... ...

1月 24 2018
Categories: 大数据 Tags: Hadoop, shell, 大数据

由于原生Hadoop集群没有统一的管理工具,当向集群中部署了越来越多的组件后,集群的管理就变得非常繁琐复杂,包括集群的启动与停止,需要执行好多条命令,所以我就写了个一键启动、停止集群的sh... ...

1月 01 2018
Categories: 杂记 Tags: 杂记, 随笔

2017,再见。你好,2018。 2017年,从头失败到脚的一年。从1600公里到0,再从0到正无穷,之间充满了太多的无奈。不管怎样,还是要感谢过去的一年里陪... ...

12月 22 2017
Categories: 大数据 Tags: Hadoop, 大数据

前言距离Hadoop 3.0.0 GA版的发布已经过去好多... ...

12月 09 2017
Categories: 大数据 Tags: Hive, 大数据

上一篇:HBase安装这一篇进行Hive-1.2.1的... ...

11月 30 2017
Categories: 大数据 Tags: HA, HBase, 大数据, 高可用

接上一篇:Hadoop安装这一篇进行HBase-1.... ...

11月 18 2017
11月 05 2017

简介Hadoop集群的搭建需要一系列的环境准备,包括操作系... ...

11月 05 2017
Categories: 大数据 Tags: CDH, HDP, Hadoop, 大数据

简介说到大数据,首先得说一说Hadoop,这个Apache... ...

8月 12 2017
Categories: 教程 Tags: Hexo, js样式, 博客搭建

前言刚搭建好的博客网页背景一片惨白,死气沉沉毫无生机,所以... ...

7月 30 2017

+++本文全部是在Windows10平台联网环境下操作的+++ ...

6月 04 2017
Categories: 杂记 Tags: 杂记, 随笔

这里是我的第一篇文章。 所以标题起名叫Hello World。 在 ...