Flink 部署 | 如何在 CDP 中部署 Flink 1.12-轻识

1.文档编写目的

本篇文章主要介绍如何在CDP 7.1.6集群中使用Parcel的方式安装Flink1.12。

文档概述

1.如何在CDP7集群安装FLink1.12

2.运行一个Flink示例验证

测试环境

1.操作系统Redhat7.2

2.CDP7.1.6

3.使用root用户操作

2.安装Flink

1.准备Flink1.12的csd文件，并放置到Cloudera Manager Server服务器的/opt/cloudera/csd目录下，然后重启Cloudera Manager Server服务

[root@cdh1 csd]# pwd
/opt/cloudera/csd
[root@cdh1 csd]# ll
total 48
-rw-r--r-- 1 root root 46264 May 31 12:49 FLINK-1.12-csa1.3.0.0-cdh7.1.6.0-297-11607198.jar
[root@cdh1 csd]#

[root@cdh1 csd]# systemctl restart cloudera-scm-server
[root@cdh1 csd]# netstat -lnpt|grep 7180

2.下载Flink1.12的Parcel并部署到httpd服务的/var/www/html/flink目录下

[root@cdh1 csd]# cd /var/www/html/flink/
[root@cdh1 flink]# ll
total 647212
drwxr-xr-x 2 root root       287 May 31 12:45 1.3.0
-rw-r--r-- 1 root root 662662978 May 31 13:03 FLINK-1.12-csa1.3.0.0-cdh7.1.6.0-297-11607198-el7.parcel
-rw-r--r-- 1 root root        41 May 31 13:01 FLINK-1.12-csa1.3.0.0-cdh7.1.6.0-297-11607198-el7.parcel.sha1
-rw-r--r-- 1 root root     46264 May 31 13:01 FLINK-1.12-csa1.3.0.0-cdh7.1.6.0-297-11607198.jar
-rw-r--r-- 1 root root      1904 May 31 13:03 manifest.json
-rw-r--r-- 1 root root     21299 May 31 13:01 SQL_STREAM_BUILDER-1.12-csa1.3.0.0-cdh7.1.6.0-297-11607198.jar

3.CM重启完成以后，添加服务页面可以看到有Flink服务。

4.登录CM，在左侧菜单栏点击“Parcel”按钮，进入Parcles管理界面进行配置

进入Parcles管理界面后如下界面：

点击“Parcel Repositories& Network Settings”菜单配置Flink的本地parcel库

完成配置后，点击“Save & Verify Configuration”，关闭配置配置界面可以看到Flink的信息

分别进行 “下载、分配、激活”操作，完成后显示如下：

5.进入CM主页点击“添加服务”。

6.选择添加Flink服务，点击继续。

7.选择Flink History Server以及Gateway节点，点击继续

8.点击继续

9.等待Flink History Server启动成功，完成后点击继续

10.安装完成，点击完成回到CM主页

3.Flink示例运行

1.执行Flink自带的example的wordcount例子。

hadoop fs -mkdir -p wordcount/input
hadoop fs -mkdir -p wordcount/output
hadoop fs -put dfclear wordcount/input
flink run -m yarn-cluster -yn 3 -yjm 1024 -ytm 1024 /opt/cloudera/parcels/FLINK/lib/flink/examples/streaming/WordCount.jar --input hdfs:///user/root/wordcount/input/dfclear --output hdfs:///user/root/wordcount/output

2.在YARN和Flink的界面上分别都能看到这个任务。

4.总结

1.在CDP上基于Parcel的方式安装Flink1.12与CDH5和CDH6集群下安装Kafka、Spark等服务方式一致。

2.对于CDP中不自带的服务需要将csd添加的CM节点的/opt/cloudera/csd目录下，并重启cloudera-scm-server服务。

3.Flink是依赖Yarn、HDFS、Zookeeper服务运行，所以在CDP集群中至少要确保这个几个服务都已安装。