聊聊Flink:Docker搭建Flink
共 3210字，需浏览 7分钟
·
2024-04-10 21:33
一、准备工作
查看下Docker和Docker Compose版本，确保你安装了这些软件。
在 Flink 官网上下载 Flink 的 Docker 镜像。您可以使用以下命令从 Docker Hub 中下载：
docker pull flink:1.18.0-scala_2.12
此命令将下载 Flink 1.18.0 版本的 Docker 镜像，并且使用 Scala 2.12 进行编译。
二、编写Docker Compose文件
Docker Compose可以通过一个YAML文件来定义和管理多个容器的服务。我们将使用Docker Compose来定义Flink集群的容器服务。
创建一个 docker-compose.yml 文件，该文件描述了您要启动的容器及其配置。下面是一个基本的示例文件：
version: '3'
services:
jobmanager:
image: flink:1.18.0-scala_2.12
command: jobmanager
ports:
- "8081:8081"
volumes:
- ./settings/:/settings
- ./data/:/data
environment:
- |
FLINK_PROPERTIES=
jobmanager.rpc.address: jobmanager
restart: always
taskmanager:
image: flink:1.18.0-scala_2.12
command: taskmanager
depends_on:
- jobmanager
scale: 1
environment:
- |
FLINK_PROPERTIES=
jobmanager.rpc.address: jobmanager
taskmanager.numberOfTaskSlots: 20
volumes:
- ./settings/:/settings
- ./data/:/data
restart: always
上述代码定义了两个服务：jobmanager和taskmanager。jobmanager用于管理Flink作业，taskmanager用于执行Flink作业的任务。
三、构建和启动容器
在终端中，切换到包含docker-compose.yml文件的目录，然后执行以下命令构建和启动容器：
docker-compose up -d
以上命令将会以后台模式启动Flink容器集群
四、访问Flink Web界面
一旦容器启动完成，可以通过浏览器访问Flink Web界面。在浏览器中输入http://localhost:8081，即可访问Flink的Web界面。在该界面中，可以查看作业列表、监控任务状态等信息。
五、提交Flink作业
现在，可以通过Flink Web界面提交和管理Flink作业。首先，将一个Flink作业的JAR文件上传到Flink Web界面。然后，通过界面上的操作，选择相应的作业并点击Submit按钮来提交作业。
另外，也可以通过命令行方式提交Flink作业。在终端中，执行以下命令来提交Flink作业：
docker exec -it <jobmanager_container_id> flink run -m taskmanager:8081 /path/to/job.jar
其中，是Flink集群中jobmanager容器的ID，/path/to/job.jar是Flink作业的JAR文件路径。
注意：上面的提交是旧的方式，笔者这里用的Flink 1.18版本，上面的命令行已经舍弃了。
//先把你本地的jar包文件
docker cp /你的文件目录/flink-release-1.18.0/flink-reimann-test/target/flink-reimann-test-1.18.0.jar:/opt/flink/test
docker exec -it/bin/bash
bin/flink run -c org.apache.flink.PartitionerTest test/flink-reimann-test-1.18.0.jar
Web界面会展示刚才跑的任务
还有一种界面上提交任务的方式，我这里就不说了，留给你自己去探索。
六、关闭容器
当不再需要使用Flink集群时，可以通过以下命令关闭并删除容器：
docker-compose down
欢 迎 大 家 关 注 我 的 公 众 号 【 老 周 聊 架 构 】 ，AI 、大数据、云原生、物联网等相关领域的技术知识分享。