Flink 1.9 实战:使用 SQL 读取 Kafka 并写入 MySQL(11)


然后在 MySQL 中创建一个 flink-test 的数据库 , 并按照上文的 schema 创建 pvuv_sink 表 。

提交 SQL 任务

1.在 flink-sql-submit 目录下运行 ./source-generator.sh , 会自动创建 user_behavior topic , 并实时往里灌入数据 。

2.在 flink-sql-submit 目录下运行 ./run.sh q1 , 提交成功后 , 可以在 Web UI 中看到拓扑 。

在 MySQL 客户端 , 我们也可以实时地看到每个小时的 pv uv 值在不断地变化

结尾

本文带大家搭建基础集群环境 , 并使用 SqlSubmit 提交纯 SQL 任务来学习了解如何连接外部系统 。 flink-sql-submit/src/main/resources/q1.sql 中还有一些注释掉的调优参数 , 感兴趣的同学可以将参数打开 , 观察对作业的影响 。

推荐阅读