mysql to doris. flink-cdc 怎么重新启动时续传，而不是从 0 开始

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

bash bin/flink-cdc.sh mysql-to-doris.yaml

flink 配置如下，最后生效的是 execution_checkpointing

MySQL

doris

flink-cdc

5 条回复

AlexRoot

1 天前

从 checkpoint 中恢复，checkpoint 中有上次你消费的 kafka binlog offset, 或者是已经分好的 snapshot split.。

qbmiller

1 天前

@AlexRoot 命令是什么样的。 ./bin/flink-cdc.sh mysql-to-doris.yaml -s file:///u01/flink/execution_checkpointing/<JobId>/chk-100 这样对吗，
我只会这样./bin/flink-cdc.sh mysql-to-doris.yaml 提交任务，

soap0X

1 天前

问下 ai 一楼上面说的配置项，代码的话加行代码就可以了

qbmiller

22 小时 54 分钟前

@soap0X 非大数据开发人员。现在就是想用配置方式 ./bin/flink-cdc.sh mysql-to-doris.yaml 续传跑起来。ai 各种都问了，不顶用。
我试试上边那个 -s 参数吧。

AlexRoot

7 小时 44 分钟前

@qbmiller #2 本质上是要让你的 flink 任务从 checkpoint 恢复，至于 flink-cdc.sh 这脚本支不支持从 checkpoint 恢复，要看脚本的内容。

mysql to doris. flink-cdc 怎么重新启动时 续传，而不是从 0 开始

mysql to doris. flink-cdc 怎么重新启动时续传，而不是从 0 开始