使用 FlinkCDC 整库同步的问题

[gilboom]

请教一下两个问题：

1. 使用整库同步的 CDCTools 去提交的 Flink job，是应该用 Application Mode 的方式启动是不是更好一点？之前使用 Session Mode 的时候遇到过 taskManager heap memory out，导致 taskManager 挂掉，所有 job 都受到了影响。如何评估如需给 taskManager 和 jobManager 分配多大的内存呢？毕竟库比较多，每个 Job 都以 Application Mode 的方式启动的话，会占用不少内存。

2. 这些 Flink Job 应该定期 savepoint 吗？因为挂掉重启，重新全量同步的话会花费不少时间的，这方面有什么最佳实践吗？

[yagagagaga]

1. 使用 Application Mode 隔离任务比较好
2. Flink Job 会做checkpoint，挂掉重启可以从 checkpoint 处启动。

[gilboom]

谢谢🙏，那给 TaskManager 和 JobManager 分配的内存大小的评估，有什么方法吗？

[yagagagaga]

你可以先给一个较大的内存，然后在flink界面上观察内存的使用量，看情况把内存调整到一个合适的值。

[gilboom]

🤣 这确实是个方法，简单除暴。我看到执行同步任务的时候，TaskManager 的 managed memory 部分使用量为 0，感觉有点奇怪，因为我用了 RocksDB 作为状态后端，根据 Flink 文档说明当使用 RocksDB 作为状态后端的时候，会使用到这一部分内存。难道是因为在执行同步任务的时候，里面的 Operator 并不需要存取任何状态？😆