doris binlog load支持polardb数据库吗

[zhoulong0517]

Binlog Load提供了一种使Doris增量同步用户在Mysql数据库的对数据更新操作的CDC(Change Data Capture)功能，请问下这个Binlog Load导入方式支持PolarDB数据库的CDC吗？谢谢

[zhoulong0517]

使用binlog load导入方式导入mysql数据库的表，可以实时从mysql数据库同步数据到Doris，但是原表切成PolarDB的表之后，报了下面的错误：
2022-08-19 15:13:38,042 ERROR (Thread-130|362) [CanalSyncDataConsumer.process():248] Executor is error!
java.lang.NullPointerException: null
at com.alibaba.otter.canal.client.impl.SimpleCanalConnector.writeWithHeader(SimpleCanalConnector.java:405) ~[canal.client-1.1.6.jar:?]
at com.alibaba.otter.canal.client.impl.SimpleCanalConnector.writeWithHeader(SimpleCanalConnector.java:393) ~[canal.client-1.1.6.jar:?]
at com.alibaba.otter.canal.client.impl.SimpleCanalConnector.rollback(SimpleCanalConnector.java:374) ~[canal.client-1.1.6.jar:?]
at com.alibaba.otter.canal.client.impl.SimpleCanalConnector.rollback(SimpleCanalConnector.java:387) ~[canal.client-1.1.6.jar:?]
at org.apache.doris.load.sync.canal.CanalSyncDataConsumer.rollback(CanalSyncDataConsumer.java:430) ~[doris-fe.jar:1.0-SNAPSHOT]
at org.apache.doris.load.sync.canal.CanalSyncDataConsumer.abortForTxn(CanalSyncDataConsumer.java:131) ~[doris-fe.jar:1.0-SNAPSHOT]
at org.apache.doris.load.sync.canal.CanalSyncDataConsumer.abortForTxn(CanalSyncDataConsumer.java:116) ~[doris-fe.jar:1.0-SNAPSHOT]
at org.apache.doris.load.sync.canal.CanalSyncDataConsumer.process(CanalSyncDataConsumer.java:238) ~[doris-fe.jar:1.0-SNAPSHOT]
at org.apache.doris.load.sync.SyncLifeCycle$2.run(SyncLifeCycle.java:48) ~[doris-fe.jar:1.0-SNAPSHOT]
at java.lang.Thread.run(Thread.java:745) ~[?:1.8.0_102]
2022-08-19 15:13:39,052 ERROR (Thread-130|362) [SyncLifeCycle$1.uncaughtException():31] process thread has an error
java.lang.NullPointerException: null
at com.alibaba.otter.canal.client.impl.SimpleCanalConnector.writeWithHeader(SimpleCanalConnector.java:405) ~[canal.client-1.1.6.jar:?]
at com.alibaba.otter.canal.client.impl.SimpleCanalConnector.writeWithHeader(SimpleCanalConnector.java:393) ~[canal.client-1.1.6.jar:?]
at com.alibaba.otter.canal.client.impl.SimpleCanalConnector.rollback(SimpleCanalConnector.java:374) ~[canal.client-1.1.6.jar:?]
at com.alibaba.otter.canal.client.impl.SimpleCanalConnector.rollback(SimpleCanalConnector.java:387) ~[canal.client-1.1.6.jar:?]
at org.apache.doris.load.sync.canal.CanalSyncDataConsumer.rollback(CanalSyncDataConsumer.java:430) ~[doris-fe.jar:1.0-SNAPSHOT]
at org.apache.doris.load.sync.canal.CanalSyncDataConsumer.abortForTxn(CanalSyncDataConsumer.java:131) ~[doris-fe.jar:1.0-SNAPSHOT]
at org.apache.doris.load.sync.canal.CanalSyncDataConsumer.abortForTxn(CanalSyncDataConsumer.java:116) ~[doris-fe.jar:1.0-SNAPSHOT]
at org.apache.doris.load.sync.canal.CanalSyncDataConsumer.process(CanalSyncDataConsumer.java:249) ~[doris-fe.jar:1.0-SNAPSHOT]
at org.apache.doris.load.sync.SyncLifeCycle$2.run(SyncLifeCycle.java:48) ~[doris-fe.jar:1.0-SNAPSHOT]
at java.lang.Thread.run(Thread.java:745) ~[?:1.8.0_102]

[zhoulong0517]

通过上传了一个poldb的驱动，现在报下面的错误：
2022-08-19 16:24:59,191 WARN (thrift-server-pool-8|199) [FrontendServiceImpl.loadTxnRollback():1
021] failed to rollback txn 374632: errCode = 2, detailMessage = transaction not found

[JNSimba]

This is the transaction id expired, it should not affect. Can it be synced to the data?

[zhoulong0517]

thanks a lot

[fwchitu]

拉取、订阅或同步Binlog（例如使用DTS等工具）时，建议使用PolarDB的主地址，因为直接指向生成Binlog的主节点，具有更好的兼容性和稳定性。关于如何查看主地址，请参见查看连接地址和端口。
可能polardb对binlog的兼容性和稳定性还是和mysql不太一致，你也多看看上面这个，别配错了

[fwchitu]

云原生分布式数据库 PolarDB-X（原 DRDS 升级版）是由阿里巴巴自主研发的云原生分布式数据库，融合分布式SQL引擎DRDS与分布式自研存储X-DB，是一个Share-Nothing的分布式架构。

分布式下数据导入导出兼容性，datax可以比较好的支持全量，但分布式数据库的增量同步一直是大家的一个痛点。

tidb的CDC方案也是几经波折，最新的ticdc方案更像是一个消息通知，并没有提供事务级别的CDC语义，也没有做到mysql binlog协议的兼容性
cockroachDB和yugabyteDB也有对应的cdc能力，主要还是以kafka的消息通知为主，并没有事务级别的语义
值得高兴的事，PolarDB-X 2.0在近期推出了全局Binlog能力，完全兼容mysql binlog协议，参考文档：https://help.aliyun.com/document_detail/207719.html

PolarDB还是不同于单机mysql，doris利用了canal来读取binlog，所以可以先尝试一下canal连接polardb，是否可以成功，如果成功了，doris应该也没有问题，如果有问题，可以到时再咨询我们。

[zhoulong0517]

谢谢，非常感谢

[hf200012]

Flink CDC + Doris Flink Connector is our recommended usage, we support exactly-once on flink 1.14x, 1.15x versions
You can add my WeChat: 35926237

[zhoulong0517]

thanks.

[JNSimba]

Can you synchronize normally？ I can use canal1.1.6 to synchronize polardb data normally using binlog load

[SinyoWong]

目前来看，polar-x 1.0不可以，2.0应该可以