flink-doris-connector写入Doris stream load速度慢的问题

[zhang-mh-bob]

场景：
需要实时写入，一条数据将会stream load为doris表中有15000个字段的一行。
测试环境下，开启2PC。当有20条数据在一次checkpoint时做stream load时，checkpoint耗时13s，超过容忍阈值。
一条数据不大，不会超过1M，猜测为字段过多导致的插入慢。
提问：
1.确认doris是否支持这么多列的快速插入？
2.如果doris支持，那么该如何优化插入速度？

[LemonLiTree]

Try manually executing stream load to import 15,000 columns. Let’s see if it’s a flink problem or a stream load problem.
https://doris.apache.org/zh-CN/docs/dev/data-operate/import/import-way/stream-load-manual
You can export the imported data to csv and then import

[zhang-mh-bob]

我尝试了从doris表导出20条数据为csv，并手动stream load，这是结果:{
"TxnId": 580,
"Label": "localhost_test_03",
"TwoPhaseCommit": "false",
"Status": "Success",
"Message": "OK",
"NumberTotalRows": 20,
"NumberLoadedRows": 20,
"NumberFilteredRows": 0,
"NumberUnselectedRows": 0,
"LoadBytes": 643960,
"LoadTimeMs": 4860,
"BeginTxnTimeMs": 7,
"StreamLoadPutTimeMs": 276,
"ReadDataTimeMs": 0,
"WriteDataTimeMs": 4525,
"CommitAndPublishTimeMs": 50
}
根据"LoadTimeMs"，写入耗时4860ms。
我是否可以理解为13s（checkpoint耗时） = 4.8s（stream load耗时） + 8.2s（flink 耗时），也就是说flink和stream load都有问题？

[liujunfei2230]

请问下这个问题解决了嘛，我们也遇到了相同的问题

[wsczm]

解决了吗

[JNSimba]

How long is the checkpoint, the time imported in flink is related to the checkpoint time？

[lin-xiaosheng]

哈喽，请问你的问题有得到解决吗？我的Stream load速度也远低于预期

[LemonLiTree]

你checkpoint多少？

[liujunfei2230]

font{ line-height: 1.6; } ul,ol{ padding-left: 20px; list-style-position: inside; } 改用新版本的flink-doris-connector后，暂时没发现问题 540675304 ***@***.***

…

---- 回复的原邮件 ---- 发件人 ***@***.***> 发送日期 2024年07月22日 11:18 收件人 ***@***.***> 抄送人 ***@***.***> , ***@***.***> 主题 Re: [apache/doris] flink-doris-connector写入Doris stream load速度慢的问题 (Discussion #21982) 解决了吗 —Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you commented.Message ID: ***@***.***>