从库里读出来再写回另一张表,整个过程跑了两个多小时,大头都花在写入上,想问问这块能不能提效。
15 个赞
写入这块可以靠改组件副本数来解决。平台对同时写入做过优化,把表输出组件的副本数调大,就等于开了几路同时往目标表里写,能明显缩短时间。同一次测试里,单个表输出组件写要 9436 秒,改成 3 个表输出组件并行写之后降到 3293 秒。不过副本数大了对目标库的写入压力也上来了,动之前建议先跟 DBA 打个招呼。
1 个赞