大表读起来特别慢,有什么办法吗?

一张千万级的表,光读出来就要小半个钟头,后面的转换还没开始算,人已经等麻了。

14 个赞

如果表本身能按某个字段分区,就把读取拆开并行跑。做法是按分区字段挂多个表输入组件,让它们各自读自己那段数据,最后再汇到一起。官方拿一张 10GB 的表测过:单个表输入组件读完要 1443 秒,改成 5 个表输入组件同时读之后降到 551 秒。前提是得有合适的分区字段,时间字段是最常见的。