spark在执行中如何选择shuffle策略

1. SortShuffleManager与HashShuffleManager的选择

• SortShuffleManager：默认使用，适用于大规模数据Shuffle场景。通过排序和合并临时文件（SpillFile）生成索引文件（indexFile）和数据文件（dataFile），保证数据有序性。每个Stage读取时通过索引定位数据位置。
• HashShuffleManager：适用于小规模数据场景，通过哈希分区直接分发数据，减少排序开销。但对内存要求较高，可能引发溢出问题。

2. Shuffle策略的自动选择机制

• 数据量阈值：
  • 当Shuffle数据量较小时，优先选择HashShuffle（无排序开销）；
  • 数据量超过阈值时自动切换为SortShuffle，通过排序优化大规模数据处理效率。
• 内存限制：
  • HashShuffle需要足够的内存存储哈希表，若内存不足会触发溢出到磁盘；
  • SortShuffle通过分阶段排序和合并减少内存压力。
• 并行度：
  • SortShuffle支持