3.3 掌握RDD分区

本实战任务旨在掌握Spark RDD 的分区操作，包括理解 RDD 分区的概念、作用、分区数量的确定原则以及如何通过自定义分区器来优化数据处理。通过创建一个 Maven 项目并编写 Scala 代码，实现了一个自定义的科目分区器 SubjectPartitioner，该分区器能够根据科目将数据分配到不同的分区中。在测试过程中，通过调整分区数量，观察了不同分区数量对数据处理的影响，包括正常分区、多余分区以及分区不足的情况。此外，还涉及到了数据的准备、Spark 环境的配置、以及结果的保存和查看。通过这个任务，加深了对 RDD 分区机制的理解，并学会了如何通过自定义分区器来优化 Spark 应用程序的性能。