3.2.3 掌握RDD转换算子 - 3. 扁平映射算子 - flatMap()

在本节课中，我们深入学习了Spark RDD的flatMap()算子。flatMap()与map()类似，但每个元素可以返回0到多个元素，最终将所有结果合并为一个RDD。通过案例演示，我们首先对单词文件进行了统计，通过map()将每行文本转换为单词数组，再通过flatMap()将所有单词展平为一个RDD，最终统计出单词总数。接着，我们通过稀疏矩阵的统计任务，展示了如何使用Scala和RDD的flatMap()来处理不规则二维列表，将其扁平化并统计元素个数。课堂练习进一步巩固了flatMap()的使用，通过扁平映射算子简化了不规则二维列表的处理。通过这些学习，我们掌握了flatMap()算子在数据处理中的强大功能，能够灵活地将复杂数据结构展平并进行统计分析。