3.2.3 掌握RDD转换算子 - 2. 过滤算子 - filter()
在本节课中,我们深入学习了Spark RDD的过滤算子filter()
。filter()
算子能够通过指定的函数对RDD中的元素进行筛选,返回一个满足条件的新RDD,通常新RDD的元素个数会比源RDD少。通过案例演示,我们掌握了如何使用filter()
来过滤列表中的偶数、过滤包含特定字符串的行以及过滤长度超过指定值的行。在课堂练习中,进一步应用filter()
算子解决了过滤素数和闰年的问题,加深了对filter()
算子的理解和运用。通过这些学习,我们能够灵活地使用filter()
算子对数据进行筛选处理,为后续的数据分析和处理提供了有力的工具。