Spark处理过程-转换算子和行动算子(四)
3.count算子
作用:count 是 Spark 中的一个行动算子,用于统计 RDD 中元素的数量。它会触发 Spark 作业的实际执行,对 RDD 中的所有元素进行计数,并将最终的计数结果返回给驱动程序。例如在进行数据验证、抽样或者评估数据处理任务的复杂度时,都可能需要知道 RDD 中元素的数量
格式
def count(): Long
4.foreach算子
作用:foreach 用于对 RDD 中的每个元素应用指定的函数。它主要用于执行一些副作用操作,比如将数据写入外部存储系统(如数据库、文件系统等),或者进行日志记录等。与其他转换算子不同,foreach 不会返回一个新的 RDD,而是直接对每个元素执行操作。
格式def foreach(f: T => Unit): Unit