当前位置: 首页 > web >正文

Spark 之 metrics

  • peak memory

.//sql/core/src/main/scala/org/apache/spark/sql/execution/aggregate/HashAggregateExec.scala: “peakMemory” -> SQLMetrics.createSizeMetric(sparkContext, “peak memory”),
.//sql/core/src/main/scala/org/apache/spark/sql/execution/SortExec.scala: “peakMemory” -> SQLMetrics.createSizeMetric(sparkContext, “peak memory”),

  • src/test/scala/org/apache/spark/sql/execution/metric/SQLMetricsTestUtils.scala
  // Pattern of size SQLMetric value, e.g. "\n96.2 MiB (32.1 MiB, 32.1 MiB, 32.1 MiB (stage 0.0:// task 4))" OR "\n96.2 MiB (32.1 MiB, 32.1 MiB, 32.1 MiB)"protected val sizeMetricPattern 
http://www.xdnf.cn/news/4655.html

相关文章:

  • ubuntu yolov5(c++)算法部署
  • Linux开发工具【中】
  • 适配国产化,私有化部署的局域网即时通讯工具-BeeWorks
  • 【已解决】WORD域相关问题;错误 未找到引用源;复制域出错;交叉引用域到底是个啥
  • 一种机载扫描雷达实时超分辨成像方法——论文阅读
  • 148.WEB渗透测试-MySQL基础(三)
  • 第四章 OpenCV篇—图像梯度与边缘检测—Python
  • 详细聊聊 Synchronized,以及锁的升级过程
  • 二极管的动态特性
  • AI(学习笔记第二课) 使用langchain进行AI开发
  • Coco AI 开源应用程序 - 搜索、连接、协作、您的个人 AI 搜索和助手,都在一个空间中。
  • 【CTFer成长之路】举足轻重的信息搜集
  • 数据结构之串
  • 【PmHub后端篇】PmHub Gateway全局过滤器:接口调用耗时统计及黑白名单配置技术深度解析
  • 57.[前端开发-前端工程化]Day04-webpack插件模式-搭建本地服务器
  • XML语言
  • 企业开发平台大变革:AI 代理 + 平台工程重构数字化转型路径
  • Android单例模式知识总结
  • 02_JVM
  • Mockoon 使用教程
  • 为什么使用Less替代原始CSS?
  • 学习黑客MAC 地址
  • 数字孪生市场格局生变:中国2025年规模214亿,工业制造领域占比超40%
  • 安卓应用卡顿、性能低下的背后原因
  • 【文献阅读】Depth Anything Unleashing the Power of Large-Scale Unlabeled Data
  • 2025-05-08 Unity 网络基础9——FTP通信
  • Linux的基础开发工具
  • 手机上使用的记录笔记的软件推荐哪一款
  • SAP 交货单行项目含税金额计算报cx_sy_zerodivide处理
  • 云手机虚拟地址技术的运营场景