当前位置: 首页 > news >正文

NIFI的性能调优

这里只考虑NIFI自身的参数,不考虑操作系统的参数配置。

基于NIFI1.28。

1.增加内存:增加JVM内存分配,以减轻I/O压力。例如,调整bootstrap.conf中的内存设置:
java.arg.2=-Xms8g
java.arg.3=-Xmx8g

2.分离存储设备
关键:将 provenance_repository、content_repository 和 flowfile_repository 分别挂载到独立的物理磁盘或 SSD 上,避免 I/O 竞争。
配置示例(nifi.properties):
nifi.provenance.repository.directory=/mnt/ssd/provenance
nifi.content.repository.directory.default=/mnt/hdd/content

使用这种方式可以将内容库保存至多个目录
nifi.content.repository.directory.content1=/repos/content1
nifi.content.repository.directory.content2=/repos/content2

3.平衡 NiFi 内存使用和磁盘 I/O 的关键参数。当队列中的 FlowFile 数量超过此阈值时,NiFi 会将部分 FlowFile 元数据和内容交换到磁盘,以释放内存。这有助于:,防止内存溢出(OOM);控制队列内存使用上限。
内存充足时,可以增大该值。
nifi.queue.swap.threshold=800000


4.各处理器根据具体情况进行调优。

http://www.xdnf.cn/news/675991.html

相关文章:

  • FilterAnalysis -滤波器分析
  • 用nz-tabel写一个合并表格
  • 利用机器学习优化数据中心能效
  • 深度学习实战109-智能医疗随访与健康管理系统:基于Qwen3(32B)、LangChain框架、MCP协议和RAG技术研发
  • 复杂度拆解
  • 程序环境与预处理
  • Cesium添加点、线、面
  • TF 卡 U1 和 U3 有什么区别?一文解析关键差异
  • SQL语句内容处理——给每行内容都添加单引号和逗号
  • 理解vue-cli 中进行构建优化
  • 【Elasticsearch】`_refresh`和`_flush`的区别
  • vue3+vite+amfe-flexible+postcss-pxtorem 实现全分辨率自适应
  • AI工具的选择:Dify还是传统工具?
  • 【C++】封装哈希表实现 unordered_map、unordered_set
  • 【Harmony OS】组件自定义属性、事件和状态管理
  • 【Webtrees 手册】第 9 章 - 开发指南
  • Mobaxterm 连接到 Docker 容器
  • 查询端口占用情况的命令(windows、linux)
  • Flink Table API 编程实战详解
  • IoT/HCIP实验-1/物联网开发平台实验Part2(HCIP-IoT实验手册版)
  • 数字人教师:开启教育智慧革新之旅
  • Unity数字人开发笔记
  • YOLOv4:目标检测的新标杆
  • 流量红利的破局之道—深度解析OPPO应用商店 CPD广告运营
  • 自动驾驶规划控制算法教程:从理论到实践
  • 《计算机组成原理》第 10 章 - 控制单元的设计
  • CST基础八-TOOLS工具栏(一)
  • 如何将 PDF 文件中的文本提取为 YAML(教程)
  • 自动化测试入门:解锁高效软件测试的密码
  • 59、【OS】【Nuttx】编码规范解读(七)