当前位置: 首页 > java >正文

Python多进程编程执行任务

我的需求如下:现有一批任务,使用进程池执行,每个任务执行耗时不一样,任务并发执行期间,需要每隔一段时间监控任务执行进度

直接贴代码:

import multiprocessing
import time
import random
from multiprocessing import Pool, Managerdef worker(task_id, task_status, lock):"""任务执行函数,模拟不同耗时操作"""try:# 记录任务开始状态with lock:task_status[task_id] = "running"# 随机生成任务执行时间(30秒到30分钟)execution_time = random.uniform(1, 30)time.sleep(execution_time)# 更新任务完成状态with lock:task_status[task_id] = "completed"return f"Task {task_id} completed"except Exception as e:with lock:task_status[task_id] = f"failed: {str(e)}"return f"Task {task_id} failed"def monitor_tasks(task_status, total_tasks, lock):"""任务监控函数,每30秒输出状态"""while True:time.sleep(10)with lock:running = [k for k, v in task_status.items() if v == "running"]completed = [k for k, v in task_status.items() if v == "completed"]failed = [k for k, v in task_status.items() if v == "failed"]remaining = total_tasks - len(running) - len(completed)print(f"\n=== 系统状态监控 ===")print(f"正在执行的任务数: {len(running)}")print(f"任务详情: {running}")print(f"剩余任务数: {remaining}")print(f"已完成任务数: {len(completed)}")print(f"失败任务数: {len(failed)}")print("====================")if __name__ == '__main__':# 初始化管理器manager = Manager()lock = manager.Lock()# 创建任务状态字典(任务ID: 状态)task_status = manager.dict()total_tasks = 100# 初始化所有任务状态为"pending"for i in range(total_tasks):task_status[i] = "pending"# 创建进程池with Pool(processes=16) as pool:# 提交所有任务for task_id in range(total_tasks):pool.apply_async(worker, args=(task_id, task_status, lock))# 启动监控线程monitor_process = multiprocessing.Process(target=monitor_tasks,args=(task_status, total_tasks, lock))monitor_process.start()# 等待所有任务完成pool.close()pool.join()# 终止监控进程monitor_process.terminate()monitor_process.join()

http://www.xdnf.cn/news/6821.html

相关文章:

  • sudo apt update是什么意思呢?
  • (3)python爬虫--Xpath
  • 2022河南CCPC(前四题)
  • pip升级或者安装报错怎么办?
  • 致敬经典 << KR C >> 之打印输入单词水平直方图和以每行一个单词打印输入 (练习1-12和练习1-13)
  • 最小二乘法拟合直线,用线性回归法、梯度下降法实现
  • SLAM定位常用地图对比示例
  • 【深度学习新浪潮】大模型时代,我们还需要学习传统机器学习么?
  • 计算机视觉与深度学习 | Python实现EMD-VMD-LSTM时间序列预测(完整源码和数据)
  • React Flow 节点事件处理实战:鼠标 / 键盘事件全解析(含节点交互代码示例)
  • 跨国应用程序的数据存储方案常见的解决方案
  • R语言空间数据处理入门教程
  • Redis——过期删除策略和内存
  • golang读、写、复制、创建目录、删除、重命名,文件方法总结
  • AI517 AI本地部署 docker微调(失败)
  • Baklib知识中台构建企业智能服务新引擎
  • 板凳-------Mysql cookbook学习 (二)
  • 【新能源轻卡行驶阻力模型参数计算实战:从国标试验到续航优化】
  • Linux | mdadm 创建软 RAID
  • C# WPF .NET Core和.NET5之后引用System.Windows.Forms的解决方案
  • 服务间的“握手”:OpenFeign声明式调用与客户端负载均衡
  • uniapp +vue +springboot多商家订餐系统
  • BGP团体属性
  • NX二次开发——设置对象的密度(UF_MODL_set_body_density)
  • ESP32 PWM开发对比:底层驱动 VS Arduino封装,谁更适合你?
  • FEKO许可证与版本兼容性问题
  • 问答数字人解决方案​
  • 2025 年TTS 语音模型推荐:全面解析与对比
  • 力扣-78.子集
  • 常见激活函数——作用、意义、特点及实现