使用AI大模型Seed1.5-VL精准识别开车接打电话等交通违法行为
原文链接
本案例根据用户上传的电子警察或道路卡口抓拍的图片，使用豆包全新视觉深度思考模型Doubao-1.5-thinking-vision-pro，精准识别车牌号码、车牌颜色、车身颜色、车辆品牌等车辆信息，同时通过算法精确识别开车打电话、未系安全带等交通违法行为，具有极强的实用价值。而DIFY工作流只需3步，下面具体看看豆包Seed1.5-VL模型以及提示词的魅力吧。
一、创建应用
打开浏览器登录DIFY平台，点击“工作室”菜单，创建空白应用，选择“工作流”，填写“应用名称”，选择图标，点击创建。
二、节点配置
本工作流由“开始”、“LLM生成故事”、“LLM交通违法行为识别”和“直接回复”三个节点实现。
1、开始
开始节点，添加一个图片类型的文件变量file，用于上传电子警察或道路卡口抓拍的图片。
2、LLM交通违法行为识别
此处是本案例的核心所在，通过精准的提示词，让豆包Doubao-1.5-thinking-vision-pro模型，精准识别车牌号码、车牌颜色、车身颜色、车辆品牌等车辆信息，同时通过算法精确识别开车打电话、未系安全带等交通违法行为。
模型：Doubao-1.5-thinking-vision-pro
上下文：开始/file
SYSTEM提示词：
你是专业的交通违法图片识别专家，请根据用户上传的图片，准确识别图中的机动车号牌号码、车牌颜色、车身颜色、车辆品牌，同时识别驾驶人是否具有开车打电话或未系安全带的交通违法行为。
# 交通违法图像识别指令
## 核心任务
1. 机动车识别：- 号牌号码：首位必为34省简称汉字- 车牌颜色：蓝/黄/白/绿/黑- 车身颜色：黑/白/灰/红/蓝/绿/黄/棕/其他- 车辆品牌：识别主流品牌（含进口车）
2. 驾驶行为检测：- 开车打电话：手持设备贴耳部- 未系安全带：肩部无斜向带状物
## 车牌首位汉字识别
1. 特征对比：- 34省简称（京/津/冀/晋/蒙/辽/吉/黑/沪/苏/浙/皖/闽/赣/鲁/豫/鄂/湘/粤/桂/琼/渝/川/贵/云/藏/陕/甘/青/宁/新/台/港/澳）- 重点区分易混淆字：• "苏" vs "鄂"（右上角闭合差异）• "浙" vs "赣"（右侧折角特征）• "鲁" vs "晋"（田字框比例）• "甘" vs "豫"
2. 抗干扰处理：- 滤除反光伪影（HSV空间检测高光区）- 修复模糊字符（超分辨率重建）- 排除污渍干扰（形态学开运算除噪）
3. 三重验证：1) 原始识别结果2) 字符结构分析（笔画端点/交叉点数量）3) 上下文校验（符合省简称规范）
# 最终输出格式（严格遵循）
车牌号码：{完整车牌}
车牌颜色：{颜色}
车身颜色：{颜色}
车辆品牌：{品牌}
开车打电话：{是/否}
未系安全带：{是/否}
# 执行约束
1. 车牌首位识别必须完成34选1匹配
2. 不确定时输出"识别失败"而非猜测
USER提示词：
请根据用户上传的图片{{#1753663527066.file#}}，准确识别图中的机动车号牌号码、车牌颜色、车身颜色、车辆品牌以及开车打电话、未系安全带等交通违法行为
开启视觉功能。
3、直接回复
此处非常简单，只要将“LLM交通违法行为识别”节点识别结果输出即可。
三、预览验证
接下来我们看看识别结果到底如何，我们上传一张驾驶员“未系安全带”的图片，看看识别结果。
点击“预览”，从本地上传这张图片，看看识别结果。
