基于python django深度学习的中文文本检测+识别，可以前端上传图片和后台管理图片

摘 要

目 录

第1章　绪论

1.1 研究背景与意义

伴随着信息时代的发展，OCR技术作为实现信息数字化、智能化的重要手段之一，成为了研究的焦点。中文由于是世界上最常用的语言之一，而实现中文文字识别所面临的难题在于：首先汉字字数比较多（《通用规范汉字表》收录的汉字字数为8105），字形又各不相同（例如“未”与“末”）；其次因为实际中文应用场景中可能存在不同类型的中文，包括各种字体（手写体、印刷体和艺术字等）和不同光照条件以及杂乱的背景干扰等带来的影响，所以传统的文字识别技术的识别精度及鲁棒性远远不能达到实用阶段。传统的基于手定义的特征（如边沿、投影、笔画分割）及模板匹配的方法在实现中文文字识别过程中的缺点，尤其是在手写体及非规范场景下，对汉字识别准确度的受限。

1.2　国内外研究现状

深度学习是机器学习研究中较为年轻的分支，旨在模拟人脑的神经网络进行分析和学习，用类人脑的方式理解数据(图象、声音和文字)，属于无监督学习技术，通过仿照人脑机制来解析数据，是由输入层、若干隐藏层和输出层组成的多层网络构成的体系结构。每个输入的特征与隐藏层和输出层中的输出拥有连接，但是每个层中没有相互之间的连接。深度学习通过形成类似于人脑的分层模型结构，使计算机能够逐层提取底层到高层的特征，实现从低层次信号到高层次语义的映射。谷歌、微软、百度等拥有丰富数据的科技巨头已经倾注大量人力财力进行深度学习研究开发，在语音识别、图像识别、自然语言识别和在线广告等方面都取得显著的成效。从实际贡献来看，深度学习应当是最接近上一个十年来机器学习最有效的方向。基于深度学习模型的图像识别率获得巨大提升，且减少了大量的人工特征提取过程时间，提高了在线的运算时间。

1.3 研究内容

本文主要着眼于基于深度学习的中文字符识别系统构建，主要包括算法开发和系统实施2部分。在算法部分，采用基于TensorFlow框架的卷积神经网络模型进行设计，并从对汉字的结构特点进行网络设计：引入多尺度卷积层提高局部特征的表达能力，以及批归一化层和Dropout层，缓解过拟合问题。结合卷积循环神经网络（ConvolutionalRecurrentNeuralNetwork，CRNN）框架结构将卷积神经网络得到的视觉特征融合在一起，实现端对端的汉字序列识别。利用数据增强的方法（随机旋转、随机亮度、弹性变形），对数据进行扩充训练集训练模型，在目标场景下做微调。

第2章　相关理论与技术基础

2.1　深度学习算法

卷积神经网络主要是为了图像数据而提出的一种神经网络结构。计算机视觉的大部分都是采用卷积神经网络的模型，无论是对于图像识别，还是目标检测与分割的问题，几乎所有相关的学术比赛和商业使用，都是采用了这种卷积网络模型。与全连接网络相比，卷积神经网络参数较少，而卷积操作非常容易在GPU上并行，因此，卷积网络既可以高效地取样得到高精度模型，又能高效地完成计算。具体示意图见图2.1：

图2.1 卷积层原理图

2.2　Django框架

在视图层（View）中利用分层架构设计实现，对外提供RESTful接口调用旅游APP，对外响应时间在500ms以内。最终系统上线后预测正确率达到80%以上，较传统方法高出20个百分点。

第3章 系统分析

3.1 需求分析

3.2 可行性分析

3.2.1 技术可行性

针对在实际应用中所需，自然场景文字检测与识别逐渐成为重要的视觉应用场景，近年来，自然场景下的文字检测、识别逐步成为计算机视觉领域的热门研究课题。

3.2.2 经济可行性

经充分的可行性分析，基于深度学习的中文文本检测与识别系统设计与实现对社会是有益的，因为其经济上的可行性分析，最终可以帮助人们节省人力物力。

3.2.3 社会可行性

通过可行性分析，基于深度学习的中文文本检测与识别系统设计与实现，对社会利大于弊，因为经济可行性分析的目的在于节省人力物力。

3.3 用例分析

3.3.1 登录注册功能

续表3.2 注册功能测试用例

3.3.3 文字识别功能

续表3.4 文字识别功能测试用例

第4章 系统设计

4.1 架构设计

4.2 功能模块设计

4.3 相关功能设计

4.3.1 登录操作流程

4.3.2 图片识别功能设计

中文字识别方法采用深度学习的双级识别机制。其工作流程：首先，图像预处理，用户通过浏览器端上传图像，在此过程中完成预处理共三项操作；其次，检测汉字位置，加载字的模型，并将分割后的图像20×20像素；第三，识别字符，裁剪后的图像字符采用灰度保持法，将字符图像输入到MobileViT网络中，MobileViT网络将卷积神经网络提取局部特征和Transformer模型完成全局关系，获取对应的识别图像。如图4.4所示。

图4.4 图像检测流程图

4.4 数据库设计

下面为本系统核心数据库表的E-R关系总图如图4.5所示。。

图4.5 系统总E-R关系图

用户表用以存放系统中用户的基本信息与账户有关的数据，一行对应一个用户，一列对应一个用户属性。图片信息表用以存放上传图片的基本信息，见表4.1。

表4.1 用户表

续表4.1 用户表

表4.2 图片信息表

第5章 系统实现

5.1 文本识别实现

5.1.1 实现思路

本文中，首先为了更好地对汉字进行定位与识别，我们研究开发了基于双阶段深度学习框架下解耦定位识别任务的汉字检测与识别方法，使得系统性能显著提升。。

图5.1 对每个字进行定位实现思路图

第二层为基于MobileViT的轻量化检测网络，输入第一层提取出的字符框图像。在局部卷积特征的基础上结合全局的注意力机制，使该模块可以对包含篆、隶、楷、行四种字体的多风格汉字数据集进行如5.2所示的识别：

图5.2 对每个字进行分类实现思路图

5.1.2 数据来源

该数据全都是合成数据，数据未使用外部真实数据。通过自动合成汉字图，并结合不同的干扰元素，合成更多的训练样本，具体包括：从文件3500.从txt文件中得到常用的3500个汉字。如图5.3：

图5.3 trainImg0.npy和trainLab0.npy

5.1.3 图像处理

本系统在数据预处理阶段采用三阶段标准化流程，有效提升模型对汉字特征的提取效率[9]。图像处理流程图5.4所示。

图5.4 图像处理流程图

首先执行色彩空间转换，通过OpenCV的cv2.COLOR_BGR2GRAY将RGB三通道图像转换为单通道灰度图，此举在保留汉字笔划拓扑结构的同时，将数据维度从H×W×3压缩至H×W×1，降低62.5%的存储开销。结果如图5.5所示：

图5.5 测试样本图1

其次进行自适应二值化处理，采用固定阈值127实施颜色反转。通过cv2.threshold函数配合THRESH_BINARY_INV参数，将灰度图中[0,127]区间像素映射为255（纯白），(127,255]区间置为0（纯黑），形成高对比度特征表达。结果如图5.6所示：

图5.6 测试样本图2

最后执行归一化操作，将二值图像素值由{0,255}线性映射至{0,1}区间。这个过程通过使用np_img除以255来实现，将输入数据分布限制在Sigmoid激活函数的敏感区，从而有效防止梯度消失问题。如图5.7归一化处理结果。

图5.7 归一化处理结果

5.1.4 图像裁剪

裁剪流程可以概括为4个过程：坐标归一化恢复，即将定位网络的输出归一化后的坐标(0-1之间的数)与图的尺寸(宽100，高30像素)做乘法，得到坐标点的实际坐标如图5.8所示：

图5.8 裁剪前后对比

5.1.5 模型构建

构建训练第一个模型：预测汉字中心坐标。接着，对整个图像矩阵进行归一化处理，即将其除以255，使得输入数据变为由0和1组成的矩阵[10]。

5.1.6 模型评估

从训练损失及训练正确率曲线可以看出模型在训练步数为16k时趋于收敛，损失从4.0平稳降至0.2以下，呈现出指数级递减的趋势，即参数的更新方向是合理的[11]。如图5.9。

图5.9 形近字（如“未-末”）对比图

5.1.7 结果呈现

中文识别系统的实现基于深度学习双阶段架构，具体流程如下：

图像预处理阶段

汉字定位检测

字符分类识别

系统通过Django中间件实现异步处理，平均响应时间低于800ms。识别结果存入ImageCheck模型并返回前端，利用AJAX动态更新检测结果[13]。识别展示如下图5.10所示。

图5.10 展示结果

5.2 登录注册实现

登录页前端登录表单(login.html)通过POST方式输入用户名、密码与登录类型（用户或管理员）后，后端利用Django中的AuthenticationForm提供验证的方法进行验证。登录页面如图5.11所示。

图5.11 登录界面图

5.3 后端管理实现

该后台数据管理系统基于Django Admin模块构建，主要实现四大核心功能：

数据可视化展示

图片数据管理

检测结果追踪

系统深度集成

批量处理：允许后台管理人员选择记录批量导出（CSV/Excel）、批量删除等。后台程序每天最多可处理检测记录数量为10万+记录，通过列表使用参数list_per_page分页显示50条记录，解决高并发访问的渲染效率。后期可通过自定义get_queryset实现对检测结果分级权限控制。后台管理页面图见图5.12-5.14：

图5.12 首页后台管理

图5.13 用户后台管理

图5.14 图片后台管理