智能文字识别是 AI 领域的一个重要分支,该技术融合了智能图像处理、基于深度学习的复杂场景文字识别、自然语言处理(NLP)等多项 AI 技术,算法涉及机器学习与深度学习。
1、行业所属情况
1)机器学习与深度学习
机器学习是 AI 的一种底层算法,深度学习是机器学习的一个子集。机器学习的算法是建立在一个样本数据集上,在没有明确编程指示下,依靠模式和推理做出预测或决策的数学模型,且可随着数据量的增加不断改进算法性能。深度学习是机器学习方法系列的一部分,利用多层神经网络从大量数据中进行学习。
机器学习在处理问题时,需要先人工进行特征提取,然后根据提取后的特征进行分类问题求解;深度学习将特征提取与分类问题求解汇总在一个神经网络模型中,只需一次输入即可得到最终的输出结果,无需手工获取特征,所以能解决更为复杂的问题,且由数据驱动,有效数据量越大,模型的表现越好。
随着深度学习出现,AI 算法瓶颈逐步被突破。机器从海量数据库自行归纳物体特征,按照该特征规律识别物体,图文识别的精准度得到极大提升。
2)自然语言处理技术
自然语言处理(Natural Language Processing,简称为“NLP”)技术是 AI 的一个子领域,用于分析、理解和生产自然语言,NLP 技术实现机器与人沟通的大前提,决定了机器对语言的理解能力。机器学习与深度学习大大推动了 NLP 技术的发展,使其具备可表达性、可训练性以及可泛化性。
3)结合深度学习、NLP 的智能文字识别技术
将图像中的文字转变为机器可读可处理的字符信息,是机器与现实世界进行视觉交互的重要基础,催生了光学字符识别(Optical Character Recognition,简称为“OCR”)技术。根据中国信息通信研究院、中国人工智能产业发展联盟与腾讯集团联合发布的《智能文字识别(OCR)能力测评与应用白皮书》,早期的 OCR 技术可追溯到 1870 年,电报技术和为盲人设计的阅读设备的出现标志着 OCR 技术的诞生。
从 2000 年开始,在线服务成为 OCR 的主要业务形态之一,这一阶段 OCR 技术仅在比较规整的印刷体文档识别上性能良好。2014 年以来,随着深度学习技术在 OCR 领域的应用,加上海量训练数据的积累,OCR 取得了飞跃性发展,适用范围明显扩大。
2017 年以来,OCR 技术越来越多的和自然语言处理技术相融合,形成了智能文字识别技术,增强了对内容的“理解”能力,通过语义信息的关联,复杂场景下的文字识别能力得到增强。与此同时,随着图像处理等技术的发展,能够将扭曲和畸变的文字图像进行矫正,也能够改善 OCR 性能。
OCR 通过图像文字的识别实现信息录入,有两大核心优势,一是提高效率,相比传统的人工方式,显著提升信息录入效率;二是降低成本,通过机器代替人工,可大幅降低人力成本的开销。因此 OCR 技术具有较高的实际应用价值,是 AI 应用中商业推广落地较快的领域,是 AI 领域的重要分支。
《中国禁止出口限制出口技术目录》已将“印刷体汉字识别技术、程序结构、主要算法和源程序、具有交互和自学习功能的脱机手写汉字识别系统及方法、汉字识别的特征抽取方法和实现文本切分技术的源程序”等纳入限制出口的信息处理技术范围。为落实国务院印发的《新一代人工智能发展规划》,科技部启动了实施科技创新 2030“新一代人工智能”重大项目,并提出 2020 年度第一批项目申报指南,其中“复杂版面手写图文识别及理解关键技术研究”被列入“新一代人工智能共性关键技术”。
传统 OCR 技术针对特定场景的文字图像进行建模,受限于手工设计特征的单一表达能力和复杂的处理流程,一旦跳出当前场景,遇到复杂场景,模型就会失效。而基于深度学习、NLP 的智能文字识别技术可解决传统 OCR 的缺点,灵活应对自然场景下多形态文本以及手写文本。:
2、行业概况
相比传统简单文字识别,智能文字识别技术融合图像处理、OCR、深度学习、NLP等 AI 技术,具备更多认知与理解能力,可适应多语言、多版式、多样式等复杂场景,识别准确率大大提升,同时可基于理解能力进一步开发文档解析、分类、对比、审核等功能,是个人文档资产管理与企业数字化转型的关键。
从个人用户角度,用户对个人文档资产管理数字化意识和需求不断增强,合同、名片、发票、笔记等非结构化的纸质文档通过智能文字识别技术数字化后,用户可随时随地在手机、电脑等多终端进行查询、管理及分享,解决了纸质文档不易存储、分类、查询或提取关键信息等痛点,满足个人的办公、求职、学习等不同场景的需求。
从企业客户角度,企业数字化转型是将数字技术进行商业化落地,从根本上对业务流程进行优化,智能文字识别技术可将企业运营过程中产生的大量非结构化、非标准化的文档数据进行提取、存储、转化、解析,为企业客户节省人力成本,提升运营效率,解决了众多行业存在的人工操作效率低、业务处理流程长,将迎来巨大发展空间。
根据 Grand View Research 报告,全球智能文字识别服务市场规模 2022 年达 106.5亿美元,预计 2022-2027 年复合年均增长率约 16.7%。
从下游行业应用来看,金融、物流运输的市场规模是占比最高的两个细分行业,且增速也最快,主要由于金融、物流运输企业在业务流程方面的基础信息化建设程度、投入意愿相对其他行业来说相对较高,在证照、单据、表格等文档的智能录入、分类、比对、审核方面进行降本增效具有较大需求,为智能文字识别技术的商业化快速落地带来基础。
分国别来看,2022 年,亚太区智能文字识别服务市场规模占全球比重约为 22.7%,2022-2027 年复合年均增长率预计为全球最高水平,达 19.4%。亚太区的高速增长原因主要为:
1)中国、印度等部分国家经济的高速增长,经济活动的增长一定程度带来文档数据与信息量的增长,政府、企业对经济活动中产生的文档进行电子化存储、数据提取、分析挖掘具有巨大需求;
2)亚太区域互联网、智能手机的高速发展推动数据量爆发式增长,智能文字识别作为数字资产管理的关键技术,拥有巨大发展前景;
3)亚太区近年来对于 AI 技术研发、产业智能升级的重视,促使智能文字识别技术持续提升,以及推动企业对于此服务的投入。相比北美、欧洲等发达国家和地区,亚太区智能文字识别行业尚处于发展初期,处于高速发展时期。
根据灼识咨询,2022 年,中国智能文字识别服务市场规模为人民币50.4亿元,预计2027年市场规模将达人民币168.9亿元,复合年均增长率达 27.3%,远超全球市场总增速。
按照下游客户类型及交付形式,智能文字识别服务可分为 C 端 APP、B 端基础技术服务、B 端标准化服务、B 端场景化解决方案四种形态。在下游个人用户和企业客户对文档资产数字化与智能化升级需求的驱动下,预计中国各类型细分市场均保持较高增速。
3、行业发展驱动因素及发展趋势
1)人工智能列入我国“新基建”范围,政策利好加速产业新生态的构建
人工智能对社会与经济的影响日益凸显,各国政府先后出台人工智能发展相关政策,推动产业发展,将其上升到国家战略高度。我国中央及各地政府近年来先后发布了多条人工智能利好政策。2015 年 7 月,国务院出台《关于积极推进“互联网+”行动的指导意见》,首次将人工智能纳入重点任务之一,推动中国人工智能步入新阶段。
2017 年12 月,工信部颁布《促进新一代人工智能产业发展三年行动计划(2018―2020 年)》。2020 年 4 月国家发改委将人工智能列入“新基建”范围。2022 年,科技部等六部门制定了《关于加快场景创新以人工智能高水平应用促进经济高质量发展的指导意见》,促进人工智能与实体经济深度融合,推动场景资源开放、提升场景创新能力。
智能文字识别作为人工智能应用中商业推广落地较快的领域,正成为人工智能新基建落地应用的“领头雁”,已成为人工智能新基建对外提供的重要智能化服务能力之一。人工智能融入实体经济的过程,也将为智能文字识别产业生态引入丰富的人才、技术、场景等要素。
2)深度学习、NLP 赋能下,智能文字识别技术不断提升
当前深度学习技术不断发展,加速了智能文字识别技术性能提升,为复杂场景的文字识别应用提供先决条件。文字识别应用范围从简单的印刷体数字、字母符号识别,逐步演进到自然场景下多形态文本检测与识别、手写体文本检测与识别等复杂情形。同时,深度学习的出现,使 NLP 技术在阅读理解、机器翻译、问答系统等领域取得了一定成功,大幅提升智能文字识别的技术水平。
近年来,全球智能文字识别领域公认最重要的国际学术会议之一国际文档分析识别大会(ICDAR)上举办的一系列顶级文字识别竞赛的识别率持续被刷新。
3)企业及政府的数字化转型需求不断提升
在第四次工业革命背景下,人工智能、大数据与云计算、5G 等新一代信息技术的快速发展与融合,使得数字化基础设施和产业生态已经成为了社会的“新基建”,其中人工智能是推动数字化转型与创新的原动力,将成为引领第四次工业革命的核心驱动力。
企业及政府数字化转型意在实现运营自动化、管理网络化、决策智能化,有利于加快业务流程重组,有效地降本增效。根据国际数据公司(IDC)2022 年发布的《中国数字化转型市场预测,2021-2026:通过应用场景践行数字化优先策略》报告,中国数字化转型支出中软件增长最高,2021-2026 年复合增长率 CAGR 达到 24.5%。中国企业信息化与 IT 投入近些年不断提升,且相比发达国家仍有较大上升空间。
我国政府对企业及政府的数字化转型也推出了多项利好政策。2020 年底,上海市委、市政府公布《关于全面推进上海城市数字化转型的意见》,提出“实现经济数字化形成新供给、生活数字化满足新需求、治理数字化优化新环境”的目标。
2021 年 3 月,“加快数字化发展、建设数字中国”成为我国十四五纲要中的重要章节,其提出“加强关键数字技术创新应用、加快推动数字产业化、推进产业数字化转型”的要求,人工智能领域的“智能识别系统”是数字经济重点产业,并提出了“加快建设数字经济、数字社会、数字政府,以数字化转型整体驱动生产方式、生活方式和治理方式变革”的目标。
2023 年 2 月,中共中央、国务院印发《数字中国建设整体布局规划》,强调“促进数字经济和实体经济深度融合,以数字化驱动生产生活和治理方式变革”,指出“整体提升应用基础设施水平,加强传统基础设施数字化、智能化改造。”
智能文字识别技术可帮助企业与政府实现文档存量数字化、增量电子化,随着企业与政府数字化、信息化与智能化需求的不断提高,预计将持续推动智能文字识别服务行业发展。
4)个人用户对文档资产管理愈发受到重视
互联网、智能手机的高速发展,使消费者习惯于利用智能终端进行数据处理。同时,在互联网时代下信息爆炸式的增长,且通常个人数据资产都较为珍贵,如合同、名片、发票、笔记等,使得消费者对个人资产管理数字化意识和需求不断增强。
由于纸质文档不易保存,难以对信息进行快速的查询、分类、分享,因此用户更倾向于将个人文档通过扫描、拍照等方式数字化,在本地或者云端进行有效的存储、分类等,以便随时随地在手机、电脑等多终端进行同步、查询、管理及分享,满足个人的办公、求职、学习等不同场景的需求。个人用户对文档资产管理持续存在的需求将不断推动智能文字识别服务行业发展。