技术解读 | 指尖的勾勾画画,“慧眼如炬”的机器是怎么看懂的?
听说在全球1024开发者节科博展的AI科技馆里,两个和“手”有关的展项备受欢迎:
一个可以在大屏上随意书写,中英文、表格“小菜一碟”,复杂的公式、流程图,甚至是专业的有机分子式也能一丝不苟的秒识别;
一个则可以用手在空中一笔一划写字,不仅有“起笔”、还有“落笔”,机器能精准读出你写的每一个字,这可比在手心比划猜字的准确率高多了。
不要小看指尖的神奇力量,这背后可融合了多种独家、先进的识别技术,也是科大讯飞研究院在多模感知方面积累的集中体现。仔细留心,这些技术能够在我们的工作、生活中发挥重要的作用。
那么,机器究竟是怎样看懂我们指尖自由勾画出的这些复杂内容的呢?
独门秘诀一:理化生“优等生” 免切换更丝滑
手别识别,大部分人并不陌生,例如在手机输入法里手写中文字词、识别后进行输入。但在手写识别应用频次较高的智慧课堂上,如果要在屏幕上手写一些复杂的内容——中英文、公式、图表、图形等,由于随意性大、专业性强等问题,手写识别难度极高,业界常用的单原子引擎无法直接完成转写。
如何让机器能够精准识别各式各样的内容?科大讯飞研究院给出的答案是:基于多模态版面分析的多要素自由绘写技术框架。这一技术框架以系统性创新为基础,基于时序轨迹和平面图片两种模态信息,完成实时识别。
首先,完成流式版面语义分析,实时层次化解析书写区域类型;
其次,针对不同类型,使用多要素自由写识别与复杂结构化识别技术完成子区域转写;
最后,基于时序轨迹变化与历史记忆模块,将整个流程系统化,实现了增量实时识别系统。
这项技术不仅能够实现即写即转,而且识别精度极高,对比以往书写不同语种、类型的内容需要点击切换的情况,还真正做到了免切换实时识别,也是目前讯飞在业内的“独家秘技”。
此外,自由绘写技术中集成的手写有机分子式识别能力,也是讯飞研究院独家研发成果,其中原创性地提出了随机条件图解码,大大提升了对复杂样本的泛化性,能够做到复杂图形精准识别。
在讯飞输入法和讯飞智能办公本里,你可以开启手写功能后无缝自由书写中英文,精准识别的背后带来的是效率的提升;
在讯飞AI学习机里,你可以写下各种数学公式,学习机能够精准识别并批改诊断,因材施教;
在讯飞教育智慧窗的大屏上,老师和学生可以直接书写各类公式、有机分子式、图表等,不仅能在识别后实时显示,还能自动关联知识点并推荐和讲解,让教学更加“有的放矢”。
自由绘写技术未来更多的拓展和应用可能,还等待我们共同去探索和发现。
独门秘诀二:手势、指尖齐上阵 重新定义“提笔”、“落笔”
比起手写识别,凌空手写更像武侠小说里高手们的绝招——没有了纸张、屏幕等书写的实体对象,手写的“提笔”、“落笔”难以判断,手写轨迹也相对更难以识别。
讯飞研究院所研发的凌空手写,通过简单的手势指令即可触发机器进行手写轨迹识别,整个过程在非接触下完成,操作简单自然。这其中离不开高精度的手部关键点定位和追踪能力,在这些技术能力的加持下,凌空手写无需佩戴手套、手环等设备,书写更加丝滑,所生成的轨迹也更接近于真实书写。
怎样判断指尖已经落到“无形”的纸上了呢?讯飞研究院进行了创新性的定义:将拇指和食指指尖的拟合定义为“落笔”,相反两指间张开则视为“提笔”动作。这样,机器就能更清晰地看懂单个汉字书写的起笔和终了。在完成单个文字的书写之后,还需要再通过手势发出相应的指令告诉机器:“我已经写完了,请识别吧!”
在遇到错写、漏写或者识别结果有好几个候选的情况下,同样可以通过手势指令来完成删除、插入或替换。
以上种种能力都来源于讯飞研究院自研的手势交互系统,系统通过任意普通相机对手部信息的捕捉,再对连续帧图像进行时序特征建模策略,从而实现“高召回、低虚警”的手势识别能力。
这项看似有些“玄幻”的技能,其实已经在智能座舱、视频通话等场景里落地应用,也同样是我们与虚拟人交互沟通的方式之一。以往只能在文学作品和想象中出现的神秘“绝招”,已经在科技的进化下成为了人人可体验的技能。
从在泥板和竹简上刻字,再到用纸笔书写,人类的指尖涌动着千年的文明传承。在人工智能等技术的演进与融合下,指尖勾画的对象、方式、内容和价值有了无限延展的可能。
伴随着虚拟人、智能穿戴设备和机器人产业的兴起,多模态融合中的全新手写交互体验不仅加速了知识传递的效率,更是引领我们踏入元宇宙等新领域的“敲门砖”,人类指尖传递的或许正是通往未来的密码。
相关知识
牡丹病毒病防治技术深入解读
白菜病虫害问题及绿色防控技术解读
深入解读土壤修复的原理、现有技术及其未来发展趋势
中国花卉产业季节性解读
花卉行业政策解读与市场展望
园艺教育专业解读
解读
《农作物病虫害防治条例》政策解读
专业解读 丨国家级一流本科专业——园艺专业
农药管理条例解读
网址: 技术解读 https://m.huajiangbk.com/newsview764651.html
上一篇: 在家也能种三角梅(家庭种植三角梅 |
下一篇: VC开发手写识别系统:深度解析与 |