李根 乾明 发自 凹非寺 量子位 报道 | 公众号 QbitAI
潮水转关,并非毫无征兆。
不知道AI落地趋势变化是否已让你感知?2018年下半年开始,技术先发正在被产品、场景为王替代。
之前,打造通用AI技术公司风头无两。如今,垂直化场景公司拿起AI武器,数据和场景加速转换为势能。
今天要讲的是一桩在线教育领域的AI变革。
一起作业 → 一起教育科技
一起教育科技,之前更为大众知的是一起作业,一家主打K12进校的教育公司,提供的是互联网在线作业和练习系统。
从2018年起,升级更名,以一起教育科技行世。
名头更大,意味着想得更大、做得更多,更多科技赋能产业。
而这个科技,最核心的就是AI,唯有AI,才能实现他们智能化教育的目标。
实际上,在E轮2.5亿美元融资之前,他们就已于2017年年末组建了AI团队,并从微信团队挖来负责人。
即便“一起”搞AI算不上早,但也并非没有优势。
历经7年创业,用户规模7900万,K12领域的数据资源更是壁垒深厚。 这不,牛刀初试便锋芒外露。
去年下半年,他们对外推出一款AI口语评测引擎,用于K12领域口语测评打分。
之前,行业内有技术领域出发的先发产品,涵盖讯飞、思必驰、云知声和腾讯等玩家。
但一起这个引擎,一出手便展现场景公司威力——在横向对比中,击败所有同类项。
How?
亮结果
一起教育科技展示了由业内教育专家组织的评测结果。
评测涉及两个方面,分别是句子层面和单词层面,核心指标是分数分布和分差分布。
分数分布指的是口语评测引擎为样本打分的情况。分差分布代表的是引擎打分与人类专家打分的差。
在分数分布上,一起教育科技的引擎在单词和句子上的打分,与其他各家更趋近人类专家的水平。
分差分布上,一起教育科技自研的引擎表现也很亮眼。
在单词层面,分差在0~1之间的概率近70%。
句子层面上,分差在0~1之间的概率达到80%,比排在其后的竞品高出10个百分点。
一起教育科技透露,整个评测过程实际也是“人机大战”:
- 首先是从数据库中随即抽取1000个语音样本,有词,有短语,也有句子。
- 其次邀请两位人类专家双盲交叉评分(8分制),并力争一致性在90%以上。
- 同时进行的还有各家AI对该评测数据的打分。
- 最后比较AI给分和人类专家给分的分差——分差越小,AI引擎越好。 于是有了这份结果。
为什么要这样测?
一起教育科技方面解释,一方面是基于K12教学大纲进行考察,要涵盖音素准确率、内容完整度、流利度、重音、 韵律(语调,停顿)等。
另一方面符合国人学英语的习惯,如果AI引擎直接按照标准国际口语打造,最后就会与人类专家打分出入很大——国情和语言环境所限,AI评测首要问题是“听懂”,才能精确打分。
这实际上并非轻而易举。
达成如此结果,背后不仅有一支类似教AlphaGo下棋的围棋国手们,也有一支50多人规模的AI作战团,且整个打造过程历时2年之久。
为什么这么久?
模型打造挑战
口语测评与语音识别等一般的机器学习问题不同,是一个主观性的问题,需要考虑到评分的标准,以及评分的一致性。
这对于模型的稳定性提出了更高的要求。尤其是在作业和考试场景,对打分的准确率要求更高。
种种因素决定,自研口语测评引擎,并不能简单地将通用声学模型搬来套用,而是要针对具体场景构建模型。
相对于其他各家来说,一起教育科技的口语测评引擎,不论是在模型上、标准上,还是在训练数据上,都更加专注于K12教育场景。
口语测评的任务中,语音对应的文字,引擎是事先知道的,其关键任务就是给用户的语音做一个精确的评价。
通常情况,语音识别的声学模型,都是基于音素(phoneme)来构建的。
但进行口语测评,对用户的发音要求比较高,如果单独看某些音素(清辅音),并不能准确给出评估。
一起教育科技的解决方案是,构建基于音素和音节(syllable)的声学模型,对于无法单独评估的因素,将其置于音节之中,结合场景给出评估。
在评估发音准确度方面,业界通常采用的是GOP (Goodness of Pronunciation) 算法。
这一算法的核心,是计算用户发出的语音与系统已知文字对应的可能性。可能性越高,发音就越准确。
这个可能性,就是系统已知发音和未知发音的似然比(likelihood ratio)。
似然比的计算,通常基于声学模型。大部分成熟的声学模型,使用的训练数据通常都是都是英语为母语的人的录音。
对于发音水平较好的学生,GOP算法能够给出一个相对准确的评估。
但对于发音较差、中式英语痕迹很重的学生,其似然比区分度很低,这个算法就很难奏效。
对于这个问题,一起教育科技采用两个解决办法。
首先是训练模型的数据,来自于自己收集的作业数据,经由教研团队仔细标注。目前,一起教育科技已经积累了万小时级别的口语数据集。
其次是评分标准,只是将GOP算法作为其中的一个维度。在构建评分决策树中,集成了更多其他符合K12教学场景的特征。
比如长元音和短元音应该怎么去分析、音素错误的位置对评分产生什么样的影响,等等。
这些特征,由教研团队从教学大纲和口考标准中提炼而出,既符合教学目标,技术上也有可行性。
评分标准更加细化,也减少了模型训练时对数据的需求。目前,口语测评引擎已经融入到了一起教育科技的产品之中。
一起教育科技介绍称,引擎每天承接的请求量达到亿级,用户对于引擎打分不准的建议率在万分之几的水平。
将AI融入“血液”
不过,这只是序幕而已。
一起教育科技的壮志雄心,不止于口语测评。2017年,“一起”从微信模式识别中心挖来饶丰组建AI团队,当时就有短中长规划。
第一步,先从语音是识别入手,解决英语学科测评打分的老师痛点。
第二步,围绕图像领域展开,推出口算拍照等产品,且对数学试题中的“逻辑”能有清晰理解。
此外,还有推荐引擎机制,通过智能化推荐方式,实现千人千面、因材施教,让学生在测试中不断完善短板。
目前,一起教育科技已经组建起一只能打好用的AI团队。
未来目标是能够打造完美AI助教,让AI真正实现赋能教育。
优势也很明显,在“一起”,教育场景能不断给AI模型反馈,而AI则能第一时间落地作用于教育,循环往复,生生不息。
当然,对于一起教育科技来说,AI只是“科技”的一部分。
去年第四季度,他们从奇虎360挖来前搜索事业部总经理杨康担任技术总负责人,负责将公司进一步科技化,打造K12智能教育平台。
△杨康
这位前360的No.53号员工,拥有十多年的研发及业务管理经验。
他说,一起教育科技,教育在前科技在后,“一起”的核心着力始终是教育,但科技会是最佳手段,能够帮助教育不断提升效率降低成本。
除了AI团队,一起教育科技还有大数据等团队,希望把7年深耕教育获得的数据更好归因、分类,然后更好使用。
在杨康看来,目前教育最大问题并不是内容匮乏,而是很难给每个孩子找到适合自己情况的学习方式与思维方式。
AI与大数据的结合,能够很好地解决这个问题,这能够为每个学生打造一个“私人助教”,而 非“大班制教学”走马观花式学习。
在他们内部,首先是数据带动信息化,其次是AI等模型引擎作用其中,最后以智能化产品发挥更大价值。
毫无疑问,这也会是整个教育行业的趋势。
这个趋势已经开始,这个趋势不会停止。
— 完 —