当学习变得好玩,会否让你走得更远——作业帮直播课的AI努力

2021.03.04 -

老师提个问题,小朋友们一起喊出答案,这是学校课堂的景象。1月27日开始,这个场景也会在线上课堂呈现了。

在作业帮小组直播间上课的同学,从这一天开始,可以听到同组同学的发言。而老师也能听到小朋友们的“发言实况”。

它模拟的,正是线下课堂的互动氛围。

作业帮小学产品负责人曹越说,希望能让小朋友们有线下上课的感受:有小伙伴一起学习,有老师关注着你。

模拟这样的氛围,不是件容易的事。仅就“听到彼此”这个集体发言功能的升级版,大家就努力了几个月。程序员们还加班加点,进行了技术攻坚。

而这只是作业帮借助AI技术,增强课堂趣味性的一个最新功能。

技术服务于教育需求。仅小学课堂,在2020年推出小组直播间后,就怎么增强小组体验,怎么更靠近真实课堂等方面,不同的AI功能被开发上线。

对于很多地区的小学生和他们的家长,AI可能还是个比较遥远的名词,不过小朋友们课堂上喜欢的“比心”、“弹幕”,以及他们现在能听到小伙伴的声音,依托的都是AI功能。

“有趣,有方法。”曹越说,这是小学产品理念。让在线课堂有趣,培养孩子们的学习习惯、学习方法。

在小学产品经理聂靖骐看来,对于孩子们,尤其对于小学低年级的孩子,课堂有趣很重要,“他觉得有意思才可能去理解它”。

老师,我还举着手呢

“我们想,能不能在大班的模式下,尽可能给用户更好的体验。”1月25日,作业帮小学产品负责人曹越说,随着早先大班直播课的发展,一个老师可能面对太多学生。学生可能会感觉老师关注不到自己,从而不好好听课,尤其是小朋友。

为增强学生更偏个人的体验,以及学习了现实课堂的分组教学,曹越他们打造了大班课小组直播间模式。

2020年1月,作业帮小学课程直播模式升级。登录后,小朋友们会发现自己有了小组。每6个学生一组,每6组形成一个班。

当学习变得好玩,会否让你走得更远——作业帮直播课的AI努力

与小组直播间一起上线的,还有双向视频。以前直播只有孩子们能看到老师,这次升级后,老师也能看到孩子们了。

从老师一端,可以随时翻动屏幕,看到不同小朋友的状态。

跟随观察新功能、新产品的使用,是产品经理们的日常。曹越说,观察课堂,会发现老师和孩子们的互动是很多的。尤其双向视频打开后,老师可能提醒孩子坐好,或者告诉小朋友大家很棒,给自己点个赞。而曹越他们也很快注意到了一个问题。

“孩子点赞之后,老师没说'把手放下去',孩子可能都不会把手放下去。”曹越说,孩子做完一个动作,他很难知道老师有没有看到。也就是,缺乏反馈。

但一个老师可能同时面对成千上万个学生。这样的场景,AI是不是可以帮一下老师?

小组直播间上线后,小组、小班的感觉增强了,怎样增强互动性,怎样更好地激发学习兴趣?

“我们想在直播间里,再做一些更好玩儿、更有趣的东西。”聂靖骐说。

如果感到幸福,你就比个心

“我们希望那些常见的手势,可以被(机器)识别出来,系统可以给一些反馈。”曹越介绍,手势识别这个功能,初衷是及时给孩子们反馈,增强课堂互动性。

“当时也具备了这样的AI能力,”聂靖骐说,小组直播间上线后,大家也希望能利用好AI,做一些有意思的事。

几个月后,大约2020年四五月份的时候,产品和技术部门讨论,确定了要做手势识别。

首先去识别孩子们最常用的一系列手势,比如比心,点赞,ok等。

问题随之而来:孩子们来自全国各地,他们打手势的方法可能很不一样。例如比心,有这样比的,有那样比的;有单手的,还有双手的。

“最早定义手势比较难。怎么样去定义一些更通用、更简洁的手势。比如说比心这个事,每个人都不一样,但是技术不可能包容(所有)。”作业帮智能技术实验室负责人王岩介绍。从技术上,最终的目的,是要保证大家的理解是一致的。

手势识别,简单说,就是让机器“看”到屏幕前一个小朋友的一个动作,它要认识,要给出回应。

要让机器去认识手势,先要告诉它某个手势是什么意思。

先要收集手势。主讲老师向小朋友们发起了手势征集,征集来几千个小朋友比手势的图片。

王岩介绍,当时,工程师们还给自己写了个小程序,团队的工程师假装是小朋友在上课,去比划手势。

收集同一手势的不同图片。去掉不多见的手势,留下常见的,做成模型,然后训练机器去识别。

几个月后,2020年暑假课程,第一版手势识别上线了。

当学习变得好玩,会否让你走得更远——作业帮直播课的AI努力

这个功能很快就俘获了小朋友们的心。

在暑期课后的问卷调查中,9000多名参与的学生,约94%的孩子表示非常喜欢。

他们最喜欢和最常用的,是比心,点赞和Ok。积极而向上。

同学你去哪儿了,回来上课

依然是从2020年暑假课程开始,细心的小朋友会注意到,眼前的屏幕变得非常酷:它不仅“认识”自己做的动作,还能“注意”到自己有没有好好听课,乃至能“看”到自己离屏幕有多远。

如果没好好听课,就可能会收到辅导老师的信息提醒,或者妈妈会接到老师电话。

好有意思。

“家长负担很重,还要陪着孩子上课。而如果是线下,我交给老师,老师帮我看着。”曹越说,利用AI技术,赋能在线课堂,可以给老师们提供很多利器,甚至辅导老师能帮家长看着孩子。

这些利器中,最显著的一个是孩子们的专注力检测。

也就是,利用AI去判断孩子们有没有认真上课。

“就是AI会帮我们辅导老师筛选出来:要关注这10个孩子,他们现在的专注力已经很低了。”曹越举例,这时候,辅导老师就会去重点看一下这10个孩子。

这个功能,技术上其实很难。

“比如他有可能发呆,但是画面跟沉思没有什么太大区别。”王岩介绍,专注力有很多维度,怎么去定义它,本身就很难。

“这个东西很主观,什么样是专注?”曹越说,比如你可以说不正视屏幕是不专注,但这个孩子他可能低头记笔记。他说,就怎么定义专注力,他们做了非常多的“细维度拆解”。

聂靖骐介绍,刚开始时,很多情形下机器可能判断不准。比如孩子上课的环境,灯光比较暗,机器“看”不到,它可能认为你离席了。

离席检测是与专注力一体的一个功能。目的都是关注孩子的上课状态。

“线下,有老师的参与。但线上,(如果)家里没有其它人,小朋友自觉性可能会比较差,离席检测相当于监督他的手段。同时也让小朋友觉得更有意思,更自觉。”作业帮视觉实验室程序员杨森介绍。

功能很酷,但是不是准确更重要。系统多一次错误,老师就会多浪费一次时间,孩子也会被打扰到一次。

王岩说,开始的时候,离席检测准确率不够高,他们就去重点优化。大家把几个问题严重的异常case梳理出来,针对性的分析解读,把准确率提高到了90%。

当学习变得好玩,会否让你走得更远——作业帮直播课的AI努力

除了判断孩子是否专注,机器还能够判断孩子是否距离屏幕太近。

如果发现小朋友离屏幕太近,系统就会弹出一个气泡来提醒。聂靖骐说,这中间有个平衡问题,不能提醒太频繁,打扰听课。

“比如看到你头都要贴在屏幕上了,就发个提醒。”杨森说,提醒的使用,是非常严格的。

小朋友,你咿呀说的是啥?

还是从2020年暑期开始,小朋友们还会发现:咦,可以跟屏幕说话?它不但能听得懂,还会把自己说的话飘在上面。

这个暑假,作业帮在在线教育行业中,率先推出了弹幕功能。

“以前,老师提一个问题,学生需要点一下输入法,一下子就占了半个屏幕在下面打字,这样的体验很差。”作业帮智能语音技术负责人王强强说,尤其对于低年级的小孩子,一二年级,他们可能还不会打字,或者打字很慢。

但老师和学生又是需要互动的。老师想要知道学生听课的反馈,而孩子们需要表达,“就像我们在正常的课堂那样”。

有了语音弹幕功能后,老师问一个问题,学生的页面上会直接跳出来一个小话筒,他可以直接对着屏幕说话。

然后AI会识别孩子们的发言,“汇报”给老师,比如最高频的4个回答是什么。

鼓励孩子开口,参与到课堂中。

“营造很有意思的课堂氛围。”产品经理聂靖骐介绍,语音弹幕最主要的使用场景是小学语文。例如老师读完一个故事,问一个开放性的问题,学生就可以直接说。

聂靖骐说,老师们也很喜欢这个功能,例如问孩子们是不是听懂了,可以很快收到反馈。

从学生的角度,他不用打字,可以快速回答。

王强强介绍,2020年暑期前,他们小规模测试弹幕,发现小朋友很喜欢,孩子们会觉得很智能,屏幕能听懂自己说话,很惊喜。

暑假正式上线,高并发的问题来了。

什么是高并发?作业帮直播课,有时几千、几万乃至更多的孩子一起上课,老师同一个问题,当孩子们一起开口回答,就是瞬时高并发。

王强强举例,想象一下春晚抢红包的场景,几万路瞬时打进来,“而我们相当于天天抢红包”。

也就是,机器需要巨大的“脑容量”,去支撑巨大的瞬时识别能力。

“我们当时压力特别大。”王强强说,最后是作业帮副总裁罗亮拍的板,加机器。罗亮说,这个功能挺好的,不能因为成本变高就不让孩子们用了。

“最后买了那么多机器,硬是把它给扛住了。”王强强说。

除了扛住高并发,要让机器识别出孩子们在说些什么,也不容易。

“一个是,他说的可能不太清晰。然后还可能,他说的话,跟老师的提问没有关系。甚至和中国话、外国话都没什么关系,小朋友自创语言。”王强强说,还有时会混有家长的一些声音。

还有口音问题。学生们来自各地,很多孩子来自三四线、五六线城市,如果普通话不标准,或者说有方言问题,怎么去识别?

王强强说,没有更好的方法,只能不断地训练AI的识别能力。

听懂孩子们,它是个不断优化的过程。

“几千个孩子去说,一定有十几、二十个说得好的,说得更标准的。”王强强说,然后算法通过半监督的方式自动学习,增强模型。

一起抢答吧,可以听到彼此了

整体得分9.48分,满分10分。这是去年暑假后,孩子们对新的AI功能的打分。

产品经理张琴回忆,也正是暑期后这次问卷,他们发现在小组直播间,孩子们已不满足只是自己说。

70%以上的同学表示:想听到同组小朋友的声音。

让孩子们互相听到,实现起来,技术难度很高。

最主要是回声和噪音的消除问题。就想象一下几万人一起在线开会,作业帮流媒体客户端负责人曾建斌说。

到底要不要开发这个功能?产品经理去和技术的同事提需求,探讨。

大家争来争去,会开来开去,决定还是要上。

当学习变得好玩,会否让你走得更远——作业帮直播课的AI努力

并且也要让老师实时听到孩子们的声音。此前孩子们的发言,老师看到的是声音转成的文字。

产品经理聂靖骐说,大家觉得这也会营造很好的课堂氛围,“我同组其他的同学在回答(问题),可能我本来不想说,我听了别人说,我也想说了。”

但也是极大的挑战,哪怕一个人的设备传回噪音,就可能毁了一堂课。

而作业帮的孩子们上课的场景很复杂,使用的设备更是庞杂。

曾建斌说,孩子们可能在菜市场上课,在工地,在商场。背景会是各种噪音。他们使用的可能是无牌或杂牌设备,识别起来很难,更不用说针对机型做适配。

上灰度测试。也就是选特定课堂,小试一下效果。结果有老师说很吵,吵了一堂课。有孩子说,吵死我啦。

问题比预估的还严重。曾建斌他们赶紧停了测试。攻坚,加班加点。

去找来所有可能找到的机型,做适配,降噪消音。个别实在识别不出的设备,再想办法。

据曾建斌介绍,相对棘手的机型,占比大约不到1%,但“这也不能放弃,不能说,你手机不行就不要上作业帮的课了”。

1月27日,作业帮集体发言实现了升级。孩子们可以听到同组同学了。而老师也可以随机选取一组同学,听他们的实时发言。

当学习变得好玩,会否让你走得更远——作业帮直播课的AI努力

在小学产品负责人曹越看来,这个功能,也是基于现实课堂的场景,小朋友们能听到老师,老师能听到小朋友,小伙伴能听到彼此。

学习不是一个单向的事情,曹越说,希望孩子们一起,可能就会相互影响,希望能把课上得更好。

建一个渠道,或许你会看到更多可能

寒假到来。小朋友们能听到队友的声音了,但效果怎么样,他们喜欢吗?

对于张琴他们来说,新功能上线,对用户体验的跟进也就开始了。

而早一些上线的功能,依然需要持续优化。例如专注力检测。“我们还在不断去找各种维度,丰富模型。”曹越介绍。

对于曾建斌他们来说,集体发言升级可能只是新挑战的开始。新的问题随时可能出现,新的机型,新的噪音。

而每一个问题都可能影响一堂课,乃至更多。

在作业帮副总裁罗亮看来,在教育公司做程序员,它是不一样的。对于其他行业的程序员,用户可能是一个数字,一个pv,一个uv。但对于教育公司的程序员,用户就在你面前,他是一个真实的孩子。

罗亮举了个例子,有次一个程序员已经下班了,有个辅导老师找他,说有个孩子因为网络问题无法做互动题急得直哭,这个程序员就赶紧回公司,去看是什么问题。

“我们是在线教育,如果我们技术服务不好的话,老师讲得再好,学生体验也会受影响。”曾建斌说。

在张琴看来,在线教育优势明显,汇集了优质资源,触及更多学生。但局限性也很明显,例如感知力的影响。

比如,老师是在屏幕后面的,他其实对学生的影响效果会打折扣,张琴说,这种不足需要更多的手段去提升,也就是去不断减少折扣。

教育应该是拓展一些可能性,语音实验室负责人(智能语音技术负责人)王强强认为。而技术可以帮助带来更多的可能性。毕竟,一块屏幕连接的,是不同地区的孩子和老师。

AI,技术,更好的师资,在王强强看来,都是一种辅助手段。都是“术”。而“道”,是建立一个渠道,一个平台,让孩子们看到更多的可能性。他就可能走得更远。

“其实我们要做的,就是这样的事情。”王强强说。

- END -

50
0

已关闭回复!

2019斗鱼嘉年华迎首次5G+VR高清直播(附节目单)

5月31日至6月2日,2019斗鱼嘉年华将在汉口江滩火热来袭。在为期三天的嘉年华期间,斗鱼直播将携手中国移动、 […]