| 导语 小朋友在扣叮编写了一段代码,对着掌控板说:开灯!教室里的灯就亮啦!--如此神奇的功能是怎么实现的呢?
1、创新特性名(name)
腾讯智启青少年人工智能教育平台:编程+物联+AI+智慧教室,用编程照亮AI。
2、主创团队名(who)
CSIG云与智慧产业事业群/智慧行业产品二部/行业产品中心/行业产品组
CSIG云与智慧产业事业群/智慧行业产品二部/行业产品中心/业务二组
IEG互动娱乐事业群/互动娱乐发行线/社会价值探索中心/扣叮编程组
CSIG云与智慧产业事业群/智慧行业产品二部/智能教育研发中心/创新产品组
3、创意点的产品功能/使用场景介绍(what/where)
腾讯智启青少年人工智能教学平台是为K12学校提供的一款基于人工智能教育背景的产品。包含四个能力模块:教学平台模块,物联平台模块,腾讯扣叮编程平台模块和AI实验平台模块。产品架构如下图所示:
未来的时代是人工智能时代,编程从娃娃抓起,让小朋友通过自己动手解决一个实际问题,改变身边的事物,对孩子来说是很有成就感的事情。在创造和改变的同时,还能学习新鲜的事物和知识点。基于以上目的,我们创造性地提出将AI和物联融入编程的教学中,引入多种硬件设备作为输入端和输出端,让编程变得更有趣更有意义。
本创意点是就是通过编程,借助物联,用掌控板控制智慧教室中的设备。
具体介绍:
掌控板:
掌控板是盛思公司的一款硬件产品,是具有编程、造物、物联和AI功能的智能教具,在本项目中作为编程的输入端,可以用麦克风来接收语音信息,并且也可以作为控制端进行控制操作。
智启云控物联平台:
智启云控物联平台能够将硬件设备注册到 IOTHUB上,并且能够实现设备的管理与控制、设备数据的处理和查阅。在本项目中,首先将掌控板和智慧教室中的设备都在物联平台上进行注册,设备即可通过物联网进行通信。
腾讯扣叮:
腾讯扣叮是腾讯推出的面向 9 至 18 岁的青少年编程教育平台,是中国自研、拥有独立知识产权的编程教育软 件。扣叮以培养逻辑思维、抽象联想能力为目标,激发学生的创新精神和创新意识,通过提供内容资源、工具平台、教学培训等系统解决方案,赋能高效编程学习。扣叮提供了丰富的编程实验室,包括游戏实验室、创意实验室、JS实验室、Python实验室、艺术实验室和C实验室,为学生提供丰富的编程资源。
在本项目中,扣叮是学生编程的输入端,学生通过拖积木块的方式编写代码,首先连接掌控板,再将设备连接物联,再编写语音识别逻辑,最后编写操作灯的一系列代码。每一个步骤都需要将相应的操作积木化,学生运行代码后即可将代码通过物联信道以透传的方式烧录到掌控板中,进而执行一系列的操作。
智慧教室-灯:
智慧教室是教学场景下,基于编程和物联的软硬件一体校园教学解决方案。提供智慧的教学环境,便捷的教师管理和教学设施建设;利用物联网在云端进行设备管理和场景化控制,辅助教学,提高教学效率和教学成果。
在本项目中,通过将教室里的灯注册到物联平台上,实现了对编程对灯的控制。本项目中采用第三方合作伙伴施得朗的灯,通过施得朗的中控设备连接灯,通过编程控制中控,中控向灯发送指令,而最终实现灯的控制。
4、创新点的创新之处的具体描述(innovation)——评审创新性
- 编程+物联,真正操控身边物体:让学生真正通过编程控制身边的物体,对于学生来说是很新奇并有成就感的事情。
- 基于硬件的编程:传统的编程都是基于软件的编程,本项目不仅仅将硬件(掌控板)作为编程的输入端,同时将硬件(灯)作为输出端,真正实现基于硬件的编程。
- 设备联动:将控制设备和被控制设备同时连接到物联网上,并通过编程达到设备的联动。这种结合使得学生能够亲手通过在扣叮上拖积木块的方式实现一个教室里可见的功能。
- AI+编程:引入AI能力,让学生近距离感知什么是AI,语音转文字,语音的知识点分析,人脸识别,这些都是为编程赋予了更高的价值。
- 引入智慧教室:智慧教室的引入让编程可控制的终端设备丰富了起来,通过将设备连接中控,学生就可以控制教室里的灯、空调、电扇等设备,并且还可以做场景化配置。这些对于教室里的硬件设备也是一种增值,对于学生来说更是乐趣无穷。
5、创意如何产生的(创新点相关小故事)(why)——评审创新意识
- 如果只有软件编程,我们的优势在哪里?现在市场上的竞品大多都还处在软件编程的阶段,如果想占领市场,取得老师学生和家长们的信赖,我们如何结合腾讯自身的技术优势,在少儿编程领域创造更多玩法?腾讯的优势在于其技术的广度和深度、产品的优质体验,我们可以在软件层面精心打磨,并在硬件层面进行引入,利用我们物联能力,将硬件和编程结合起来。
- 有了掌控板,我们还能做什么?掌控板提供的是基础的输入输出能力,借助掌控板上的光线传感器、触摸传感器、加速度传感器等,可以结合编程做很多有趣的事,掌控板和编程的结合涉及到掌控板和扣叮积木块的打通,将掌控板上的控制指令积木化,即可通过拖拽积木块来操作掌控板。那么掌控板除了自身作为输入端和输出端之外,是否能与其他设备联动呢?能否作为类似于遥控器的输入端来控制其他硬件呢?因此,基于物联的硬件设备联动控制的概念就被引入了。
- 学生如何能够愿意主动学习编程?如果编程仅仅停留在软件层面枯燥的课程,输入和输出都是一些数字和图形,那么学生一提到编程课还是会提不起兴趣。如果加入一些游戏的元素,加入一些创造,加入一些硬件感知,加入一些动手实践,那么学生对编程的概念会产生质的飞跃。
- 如果我能编一段代码让老师无法上课就好了!学生都是抵触课堂的,站在学生的角度,如果可以通过编程,把教室的灯关掉,那么老师也就无法正常上课了。沿着这个角度,编程控制灯要如何实现?
- 想要控制灯就要借助物联网。灯是一个无法联网接收指令的硬件,如何能够将灯标识出来,并加以控制?这就涉及到了智慧教室的改造,将教室里的硬件设备连接到中控,将中控连接到物联网中,作为一个可找到的设备,掌控板也是一个可找到的设备,因此,掌控板和灯就通过物联网建立了联系;扣叮编程编写的代码通过物联网透传到掌控板中,掌控板即可运行代码,实现对灯的控制。
- 如果我说一句话就能关灯就好了。当我们可以通过掌控板一个按键控制灯之后,觉得这种交互方式还可以更加简单,若通过掌控板的麦克风作为语音接受,我们对着掌控板说指令,掌控板在收集到该指令后进行语音转文字和知识点分析形成一个指令去匹配预写的代码,即可用语音控制开关灯了。
6、怎么实现的(how)——评审创新点的复杂度
看似简单的“语音点灯”操作,背后其实是由图形化编程、安全认证、语音分析、设备管理、设备指令、设备数据等几大模块实现的,技术路线如下图。
图形化编程:借助扣叮的Python实验室,用户在IDE中进行积木块的拖拽进行连接硬件设备、连接物联、编写代码逻辑等操作,用户路径如下图。
安全认证: 物联网场景,对安全有着更高的要求。 采取tls 双向认证,保障通信安全。同时为了避免恶意设备以假乱真,后台通过一系列安全策略,揪出恶意设备。另外,考虑到部分教具室低性能的设备硬件,我们还提供了PSK的安全认证方式。
语音分析:开发板向平台上传语音控制指令,先经过腾讯云ASR,将语音转成文本,然后做nlp 语义解析再结合事先设计好的“技能点”,实现语音到物联指令的转译。
设备管理: 平台提供设备添、删、改、查的能力,以及设备状态管理,能够及时查看设备的当前运行状态。
设备指令: 平台除了智能灯,还适配了空调、电脑、投影等多种设备指令,并且能够灵活扩展新的设备类型。控制操作是基于“设备影子”来实现的,指令最终通过mqtt协议下发给设备。
设备数据: 平台要求设备按照指定的数据格式以及频率上报当前状态。平台会存储上报数据以及分析设备行为去推断设备的运行状况、损耗等。另外,在教学场景中,如果有数据展示的需求,学生可以拉取历史数据,构图描述数据趋势。
7、产品的意义对未来的展望(for future)——评审创新点的价值
产品的意义:
- 为下一代造梦:产品的最大意义在于我们做的东西能够让下一代的小朋友们用起来,并且有不断探索的乐趣,小朋友可以真正通过双手改变身边的事物,改变未来。
- 不仅仅是实践,更是创造:提供给学生的案例仅仅是一个最初级的玩法,我们提供给学生的工具和AI能力可以让学生尽情的发挥他们的想象去创造出更多可能性,并且有趣的案例也会激发学生主动想象。
- 这是我可以改变世界的第一步:学生通过编程,真正的改变了现实存在的事物,对学生来说是很有成就感的事情。
- 产品未来有无数种可能:编程本身就是可以发挥想象力的操作,结合更多硬件就会有无穷的玩法。
- 全方位锻炼孩子的能力:硬件+软件是动手能力和脑力的双重结合,如何把成果做出美感也会锻炼学生的艺术素养。
对未来的展望:
- 接入更多硬件设备:在输入输出设备类型上尝试更多接入,更多硬件让编程更有趣。
- 丰富配套课程:为类似场景多打磨些精品课程和配套习题,让学生不但动手实践,更有可追溯的教材和知识点的落地。
- 引入更多AI能力:丰富各种AI能力,不仅仅局限语音和图像识别,以达到通过简单的AI实例让学生明白什么是AI,进而去创造更多AI场景。
附:产品的实现过程中的趣事
灯带直接让我们的工位变成了“红灯区”,开发在联调灯带的时候,专注工作的时候,身边的灯突然就亮了起来,还是差点吓出心脏病,瞬间恍惚,只想问自己我是谁我在哪我在干嘛。。。
扣叮现场灯带调试中,从白天调到黑夜,从周一调到周五,大家都累得瘫倒在地,扣叮研发总监党老师都奋战在一线夜以继日废寝忘食地调灯,场面十分让人感动。。
调灯调到深夜时常让人奔溃,但是每次看到希望的曙光都会分外感动,最终把灯调通的瞬间可以说是非常自豪了,当看到孩子们用编程实现灯的控制时,感觉到的成就感和使命感是难以用言语表达的。
我们在做有意义的事儿,我们乐此不疲,付出再多辛苦都是快乐~