(*)使用指南

一、基本操作

{1-1}

玩偶内部有一块android主板,向外提供4个USB和一个HDMI口。USB用于连各样配件,像这里的摄像头、键盘、鼠标和小风扇。HDMI则可连HDMI接口显示屏。简单说,可认为玩偶内置了个小电脑主机。

有3个按钮,分别是中间鼻子处的电源、左右两眼睛处的场景和隐私保护。

上电后,只电源灯会亮,红色表示待机。此时玩偶主板没电。按下电源按钮,开机,电源灯变绿色,主板通电。正如android手机或平板,启动需要点时间。

看到Launcher桌面,那初始化完成了。

{1-2}

如果玩偶还没wifi,按这视频中“kDesktop连接wifi”部分说的去连接wifi。有wifi地址后,就可远程桌面访问玩偶了。这里演示用的客户端是Windows自带的远程桌面连接。

可以看到,玩偶操作系统是Android。但要用的app可说就只有launcher这个apk。在桌面,商店后面的图标是第三方小程序。

进入“设置”窗口,确保选择了正确的底盘驱动。底盘驱动由玩偶制造商提供,这里是“纽兰斯顿”。进入“纽兰斯顿”小程序,确保选择了正确的串口以及波特率。“长按阈值”参数是长按的时间间隔。

{1-3}

{待补充}

 

二、AI agent

{2-1}

要使用AI agent,需设置AI驱动。Basic小程序的AI驱动要连接Deepseek大模型,需要设置个你从Deepseek申请到的API key。

{2-2}

进入中心,单击AI agent,会列出已安装小程序提供的AI agent。对Basic小程序提供的添加定时提醒,它给了数个预设问题,针对自个需要,选择一个,简单编辑,像物理改为化学。发送,等待deepseek回答。

按要求,deepseek回了个以3列表格表示的两天复习计划。第一个时间段是10点到11点半,建议做的是“复习第一、第二章核心概念与化学方程式”。在回答尾部,会有三个数字,依次是此次问答总共用了801个token,输入用了126个token,输出用了675个token。它们前面的“新”字,表示这是此次会话的第一轮回答。

在日志,可看到在得到回答后,系统调用了一个叫“定时任务”的小程序任务。

去kLink,会有个触发时刻是10点的定时任务。也就是说,到10点了,会重复式语音播放“复习第一、第二章核心概念与化学方程式”。

{2-3}

玩偶提供AI agent运行框架,用户通过编写小程序,去实现特定目标。不少AI agent,它们追求通用解决方案,这里具体化目标了,即开发者知道这次AI agent要解决那种目标,然后写个aiagent任务把这目标进行折分,在每个阶段,知道要调什么工具。

这图描述了玩偶怎么实现之前演示的添加定时提醒。

第一步:向Deepseek提问,得到各时间段下的学习计划。

第二步:各时间段学习计划是文字格式,转化为后面定时任务小程序需要的待增加任务。

第三步:以待增加任务为输入变量,调用定时任务小程序。它会把待增加任务加入到定时任务,于是每到时间段开始时刻,玩偶便会重复式语音提醒。

 

三、课件

{3-1}

课件可以是一篇课文教案,一个问题详细解答,一次家庭作业,一处旅游景点描述,等等。格式上,总体分内容、知识点和习题。必填的只有标题和内容,其它按自个需要。

在“编写”界面,可以制作、并上传课件。制做课件需要输入较多文字,或许可用Windows版Launcher。

要上传课件,供他人下载,需在C洼注册个账号,并以这账号在app登录。上传后,在个人中心、素材,可查看或删除已上传课件。

{3-2}

在“下载”界面,可下载他人编写的课件。

课件能干啥。目前实现的可分为两类。一是放入课单,到时像歌单一样,闲时循环播放声音。

 

四、制做试卷

{4-1}

第二类,课件是LaTex格式时,像试卷,可生成pdf。让制做一张高三数学试卷。

进入编辑,类型选试卷。接下向试卷加题目。用AI搜题。

预设提示是生成10道选择题,6道填空题,5道解答题,这里改为7道填空题。AI搜题可有两种方法,一是用内置的调用大模型api,这里用第二种,deepseek网页版。

第一步,把整段提示复制到到剪贴板。第二步,切换到deepseek网页版,把剪贴板内容粘贴到提问框,第三步,发送,等待回答。回答会须要较长时间,中间deepseek会暂停,您需要点击下”继续生成“。

{4-2}

回答结束,单击复制。回到app,单击“从剪贴板添加”。会提示向试卷添加了几道选项题目。

{4-3}

生成pdf,提示错误。这是因为试卷用的是latex格式,至少须要给写上tex头、tex尾、以及内容。填写方法是选中该字段,然后单击“恢复默认”。

不同题型之间,可能希望有句描述性文字。对第一种题型,这文字是在“内容”。可以修改它。选择题有10道,在第11题“小节间隔”,这值一开始是空的。也恢复默认,在它基础上改。

{4-4}

接下就可以生成pdf了。pdf分学生版和教师版。学生版不带答案,教师版则带答案。先生成学生版。可看到这pdf不带答案。

回到课件,继续生成教师版。可看到这pdf带答案以及解题过程。

 

五、坐姿检测

{5-1}

坐姿检测是本地识别,不论隐私保护是开还是关,都不会向外传摄像头图像。

坐姿检测分两种:正坐(前)是摄像头放在正前方,正坐(右)是摄像头放在右侧。不论哪个方向,都要判断是否端正和是否离座。

用正坐(前)时,判断是否端正是三个指标。不要靠太近,脸不要太歪,头不要太低。具体怎么判断,是通过实时检测33个人体姿势关节键,用特定几个做依据。以不要靠太近为例,用的是左、右肩这两个关键点,它们在x方向的距离。一旦认为超过0.42,就认为靠太近了。

数值上,是以图像宽度是1,其中双肩宽度是0.42。当然,默认可能不适合你,或想放宽或收紧这参数,可去提供坐姿检测的kHome小程序。把最大双肩宽度改到0.38,算法上就会随之更新。

改小最大双肩宽度后,符合靠太近就更容易了。

{5-2}

通过正坐(前),很难判断是否坐直,以及出现驼背。检测这两指标得用正坐(右),那里在计算脊柱角度,和肩到鼻的角度。

{5-3}

不论正坐(前),还是正坐(右),都要产生三种事件:坐姿是否端正,是否离坐,以及是否久坐。可以在kHome小程序修改相关参数。像把是否端正持续时间由10改为8,那只要坐姿不端正持续8秒,就会报告不端正事件。

有了事件,就要做相应处理,这个处理放在kLink。事件被赋值到环境变量env_base_subtask_code_,“坐姿检测”这条自动化,发现这变量不是0了,就去执行“坐姿不端正、离座、久坐”任务。后面kLink会说这任务。

 

六、做操(陪伴做操)

{6-1}

和坐姿检测一样,陪伴做操也是本地识别。场景挂接的是kHome小程序实现的一种肩颈操,怎么做操来自这视频。

(视频)

针对这肩颈操,陪伴可归纳提示动作开始和结束;判断用户姿势,开始20秒倒计时;以及倒计时过程中,一旦发现动作不规范,提示不规范原因。

{6-2}

这里只是一种肩颈操,开发者可以开发陪伴做其它健身操。到时新建一个场景,然后挂接到那小程序任务。

 

 


制作时,用正常语速。做下来太长的话,通过后期减少字数。

工作模式。1(独立模式),2、3

AI agent。4

AI教辅。5(AI教辅:课件)、6

健康护理。7(健康护理:坐姿检测、陪伴做操)、8

安装。9(安装:概述)、10

费用。11(费用)

 

1、独立模式

{首先只显示玩偶图像。}

这是一个AI玩偶。工作在独立模式时,主要用面板上三个按钮进行操作。分别是电源{隔一秒}、场景{隔一秒}、隐私保护{隔一秒}。{说到哪个按钮时,显示对应按钮介绍}。

有时要对玩偶做按钮不能实现的操作,可用电脑、手机或平板,以远程桌面访问玩偶,这时它们的屏幕就是玩偶屏幕。{显示右侧三设备,并标上远程桌面字样}

 

2、主机模式

{首先只显示玩偶图像。}

需要编辑文档这种复杂操作,可让工作在主机模式。玩偶向外提供4个USB。一个HDMI口和OTG。{“向外提供“时,在右侧显示电源口+四个USB框图,“以及...”左侧显示HDMI+OTG框图。电源口标示这是电源口就行,不必说}

USB可以连摄像头、键盘、鼠标等。HDMI则连HDMI显示屏,数据线方便开发者开发软件。{说到哪侧时,显示该侧配件}。

 

3、特色

{开始说到哪点了,显示该点内容}

玩偶内置了RK3576主板,相当于一台操作系统是Android的小电脑。

主要在Launcher这个app上操作。这app是平台加小程序方式,通过小程序去扩展各样功能。

相比手机,有着更宽松权限,成为AI agent专用执行设备。

易携带,可作为手机外第二个随身智能设备。

 

4、AI agent

{显示第一行话}

内置提供AI agent运行框架。这框架不是通用方案,而是把Agent嵌入到由传统代码主导的、确定性的工作流中。

{显示后面全部内容}框架逻辑大致是这样的。

{高亮到Deepseek大模型框}第一步,根据用户目标生成问题,发向大模型。

{高亮到小程序任务框}第二步,得到回答后,调用相应工具。

{高亮到等待用户确认框}第三步,生成结果,弹出窗口,等待用户确认。

{高亮到结束框}第四步,如果不满意,根据客户期望重新生成问题,否则此次任务结束。

 

5、AI教辅:课件

{开始说到哪点了,显示该点内容}

课件是AI教辅的中心。课件更准确说是文档,内容可以是一张试卷,一份教案,一份产品推广方案,等等。

排版用的是LaTex语法。内置提供LaTex编译,并做成API,让AI agent中工具去调用。

LaTex编译后,生成pdf格式文件。内置提供PDF渲染。课件平时用的保存格式是rsp,这是一种自创格式,

 

6、AI教辅:三阶段

{显示中间的课件,家庭作业}

处理一份课件包括三个阶段:寻找数据,排版和使用。以试卷为例。

{显示寻找数据列}第一阶段是寻找数据,即找题。可以是AI或手动。

{显示排版列}第二阶段是排版。也可以是AI或手动,

{显示使用列}第三阶段是使用,即能用试卷干啥。可用来打印pdf,线上分享,听课件,以及黑板。

{显示底下AI agent行}可让AI agent一次性完成三阶段,举个例子,先AI搜题,然后可能需要AI的排版,再是生成pdf,最后打印。

 

7、健康护理:坐姿检测、陪伴做操

{显示三列,但不显示文字部分}

健康护理有坐姿检测和陪伴做操。

{显示正坐前文字}正坐前是相机放在正前方。方法直观,易到找放置点。

{显示正坐右文字}正坐右是相机放在右侧。它可以检测驼背。

{显示底行文字}不论哪种坐姿检测,都会产生三种事件:不端正,久座和离坐。

[显示陪伴做操文字]陪伴做操做的是一种肩颈操,分四节,大概3分钟。

 

8、健康护理:特色

{开始说到哪点了,显示该点内容}

不论坐姿检测、还是陪伴做操,靠的是实时检测人体33个姿态点。

检测都在本地执行,图像不会离开设备。

有提供陪伴做操API,让开发者开发做其它健身操。

 

9、安装:概述

安装可分为三个阶段。

{显示第一行}第一阶段,把需要内藏的器件,像RK3576主板、控制板、风扇,放在铝盒内。

{显示第二行}第二阶段,把内藏器件的铝盒,放进棉套。

{显示第三行}第三阶段,把内藏铝盒的棉套,3按钮和3LED,放进玩偶皮套。

{显示第四行}至此安装出AI玩偶。

 

10、安装:棉套、内胆下拉

{显示棉套相关}

安装时会遇到些难点,这里说下两个。

棉套用于解决如何把铝盒放入玩偶。它用顶上两纽扣和上下两面的8个双面扣,让玩偶皮套扣住铝盒,同时做到较好弹性复位。

 

{显示内胆下拉相关}

内胆下拉用于解决玩偶工作时,如何避免皮套表面出现裂缝。所谓内胆,就是用块塞了棉花的布做出需要的“耳朵”形状。不工作时,内胆藏在皮套内。工作了,拉出内胆。

 

11、费用

{显示硬件列}

最后说下传统玩偶升级到这款AI玩偶,大概需要的费用和时间。

硬件上,相关器件都可市场上买到,一个玩偶大概增加490元。

{显示软件列}

软件上,可以自研,也可以买公司提供的服务,费用有2500或5000。

{显示底下文字}

总的来说,如果硬件用现成的,软件用公司提供的服务。开发需要费用,可说就是2500或5000的软件服务费。需要时间,是玩偶厂家开发这款皮套的时间。开发出来后,鲁班猫3以399算,每个玩偶成本大概增加490。

 

全部评论: 0

    写评论: