做习题、点读笔

对做习题,目前没到可商业化。不过,应该会分两块。一是使用预制习题本,这时得把习题本做成一个文件。二是没有习题本,这时倾向使向点读笔。

 

一、使用预制习题本

生成、放置kbook.csv

  1. 用Excel生成一个文件(假设是kbook.xls),每行2列。
    第一列:页号-题目号。示例:3-15,第3页第15题。
    第二列:[question]问题文字[/question]。示例:[question]求出阴影部分面积[/question]。
  2. 把kbook.xls导出到kbook.csv(必须这个文件名),并把csv编码设为UTF-8。具体操作,在Excel执行,另存为——保存类型选“CSV UTF-8(逗号分隔)(*.csv)”。——如果使用的Excel版本过低,没有设置编码为UTF-8功能,可这么修改kbook.csv编码:操作是运行“记事本”,文件——另存为——编码选“UTF-8”——保存。
  3. 用远程桌面,把kbook.csv复制到设备<UserData>/aplt_leagor_khome__documents/saves目录下。
  4. 附上问题对应图像,图像扩展名jpg或png。图像存储路径<UserData>/aplt_leagor_khome__documents/saves/kbook。示例:3-15.jpg,表示这图像是3-15题目附带的图像。
  5. 运行kHome,“习题”,界面上就能看到kbook.csv写的习题了。

对第1到第4步,也可换为从“这里”下载个样例kbook.rar。解压,然后在上面改。

在这视频3分25秒起,叙述了如何触发做习题,以及关联任务的处理逻辑。总的来说,一次做习题是语音命令触发,得到问题文字和附带图像后,一并发向百度智能云平台,得到答案。

得到答案后,目前是显示在“中心”窗口的日志区。将来会改到单独窗口,并能在该窗口选择特定内容,像不太理解的,继续提问。

 

二、点读笔

这里点读笔指的是OCR扫描笔。

没有预制习题本,用户只是想问练习本上一道问题,怎么把这道题的内容发送到台灯。一种方法是读出来,然后台灯语音识别。另一种方法是台灯会带一个摄像头,用它由图像识别出文本,这除要解决图像转文字外,还要解决问题在哪块区域。——结合各样因素,倾向使用点读笔。

市面上已有点读笔,是从图像识别出一段文字,或阅读,或翻译,或提问到大模型,有结果了,在笔屏上显示出来。换作要结合台灯使用,点读笔从图像识别出一段文字后,把这段文字通过或串口、或蓝牙、或wifi,发送到台灯。台灯上有对应小程序,以这段文字为参数,或阅读,或翻译,或提问到大模型。有了结果后,在HDMI显示器或投影仪显示出来。这时点读笔功能只须图像转文字和发送文字。

功能只是图像转文字、加串口发送文字的点读笔,市面上找,没找到。这里假设有这样一只点读笔,识别了文字,以及对这文字要执行的操作,看台灯怎么处理。

进入“任务”窗口,确保“测试单任务”的“启动状态”选了“点读笔状态1(写文字)”。进入“中心”窗口,“只任务”——“测试单任务”,就模拟了一次操作码是3,文字是“翻译成英文:点读笔”的点读笔触发。操作码3表示提问到大模型,那等一段时间,会在日志区显示一对联向百度智能云的问答。

操作码:提问(提交大模型 )

进入“任务”窗口,在“测试单任务”,找到“点读笔状态2(写操作码)”,要写的操作码由3改为1。再次执行“测试单任务”,那变成声音播放“翻译成英文:点读笔”这句话。

对功能只是图像转文字、加串口发送文字的点读笔,提几点想法。

  • 点读发出的数据包括操作码、文字和图像。必须有操作码和文字,图像可选。操作码指的是阅读(1)、翻译(2)、提问大模型(3),等。
  • 对点读笔硬件,倾向先实现串口通信。一来有了外接供电,点读笔不必内置内池。二来波特率至少230400,数据传输速度快、稳定。

全部评论: 0

    写评论: