JBOT TECHNOLOGIES INC 专注于家用机器人的研发、生产和销售推广，自有JoyBot品牌的家用机器人。第一代JoyBot已于2023年10月1日发布。产品细节和展销如下。
Keywords: JoyBot家用机器人，大模型，通用聊天, 小程序，Android 12, 自主导航，ROS, SLAM
JOYBOT接入星火大模型语音通用聊天互动自动导航轮式家用机器人
产品展示链接：https://item.taobao.com/item.htm?id=741024801436
JoyBot机器人安装驱动、建图、去噪、添加位置，声控导航:
目录
- 1.Launcher和kDesktop
- 2.JoyBot机器人功能特色
- 3.JoyBot第三方小程序
- 4.JoyBot远程控制桌面
- 5.JoyBot是一个Android Pad
- 6.JoyBot接入NLP大模型
- 7.JoyBot软件开源
- 8.JoyBot硬件开源
- 9.JoyBot常见问答(FAQ)
1. Launcher和kDesktop
JoyBOT机器人核心软件，包括两个App:
- Launcher（OS：Android 12）安装在机器人。主要模块：Ros（基础+导航+Cartographer）、远程桌面Server，小程序容器，（科大讯飞星火）NLP大模型推理。
- kDesktop（OS：Android、iOS），兼容RDP协议。安装在控制端，像手机、平板、电脑。主要模块：远程桌面Client，小程序容器。
2. JoyBot机器人功能特色
1）基于NPL大模型的语音聊天，内置用科大讯飞星火大模型，扩展接口可以定制其它的（比如chatGPT），通过二次开发小程序实现。应用可以是在家孩子的课业辅导功能，比如孩子的数学，历史，地理和其他学科问答益智。
2）室内自主导航和巡逻，针对不同位置采取不同操作。室内空间布局的自主建图和语音驱使的自主导航，行走。
3）以机器人为中心构建家内物联网，在物联网内不限制智能家居位置，也不必买蓝牙网关。比如可以控制家用蓝牙设备，比如开关蓝牙台灯等。
4）摄像头还有监控安防的功能，用深度学习判断图像有什么（可定义的物品识别和定位）。据此也可以二次开发DIY定制客户需求功能。
3.JoyBot第三方小程序
JoyBot机器人最大不同是提供了类似手机这样的第三方applet(小程序)开发框架。
• 编程语言是Lua和C++混合编程，实现了代码跨平台。
• 调试、开发阶段基于Windows，开发工具用Visual Studio（尽情发挥VS强大的调试功能）。调试稳定了，再换到Android Studio编译。
• 有开发者社区（“C洼”，本站）—技术问题问答。
• 除一般应用功外，硬件驱动、语音驱动也是作为小程序融入系统。
4.JoyBot远程控制桌面
机器人的控制方式是远程桌面。远程桌面支持通用的RDP协议，系统发布的kDesktop app有支持Android和iOS的版本。因此控制端可以是
• Android设备（手机和平板，使用kDesktop）
• Apple设备（手机和平板，使用kDesktop）
• Windows 电脑（也可以直接用内置的远程桌面程序）
• 远程桌面(kDesktop)主窗口 •远程桌面(kDesktop)支持拖拽复制文件
5.JoyBot是一个Android Pad （如果外接显示器，或者通过远程桌面）
1）通过远程桌面(wifi)连接，或者HDMI直连,机器人本身就是一个Android 12 Pad
2）可以安装除了机器人App软件和小程序之外的任何App,比如游戏和娱乐Apps.
3）Android Pad配置规格：
- CPU：八核 ，64 位ARM A76/A55, 8nm 先进工艺，主频高达 2.4GHz
- GPU：四核，支持 OpenGL ES3.2 / OpenCL 2.2 / Vulkan1.1, 450 GFLOPS
- NPU算力高达 6 TOPS;内存 4GB;存储 32GB;1x扩展 SSD; 1x扩展SD card
6.JoyBot接入NLP大模型
1)JoyBot集成了通过语音方式的通用聊天功能
• 接入科大讯飞的星火大模型
• 留有chatGPT接入口
2）语音聊天技术细节过程：
• 机器人采集到有效语音后，得到对应的文字
• 解析文字，一是用于控制机器人, 或者是聊天
（一）控制机器人如驱使机器人去启动豆浆机
（二）文字作为一个问题提交给NLP模型，NLP模型返回文字驱动语音播放
7.JoyBot软件开源
1）对于ROS，为适应在Android上运行，系统改出一种“进程内不复制（nocopy-intra）”模式。在这种模式下，所有node在一个进程内
运行，Ros master简单到几个变量，不再有延时、不稳定问题。在Windows，则同时支持nocopy-intra和Ros原有一node一进程，并可以灵活切换。
2） Android上，各开源库（如下框架图）集成生成app和小程序。
8.JoyBot硬件开源
1）适配硬件包括主板、雷达、底盘(底座+驱动板+电机)、摄像头、IMU、麦克风、音箱，除主板外(毕竟要同时满足 android12、开源、尺寸、接口要求),可以装载小程序驱动，方便移植，扩展。
2）硬件主板用了Firefly的ROC-RK3588S-PC。底盘使用了轮趣的，提供相关Mini ROS机器人小车资料链接。
9.JoyBot常见问答(FAQ)
Q: 市面上Ros机器人一般运行在Ubuntu，然后让用户使用各种Ros包，控制上不少用用命令行终端，JoyBot也是这样吗？
A: JoyBot使用Launcher+kDesktop软件框架，核心也要大范围使用Ros，商业化上Ros支持Android、Windows，已不建议用Ubuntu。为适应在Android上运行，JoyBot改出一种“进程内不复制（nocopy-intra）”模式。在这种模式下，所有node在一个进程内运行，Ros Master简单到几个变量，不再有延时、不稳定问题。在Windows，则同时支持nocopy-intra和Ros原有一node一进程，并可以灵活切换。
对控制机器人方面，在Android必须使用Launcher这个app，提供图形界面等，这和操作一个Android app没啥两样，不支持命令行终端。在Windows，则是同时兼顾Launcher和命令行终端这两种方式。若要使用端终时，Launcher需编译成Ros原有一node一进程模式，这时就可使用Ros提供的像rviz，这样可图形化查看导航，便于开发和调试。关于“进程序内不复制”模式细节，参考开发者社区网站（“C洼”，本站） ，搜索主题：”移植Ros(noetic)”。
Q:想设置机器人wifi IP、或忘了IP，怎么办？
A:有两种方法：用kDesktop或接HDMI，建议用第一种，实在没办法了再用第二种。kDesktop需是Android或iOS版。运行后，切换到“远程IP”页，这时kDesktop就会显示扫描到的机器人。如果机器人当前有IP，就会显示IP地址，否则IP地址部分是“0.0.0.0”。这时需要点击“修改IP”，去连接指定Wifi，获得IP了。kDesktop和机器人通信用的是蓝牙，为有好的质量，尽量让手机或Pad靠近机器人。
Q:想开发小程序，大概流程是怎样?
A:硬件上你需要一台Windows电脑（JoyBot机器人已完全可以不要Ubuntu）。参考开发者社区网站，搜索主题：”开始机器人开发”，编译Launcher、kDesktop源码。然后参考开发者社区网站（“C洼”，本站） ，搜索主题：“语音驱动（tspeech_slot）”，那里有一个视频，按视频讲述步骤开发小程序。
JOYBOT接入星火大模型语音通用聊天互动自动导航轮式家用机器人
产品展示链接：https://item.taobao.com/item.htm?id=741024801436
