66 lines
908 B
Markdown
66 lines
908 B
Markdown
主要功能
|
||
|
||
1、追踪运动
|
||
|
||
2、实时显示（镜子）
|
||
|
||
**3、memory**
|
||
|
||
5s停留启动，保存带时间戳的图像
|
||
|
||
**时间戳**
|
||
|
||
**4、对话（图片-prompt，LLM，TTS）**
|
||
|
||
图片： **（皮肤，五官，表情）**
|
||
|
||
返回tag，
|
||
|
||
即时对话，normal-，告警有特殊状态
|
||
|
||
1
|
||
|
||
LLM：三轮对话
|
||
|
||
TTS：
|
||
|
||
2
|
||
|
||
端到端+对话轮次控制（优先）
|
||
|
||
# 主体工作
|
||
|
||
# agent
|
||
|
||
1. 数据存储： img,心情，皮肤状态。
|
||
2. 对话：
|
||
1. 状态不好的时候触发对话（皮肤和性情）
|
||
3. 对外接口：数据库，外部数据获取
|
||
4. 端到端语音识别 asr tts
|
||
|
||
## 前端
|
||
|
||
1. ui
|
||
2. 数据分析
|
||
|
||
## 结构
|
||
|
||
1. k230 显示器
|
||
2. 云台
|
||
3. sg90
|
||
|
||
## 模型
|
||
|
||
1. 心情，状态
|
||
2. 人脸识别 — 人脸识别（k230内置模型）
|
||
3. asr tts
|
||
|
||
## k230
|
||
|
||
1. 人脸跟踪
|
||
2. 小翅膀摇一摇
|
||
3. 语音视频获取
|
||
4. agent调用逻辑
|
||
5. 电路，供电
|
||
|
||
## 海报，文档 |