家人们!OpenAI 这 12 天的连续剧大家都追完了吗?别急着下线!
还记得上周四 OpenAI 直播时桌上那个萌萌的麋鹿毛绒玩具吗?当时发布者就现场演示了和它的实时互动,效果和真人聊天一样流畅!
当时,都把注意力放在了发布内容上,忽略了这个毛绒玩具。但现在回想起来,那只麋鹿的“能说会道”,其实正是 OpenAI 今天才正式揭晓的“谜底”——他们开源了一个叫做嵌入式实时语音 SDK的东西!
开源网址:
https://github.com/openai/openai-realtime-embedded-sdk
这个Realtime Embedded SDK 到底是是什么呢?简单点说,就是一个“大脑”,能装进各种小玩意儿里,能让各种设备(比如毛绒玩具)具备实时语音交互的能力。
就像直播里的那只麋鹿,它能听懂你的问题,然后用自然流畅的语音跟你聊天,就是这个 SDK 的功劳!
以前,智能玩具里只能播放预设的程序和声音,顶多就是进行一两轮简单提问,你可以理解成是“单向输出”,现在有了这个 openAI 的实时语音软件开发包,就变成了“双向交互”,能和你进行实时的语音对话。
现在,可以把 OpenAI 的高级语音功能搬进了各种小玩意儿里了,不仅是玩具,还能是各种设备。
具体一起来看看这个 SDK 怎么玩儿的 ~
首先,OpenAI 指出,这个 SDK 已经在 esp32s3 和 Linux 上完成了测试。如果使用的是 Linux 系统,无需额外的硬件即可运行此 SDK。如果打算在硬件上使用 SDK,可以选择购买以下支持的微控制器:
1.Freenove ESP32-S3-WROOM
2.Sonatino – ESP32-S3 音频开发板
esp32s3 ,学过单片机的小伙伴都比较清楚,是一款微控制器芯片,如图长这个样子:
ESP32-S3 是一款由Espressif Systems(乐鑫科技)设计和生产的微控制器芯片,属于 ESP32 系列,是专为物联网 (IoT) 应用开发的低功耗、高性能芯片.
这个开源的 SDK 能让小型硬件设备(比如 ESP32 这样的微控制器)轻松接入 OpenAI 的实时语音服务,同时还能通过 WiFi 与云端的 AI 模型即时交互。当然,它也能在 Linux 系统上跑起来,让你随时随地和设备进行实时对话。
意思是,给你的玩具、家电或任何小物件装上这套方案,只要几行简单代码,你的毛绒玩具、眼镜,甚至家里的任何一个小物件,都能通过这块芯片和几行简单的代码,摇身一变,成为你的贴心小助手!
总之,我的奥特曼玩具未来马上就可以和我交流了!!
OpenAI 带货能力也真牛!最近在淘宝上,ESP32 的零件和配件价格涨得飞快,好多东西都买不到了。比如,以前只要 2 块钱的音频解码芯片,现在 10 个起卖,价格最高能到 9 块钱一个。。。。不光是芯片,连带的音频放大器和麦克风这些配件价格也都都偷偷涨价。
再说回这个 SDK,
Realtime Embedded SDK提供了全套工具链支持,包括安装、构建和部署等各个环节,大幅简化了将 AI 功能引入微型设备的过程。只需完成WiFi 配置和OpenAI API 密钥设置,便能让设备即时接入云端 AI。
在使用这款 SDK 时,开发者只需:
1.安装必要的依赖(如protobufc);
2.使用 set-target 命令指定目标平台(例如ESP32S3或Linux);
3.配置WiFi和OpenAI API 密钥;
4.最后进行构建和部署。
通过简单的安装步骤,就可以开始语音交互了 ~
protoc must be in your path with protobufc installed.
Call set-target with the platform you are targetting. Today only linux and esp32s3 are supported.
idf.py set-target esp32s3
Configure device specific settings. None needed at this time
idf.py menuconfig
Set your Wifi SSID + Password as env variables
export WIFI_SSID=foo
export WIFI_PASSWORD=bar
export OPENAI_API_KEY=bing
Build
idf.py build
If you built for esp32s3 run the following to flash to the device
sudo -E idf.py flash
If you built for linux you can run the binary directly
./build/src.elf
See <u>build.yaml</u> for a Docker command to do this all in one step.
奶茶发现网友们已经动手用这个 SDK 制作各种语音交互设备了!
最近很热门的赛道-AI 玩具,这些看似普通的毛绒玩具,实则内藏乾坤,拥有强大的智能交互能力。
它们不仅能进行日常对话,还能解答各类知识问题,更能支持多语言学习。此外,它们还具备个性化互动功能,能够感知用户的情绪变化,并给予相应的情感支持。
除了名声最大的由字节跳动推出的 AI 陪伴玩偶“显眼包”外,像 FoloToy 等 AI 玩具初创公司也能在短短几个月内狂销近六位数。
根据市场调研机构 Contrive Datum Insights 的预测,到 2030 年,全球 AI 玩具市场的规模有望达到351.1 亿美元。。。
还有之前火出圈的 aibi 口袋机器人,桌宠设备等等,OpenAI 这次开源的嵌入式实时语音 SDK,无疑是给这些设备送了个“外挂”。