乌克兰大神开源，用几十块的ESP32跑2890万参数模型，AI硬件玩具摆脱联网有希望了

之前总是觉得，单片机上最多也就跑个几十万参数的小玩具模型。
乌克兰有个牛人，直接把2890万参数的模型塞进了ESP32-S3。
为了更适配，模型是作者自己训练的。
而且，跑的速度还很快。

这个作者他之前就喜欢玩这些硬件，经常会发给他的特斯拉Model S做的小设备。
可玩性还是很强的，现在只是接了个小屏幕，后面可能会有很多拓展。
项目简介

esp32-ai是一个让2890万参数模型完全运行在ESP32-S3上的开源项目。
模型完全离线推理，并且能以9.5 tokens/秒的速度在芯片自带的小屏幕上实时输出文字。项目借用了Google Gemma模型中的层间嵌入技术，把大部分参数存放在Flash中，只在需要时按需读取，突破了单片机极有限的SRAM限制。
模型基于TinyStories数据集训练，能生成简短且基本连贯的故事。
DEMO

这生成速度真的很快了。

一些想法

AI类的硬件，比如一些AI对话玩具，都还是得联网，虽然联网有联网的好处，但是不联网也有不联网的需求。
今天这个项目也是个方向，肯定会有便宜又好玩的AI硬件完全运行在本地。
之前大家认知里就觉得单片机推不动大一点的模型，所以这个项目我觉得更大的价值是证明了单片机推的模型也能很流畅的讲出一个儿童故事。
起码AI儿童故事的AI硬件设备是可以玩玩了。
还有可能有更多简单的AI需求，比如做一些简单的数据比对等等，都可以实现了。
项目链接

https://github.com/slvDev/esp32-ai