人们几乎从我们开始生产树莓派产品起，就一直在用它们构建人工智能 项目。随着我们发布了越来越强大的设备，我们所能原生支持的应用范围也随之增加；但在任何一代机型中，总会有一些工作负载需要外部加速器，就像我们在六月份发布的 树莓派AI套件。
AI套件是一款极其强大的硬件，每秒能够执行十三万亿次运算。但它仅兼容树莓派5，并且需要一个单独的摄像头模块来捕捉视觉数据。因此，我们非常高兴地宣布推出一款新的摄像头产品线：
该图像展示了与一条长而弯曲的橙色扁平电缆相连的树莓派AI摄像头模块。这个小型、四边形的绿色电路板中央有一个黑色的摄像头镜头，并在每个角落都有黄色的安装孔。扁平电缆被弯成一个环，并突出显示了白色文字，读作“Raspberry Pi Camera Cable Standard – Mini – 200mm”。该电缆设计用于将摄像头连接到树莓派设备，背景为纯灰色。
AI摄像头以索尼IMX500图像传感器为核心，并集成了AI加速器。它可以运行各种流行的神经网络模型，具有低功耗和低延迟的特点，这样树莓派的处理器可以专注于其他任务。
树莓派AI摄像头的关键特点包括：
- 1200万像素索尼IMX500智能视觉传感器
- 传感器模式：4056×3040 @ 10fps，2028×1520 @ 30fps
- 1.55 微米 × 1.55 微米单元大小
- 视野角78度，手动可调对焦
- 集成RP2040管理神经网络和固件
AI摄像头可以通过标准的摄像头扁平电缆连接所有型号的树莓派，包括树莓派Zero。
此图展示了放置于木质表面的树莓派设置情况，其中一块树莓派板通过一条橙色扁平电缆连接到AI摄像头模块。树莓派板连接了多条电缆：左侧有一条红色电源线，右侧有一条白色HDMI线。摄像头模块位于右下角，镜头朝上。图中右侧可以看到部分白色和红色键盘，而左侧可以看到一株白色花盆中的小植物。场景显示出一个正在进行中的树莓派项目设置。
使用索尼的一系列AI工具，现有的神经网络模型（例如使用TensorFlow或PyTorch框架）可以转换以高效运行在AI摄像头上。或者，可以设计新模型来充分利用AI加速器的特定功能。
内部机制
为了使用集成的AI加速器，我们必须先上传一个模型。在旧的树莓派设备上，这一过程使用I2C协议，而在树莓派5上则能使用速度更快的自定义双线协议。链路的摄像头端由板载的RP2040微控制器管理；附带的16MB闪存器件缓存最近使用的模型，在许多情况下可以省略上传步骤。
该图展示了树莓派AI摄像头模块。它是一个小型的四边形绿色电路板，四个角落各有一个黄色的安装孔。中心位置是一个带有“MU2351”标记的黑色相机镜头。底部有条橙色扁平电缆，用于将摄像头连接到树莓派。左侧可见带有白色轮廓的树莓派标志。
一旦传感器开始流传输，IMX500便像树莓派摄像头模块3中的Bayer图像传感器那样运行。集成的ISP执行基本的帧处理步骤（主要包括Bayer到RGB的转换以及裁剪/缩放），并将处理后的帧直接送入AI加速器。模型对帧进行处理后，输出结果与Bayer帧一起通过CSI-2摄像头总线传输给树莓派主机。
此图展示了一个干净整洁的工作台。中央有一台笔记本电脑，屏幕显示着数据分析或机器学习模型的结果，性能指标以百分比形式显示。可以看到笔记本占据了73%的画面。
左侧有一棵装在装饰性几何图案花瓶中的小盆栽（占50%画面），旁边还有一个鼠标（占50%画面）。
右侧则放置了一个孤独的咖啡杯（占42%画面），给工作站增添了简洁的人情味。
整体风格简约且专注，柔和的灯光加上浅色背景。
与树莓派libcamera集成
AI摄像头的一个关键优势是它与我们的树莓派摄像头软件栈无缝集成。在底层，libcamera使用自身的ISP处理Bayer帧，就像对任何传感器一样。
我们还会解析神经网络结果以生成一个输出张量，并同步这些结果与处理后的Bayer帧。这两个结果会在libcamera请求完成步骤时返回给应用程序。
