人们几乎从我们开始生产树莓派产品起，就一直在用它们构建人工智能 项目。随着我们发布了越来越强大的设备，我们所能原生支持的应用范围也随之增加；但在任何一代机型中，总会有一些工作负载需要外部加速器，就像我们在六月份发布的 树莓派AI套件。
AI套件是一款极其强大的硬件，每秒能够执行十三万亿次运算。但它仅兼容树莓派5，并且需要一个单独的摄像头模块来捕捉视觉数据。因此，我们非常高兴地宣布推出一款新的摄像头产品线：
该图像展示了与一条长而弯曲的橙色扁平电缆相连的树莓派AI摄像头模块。这个小型、四边形的绿色电路板中央有一个黑色的摄像头镜头，并在每个角落都有黄色的安装孔。扁平电缆被弯成一个环，并突出显示了白色文字，读作“Raspberry Pi Camera Cable Standard – Mini – 200mm”。该电缆设计用于将摄像头连接到树莓派设备，背景为纯灰色。
AI摄像头以索尼IMX500图像传感器为核心，并集成了AI加速器。它可以运行各种流行的神经网络模型，具有低功耗和低延迟的特点，这样树莓派的处理器可以专注于其他任务。
树莓派AI摄像头的关键特点包括：
- 1200万像素索尼IMX500智能视觉传感器
- 传感器模式：4056×3040 @ 10fps，2028×1520 @ 30fps
- 1.55 微米 × 1.55 微米单元大小
- 视野角78度，手动可调对焦
- 集成RP2040管理神经网络和固件
AI摄像头可以通过标准的摄像头扁平电缆连接所有型号的树莓派，包括树莓派Zero。
此图展示了放置于木质表面的树莓派设置情况，其中一块树莓派板通过一条橙色扁平电缆连接到AI摄像头模块。树莓派板连接了多条电缆：左侧有一条红色电源线，右侧有一条白色HDMI线。摄像头模块位于右下角，镜头朝上。图中右侧可以看到部分白色和红色键盘，而左侧可以看到一株白色花盆中的小植物。场景显示出一个正在进行中的树莓派项目设置。
使用索尼的一系列AI工具，现有的神经网络模型（例如使用TensorFlow或PyTorch框架）可以转换以高效运行在AI摄像头上。或者，可以设计新模型来充分利用AI加速器的特定功能。
内部机制
为了使用集成的AI加速器，我们必须先上传一个模型。在旧的树莓派设备上，这一过程使用I2C协议，而在树莓派5上则能使用速度更快的自定义双线协议。链路的摄像头端由板载的RP2040微控制器管理；附带的16MB闪存器件缓存最近使用的模型，在许多情况下可以省略上传步骤。
该图展示了树莓派AI摄像头模块。它是一个小型的四边形绿色电路板，四个角落各有一个黄色的安装孔。中心位置是一个带有“MU2351”标记的黑色相机镜头。底部有条橙色扁平电缆，用于将摄像头连接到树莓派。左侧可见带有白色轮廓的树莓派标志。
一旦传感器开始流传输，IMX500便像树莓派摄像头模块3中的Bayer图像传感器那样运行。集成的ISP执行基本的帧处理步骤（主要包括Bayer到RGB的转换以及裁剪/缩放），并将处理后的帧直接送入AI加速器。模型对帧进行处理后，输出结果与Bayer帧一起通过CSI-2摄像头总线传输给树莓派主机。
此图展示了一个干净整洁的工作台。中央有一台笔记本电脑，屏幕显示着数据分析或机器学习模型的结果，性能指标以百分比形式显示。可以看到笔记本占据了73%的画面。
左侧有一棵装在装饰性几何图案花瓶中的小盆栽（占50%画面），旁边还有一个鼠标（占50%画面）。
右侧则放置了一个孤独的咖啡杯（占42%画面），给工作站增添了简洁的人情味。
整体风格简约且专注，柔和的灯光加上浅色背景。
与树莓派libcamera集成
AI摄像头的一个关键优势是它与我们的树莓派摄像头软件栈无缝集成。在底层，libcamera使用自身的ISP处理Bayer帧，就像对任何传感器一样。
我们还会解析神经网络结果以生成一个输出张量，并同步这些结果与处理后的Bayer帧。这两个结果会在libcamera请求完成步骤时返回给应用程序。
树莓派摄像头框架——Picamera2和rpicam-apps，以及任何基于libcamera的应用程序——都可以检索正确的同步输出张量，以下是一个物体检测神经网络模型（MobileNet SSD）运行于rpicam-apps之下，对1080p视频进行30fps推断的示例。
这个演示使用rpicam-apps中的后处理框架，从输出张量生成物体边界框并在图像上绘制出来。这一阶段只需要不多于300行代码实现。相同的应用如果用Python和Picamera2编写，则需要更少的代码。
另一个例子展示了姿态估计神经网络模型（PoseNet）对1080p视频进行30fps推断。
虽然这些示例是使用树莓派4记录的，但它们在树莓派Zero上也拥有同样的推理性能！
与索尼合作，我们发布了大量针对AI摄像头优化过的流行视觉神经网络模型，同时还提供了使用Picamera2编写的可视化示例脚本。
我应该购买哪种产品？
您应该购买树莓派AI套件还是树莓派AI摄像头？AI套件理论上具有比AI摄像头更高的性能，并且能支持更广泛的模型，但仅兼容树莓派5。AI摄像头更加紧凑，如果您还没有一个摄像头，则总成本更低，并且兼容所有树莓派机型。
最终，这两款产品均提供对常见模型的出色加速性能，并已被优化以顺畅地配合我们的摄像头软件栈。
开始与进阶
请查看我们的开始指南。在那里，您会找到安装 AI 摄像头硬件、设置软件环境以及运行示例和我们模型库中神经网络的说明链接我们的模型库。
索尼的AITRIOS 开发者网站上有更多关于 IMX500 传感器的技术资源，尤其是IMX500 转换器 和 IMX500 包装 文档，这些对于希望在 AI 摄像头上运行自训练网络的用户将非常有用。
多年来，您使用树莓派构建的令人惊叹的 AI 项目启发了我们，您的辛勤工作和创造力促使我们投入资源来开发更进一步的工具。AI 套件的到来，现在又增加了 AI 摄像头，为高分辨率、高帧率、高质量视觉 AI 打开了一个全新的机会世界：我们不知道您要用它们构建什么，但我们相信那必定将是令人惊叹的。