[博客翻译]使用Segment Anything 2(SAM2)进行视频分割


原文地址:https://blog.roboflow.com/sam-2-video-segmentation/


想象一下,你手中有一个神奇的工具——Segment Anything Model 2(SAM 2),它是一个强大的统一视频和图像分割模型。这个模型在处理视频时,不仅能识别物体,还能跟踪它们的运动,即使在光照变化、遮挡或物体变形的情况下也能保持高精度。相比之前的版本,SAM 2的性能提升了3倍,对于图像分割更准确,速度比最初的Segment Anything Model(SAM)快了6倍。

要开始使用SAM 2进行视频分割,首先需要下载并安装模型。在GitHub上克隆https://github.com/facebookresearch/segment-anything-2.git,然后按照指示安装依赖。注意,安装后可能需要运行python setup.py build_ext --inplace来解决代码库中的一个小问题。

2.png

接下来,我们用到Supervision包来辅助可视化结果和数据预处理。不同大小的SAM 2模型(如sam2_hiera_tinysam2_hiera_large)有不同的参数量和处理速度。在这个示例中,我们将使用最大的模型进行演示,但你可以根据需要选择其他模型。

加载模型时,我们需要指定下载的权重文件路径和配置文件名。模型会记住视频中的对象信息,以便在后续帧中进行更正。在开始分割前,你需要将视频帧保存到磁盘,并确保使用JPEG格式,因为这是