(资料图)

事件背景:2023年4月5日,MetaAI研究团队发布论文“分割一切”—《SegmentAnything》,并在官网发布了图像分割基础模型—SegmentAnythingModel(SAM)以及图像注释数据集—Segment-Anything1-Billion(SA-1B)。

论文核心观点:

目标:MetaAI的目标是通过引入三个相互关联的部分来构建一个用于图像分割的基础模型:1)可提示的图像分割任务;2)数据标注并通过提示实现零样本到一系列任务的分割模型-SAM;3)拥有超过10亿个掩码的数据集-SA-1B。

功能:1)SAM允许用户仅通过单击或通过交互式单击点来包含和排除对象来分割对象,也可以通过边界框进行提示;2)当分割对象存在歧义时,SAM可以输出多个有效掩码,是解决现实世界中分割的重要和必要能力之一;3)SAM可以自动查找并掩盖图像中的所有对象;4)SAM可以在预计算图像嵌入之后即时为任何提示生成分割掩码,从而允许与模型实时交互。

结论:SAM模型试图将图像分割提升到基础模型时代,而SAM是否能达到基础模型的地位还有待观察它在社区中的使用情况,但无论该项目前景如何,超过1B的掩码以及可提示的分割模型为其未来发展奠定了基础。

启发:我们认为,SAM模型在SA-1B强大分割数据集的支撑下,可以通过各种形式的提示对图像下达指令,无需额外训练即可自动完成分割任务,这一通用特性使得SAM模型在相关领域的推广应用成为可能。我们认为,SAM模型有望作为效率提升的工具,赋能自动驾驶、医疗健康、安防监控、游戏娱乐、农业科技等领域,跨视觉模态和相关场景将从中收益。

风险提示:AI技术发展不及预期风险;商业落地不及预期;政策支持不及预期;论文翻译偏差等。

推荐内容