Segment Anything

图像对象分割全新变革

相关标签

网址预览

赞助商家

¥100元/年 10字以内 高效AI工具 创新必备 智能工具集 效率倍增
AI全能工具 助力发展 精选AI工具 事半功倍 AI工具集合 智领未来

内容概述

Meta AI 发布了名为 Segment Anything Model(SAM)的新 AI 模型,其相关信息如下:

模型功能

 

  1. 对象分割:可通过单次点击 “剪切” 任何图像中的任何对象,能对不熟悉的对象和图像进行零样本泛化,无需额外训练。
  2. 多种输入提示:支持通过交互式点、框、自动分割图像中的所有内容、为模糊提示生成多个有效掩码等方式指定要分割的内容。
  3. 灵活集成与扩展输出:可接受来自其他系统的输入提示,输出掩码可作为其他 AI 系统的输入,用于视频中的对象跟踪、图像编辑、3D 提升或创意任务等。

模型训练

 

  1. 数据引擎:使用模型循环的 “数据引擎”,在数百万张图像和掩码上进行训练,研究人员利用 SAM 及其数据交互式注释图像并更新模型,最终数据集包含超过 11 亿个分割掩码,图像数量约 1100 万张。
  2. 训练时间与设备:在 256 个 NVIDIA A100 GPU 上训练 3 – 5 天。

模型设计

 

  1. 结构:包括一次性图像编码器(ViT – H,632M 参数)、提示编码器和轻量级掩码解码器(共 4M 参数)。
  2. 平台支持:图像编码器用 PyTorch 实现,需 GPU 高效推理;提示编码器和掩码解码器可直接用 PyTorch 或转换为 ONNX,在支持 ONNX 运行时的多种平台上于 CPU 或 GPU 高效运行。
  3. 推理时间:图像编码器在 NVIDIA A100 GPU 上约 0.15 秒,提示编码器和掩码解码器在浏览器 CPU 上使用多线程 SIMD 执行约 50ms。

其他信息

 

  1. 代码获取:可在 GitHub 获取代码。
  2. 团队成员:包括 Alexander Kirillov 等众多研究人员。

相关导航

广告也精彩

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...