Facebook 为 Instagram 升级了 Spark AR 平台,具有分割和标记跟踪功能

自从 Snapchat 拒绝其收购尝试后,Facebook 就用 Snapchat 的功能对 Instagram 进行了改造,例如故事、聊天,当然还有增强现实。

在增强现实方面,Snap 正在以相当快的速度迭代。 在上周的 Snap 合作伙伴峰会上,该公司发布了 Lens Studio AR 创作平台的 4.0 版,并推出了 Connected Lenses 等新的 AR 技术。

为了跟上 Snap 的 AR 武器库,Facebook 添加了两个新的 AR 功能Instagram 通过其自己的 Spark AR 开发工具的 114 版——多类分割和改进的目标跟踪。

多类分割 (MCS) 使开发人员能够跟踪一个人、他们的头发和他们的皮肤,并向他们应用虚拟纹理。 在来自 Spark AR 社区的示例效果中,MCS 可以让主体看起来不可见,而他们的衣服仍然在视野中,或者应用脉冲霓虹灯线分别描绘头发和皮肤。

Facebook Upgrades Spark AR Platform for Instagram with Segmentation & Marker Tracking Capabilities

图片来自 Facebook

“这听起来很简单,就像我们只是将三个模型合二为一,但实际情况要复杂得多。 可靠地识别单个片段已经够难了——例如,确保披在肩膀上的马尾辫被视为‘头发’,而另一侧的背心带则不是,”Spark AR 团队在一份声明中说。 “MCS 做了三次,并描绘了头发、皮肤和衣服重叠的地方,这样创作者就可以设计效果,让你的皮肤像灯泡一样发光或变绿,而不会流到帽子或衬衫上。”

虽然 Facebook 的 Inclusive AI 团队建议 Spark AR 团队确保能够跟踪外观的多样性,但仍存在一些差距。 例如,相机可能仍会将胡须与皮肤混淆。

Facebook Upgrades Spark AR Platform for Instagram with Segmentation & Marker Tracking Capabilities
Facebook Upgrades Spark AR Platform for Instagram with Segmentation & Marker Tracking Capabilities

图片来自 Facebook

目标跟踪的改进使 Spark AR 创作者能够在一个场景中跟踪多达五个不同的静止或移动图像目标。 这使开发人员能够在一个场景中放置多个 AR 效果,甚至可以相互融合。 然而,Spark AR 团队告诫开发者要考虑移动处理能力。

图像跟踪已成为品牌流行的 AR 策略,因此改进的目标跟踪开辟了一些有趣的营销可能性。 例如,想象一下,可口可乐和百事可乐罐头变成了虚拟的战士,在你的工作台上决一死战。

Spark AR 更新为其创作者社区提供了一些独特的功能,但 Snap 通过其最新的一系列更新确实提高了标准。 随着F8开发者大会在即,或许Facebook还有更多的花招。