AI赋能影像技术 让修图小白秒变大师

美图研究院致力于计算机视觉、机器学习、增强现实等人工智能(AI)相关领域的研发。在人脸技术、人体技术、图像分割、图像识别、图像生成、图像增强等方面处于领先水平。为美图现有和未来的产品提供核心算法支持。

近日，计算机视觉顶级大会CVPR 2022公布了大会的录取结果，美图影像研究院(MT Lab)和北航可乐实验室联合发表的论文被录取。提出了一种分布式感知单阶段模型(DAS)来解决三维人体姿态估计的难题。该方法通过一次网络正向推理，可以同时获得三维空间中人体位置信息和对应的关键点信息，简化了预测过程，提高了效率。此外，该方法有效地学习了人体关键点的真实分布，进而提高了基于回归框架的三维人体姿态估计方法的精度。

其实这只是美图用人工智能赋能影像技术的冰山一角。早在2010年，美图就建立了核心研发；d部，——美图图像研究院，致力于计算机视觉、机器学习、增强现实等人工智能(AI)相关领域的研发。在人脸技术、人体技术、图像分割、图像识别、图像生成和图像增强方面处于领先水平，为美图现有和未来的产品提供核心算法支持，通过前沿技术推动美图产品的发展。多次参加CVPR、ICCV、ECCV等计算机视觉顶级国际会议，获得10多项冠军和亚军，被称为美图的“技术中心”。

多人3D人体姿态估计结果的准确获取

计算机视觉的经典技术，——人的3D人体姿态估计，在AR/VR、游戏、运动分析、虚拟试衣等领域有着广泛的应用潜力。近年来，随着元宇宙概念的兴起，这项技术备受关注。

目前，通常采用两阶段方法来解决多人的三维姿态估计问题：自顶向下方法，即首先检测多个人体在一幅图像中的位置，然后利用单个三维姿态估计模型预测每个被检测人的姿态；自下而上的方法，即先检测出图片中所有人的3D关键点，然后通过关联将这些关键点赋给相应的人体。

两阶段法虽然取得了较好的精度，但要依次获取人体位置信息和关键点位置信息，需要冗余的计算和复杂的后处理，其速度通常难以满足实际场景要求，因此多人3D姿态估计算法的流程亟待简化。

为了克服两阶段方法存在的问题，提出一种分布式感知单阶段模型来解决基于单幅图像的多人三维人体姿态估计问题。此外，DAS在优化过程中学习三维关键点的分布，为三维关键点的回归提供有价值的指导信息，从而有效提高预测精度。

此外，为了减轻关键点分布估计的难度，DAS采用迭代更新策略来逐步逼近真实分布目标。这样DAS就可以高效准确地从单目RGB图片中一次性获得多人的3D人体姿态估计结果。

与现有的两阶段方法相比，该模型可以通过一次网络正向推理同时获得人体的位置信息和相应关键点的位置信息，有效简化了预测过程，克服了现有方法计算成本高、模型复杂度高的缺点。此外，该方法成功地将标准化流程引入到多人三维人体姿态估计任务中，从而在训练过程中学习人体关键点的分布，并提出了一种迭代回归策略来缓解分布学习的难度，从而逐步提高人体姿态估计的精度

人脸皮肤的精细缺损修复和去暗沉。你一输入“牙齿”来修复牙齿上的缺损，照片中模糊的脸就清晰地重现了。全身美告别大粗腿和水桶腰.……AI技术正在让修图成为大师。

一个商业摄影机构的业务流程基本包括：营销获客、摄影服务、后期处理、成品制作等环节。其中后期修图是商业摄影工作流程中比例高、时间长、工作量大的一个环节。

在旺季或者拍摄任务激增的时候，从拍摄到开拍的周期甚至可以长达一个月左右。尤其是人像处理部分，更考验修图师的专业技能。而培养一个合格的修图师，需要很高的人力物力成本，还面临人员频繁流动的风险。

美图创始人兼CEO吴在接受科技日报记者采访时表示，据不完全统计，商业摄影一年最多可以修图120亿张。大量复杂的重复性工作和高技术门槛给商业影楼带来巨大的成本压力。在AI技术的帮助下，重复繁杂的后期修复工作不仅可以提高商业摄影后期修复的效率，还可以为商业摄影行业提供美学与艺术深度融合的专业级图像处理服务。

由美图科技大脑——美图影像研究院自主研发的美图云秀，通过智能预设功能，可以一键完成照片的批量处理。其中，面部优化功能可以修复面部瑕疵，打造娇嫩肌肤；妆容调节功能可以实现妆容的智能调节。此外，美图云秀还可以完成80多项修图任务，如塑造立体五官、实现不同区域全身美颜、美化身体皮肤等。同时，灵活自由的参数定制也满足了用户更专业的修图需求。

“美图云秀还提供滤镜特效、牙齿修复、去除双下巴、平滑皮肤、缩头、一键仿妆、背景增强、多体美颜等独特功能，可以帮助影楼快速完成80%左右的收尾工作。”技术副总裁、美图影像研究院负责人刘说。

中国的影像软件技术在AI方面取得了长足的进步。

今年3月30日，美图披露了2021年度业绩报告。报道称，美图的R & amp2021年d投资达到5.455亿元，比2020年增长35%。

随着我国影像软件行业在技术研发上的投入不断加大，近年来，我国影像软件在技术性能上取得了长足的进步。

“我们推出的视频美颜App——Wink，它的视频人像美化功能需要将人像美颜从图像扩展到视频维度，这就需要实时的人脸检测跟踪、分割、3D建模等技术与人像美颜算法进行有机结合，同时还要应对视频抖动、大侧脸等极端情况，才能为用户提供满意的结果。”刘洛麒说。

“用户拍摄的照片或视频存在清晰度低、画质差、产生噪点等问题，我们利用基于深度学习的画质增强技术能够提高用户照片与视频的质量，满足他们的拍摄需求。同时，我们也将深度学习应用到人像美颜中，例如我们自主研发的AI匀肤技术，既能祛除脸部瑕疵，同时也保留了细腻的皮肤纹理质感。”吴欣鸿说。

“我们基于AI研发的人体美型技术，不是简单地对人体进行拉伸，而是先结合人体3D重建、人体分割等技术去建立人体的三维模型，再利用深度学习算法学习美化之后的人体模型形变，同时对背景的Mesh（网格）进行建模，从而缓解背景的变形扭曲，最终实现用户满意的人体美型效果。”刘洛麒指出。

此外，美图证件照应用到的人像抠图技术，可以实现发丝级的精细抠图，完成对证件照人像的一键换装，同时保持人像和背景的光线和谐性。而基于AI生成的增发技术，可以调整发际线，可以改变发色和发型，还能使头发显得更蓬松。

未来，人工智能将如何赋能影像技术？对此，吴欣鸿表示，一方面，基于人工智能的影像技术，将与各行各业有更多、更深入的结合，这也对影像技术提出了更高的要求。另一方面，通过3D技术和AR技术等，为用户提供沉浸式和可交互的虚拟化体验也是未来影像技术发展的热门方向。