今天一起体验美图秀秀基于计算机视觉技术打造的“美图AI”版块,进一步加深对计算机视觉技术在美图的产品设计中应用的理解。
作者 | Luna
编辑 | Luna
上一期我们一起体验了抖音里的各项黑科技,见证了抖音以短视频为载体,基于人脸关键点检测、图像语义分割、风格迁移、表情识别、图像分类等计算机视觉技术为用户提供了专业、新奇、搞怪的体验。
在AI产品专题的第二期,我们对美图秀秀AI版块进行体验及分析,由于该版块分为“动漫化身”、“绘画机器人”、“跨次元相机”、“少女照相机”、“梦幻娃娃机”等5个入口,但后四项底层的逻辑设计基本相同,因此本文将后四项当成一个整体展开,话不多说,开始我们的旅程吧~
1 动漫化身
用户-场景-需求分析
“动漫化身”是美图秀秀几个月前才上线的新功能,该功能一方面是为了应对激烈的市场竞争,另一方面是基于平台发展及用户需求,为更好地理解该功能点,首先对其进行简单用户-场景-需求分析如下。
功能目的
大家都知道,美图是一个工具型图像美化产品,其初衷在于打造一款最为简单的修图产品,过去也有人将其笑称为“傻瓜式Photoshop”。而结合美图产品更新的动态,迎着人工智能的东风,美图对用户提供的产品服务也开始呈现多元化及娱乐化。
基于上述的用户-场景-需求分析,可见对用户而言,该功能可满足他们对于动漫、对美及对新鲜事物的兴趣、好奇心及虚荣心,而对平台而言,该功能的上线不仅为平台增加了一项服务,同时也使得产品定位不再局限于机械化的工具,变得更加丰满且有趣,而从商业角度,该功能的上线也使得美图的流量进一步增强,则平台的广告机会及变现能力也进一步强化。
功能逻辑
基于上述“动漫化身”的逻辑流程,在进行相片(人脸)采集之后,系统通过检测人脸特征点后构建二元空间映射,并进行视觉配准,最终经渲染后生成用户的动漫形象。
而更具特色的体验在于,生成动漫形象之后,用户还可以选择生成照片、视频或表情包的形式。
且在制作视频/表情包的过程中,画面中的卡通形象可随着用户的表情变化而动态变化,进行细节调整后生成的图像更细致。
同时在动态的过程中,使得用户身临其境般地享受到变身的过程,对用户的吸引力更足。
视频模式下,还可以进行音乐搭配,产品元素很丰富。此外,用户还可以根据不同的心情和喜好进行卡通人物形象的风格及装扮,进一步满足了不同性别、不同风格用户的个性化需求。
如上图是“动漫化身”生成的效果图,左侧的赵丽颖的相片,通过算法处理后,风格完全改变,但在生成的图片中,对于五官及服饰一定程度上仍保留了原有的基本特征。
如上图,是表情包模式下生成的图片效果,可以添加文字,也可以随意根据喜好变更表情,制作的效果栩栩如生,尤其是进行表情及面部细节微调时,那种互动的感觉可能是更让用户着迷的。
功能上线及迭代
“动漫化身”功能从2018年12月18日左右在美图秀秀8.3.5.0版本中上线,提出使用AI画手为你绘制专属动漫圣诞头像的超萌动画模式,享受捏脸换装小乐趣,该功能上线后受到许多用户的喜爱,至今已有154830805人体验,此后的版本迭代中,平台也显示出了极大的重视度,基本每次更新都有针对该功能的说明。
技术分析
综合上述分析可得,“动漫化身”功能以简单的流程,满足了平台服务的年轻群体追求卡通动漫的萌趣效果,整体体验流畅,渲染生成的速度较快且效果生动形象。
但体验中发现,算法仍存在偶发性的视觉检测失灵,且可选的装扮选项比较单一,少数的装扮加载延时较长,这与后台算法的效率及稳定性有关。
“动漫化身”使用的技术十分丰富,首先是人脸检测,用于检测及定位用户人脸,这一步是整个功能实现的核心基础。其次是人脸关键点检测,后续的视频、表情包动态调整及生成,都是基于人脸关键点的定位后进行的变换操作。再者还有人脸分割,通过人体、皮肤、头发、五官的等区域的精确分割,获得不同部位的具体位置,之后在进行风格调整时,才能进行具体替换。最后从整体的效果来看,通过建模生成的卡通人物的立体感及真实感体验都比较棒,这是AR现实增强处理的效果。
技术关键词:人脸检测、关键点定位、人脸分割、AR增强
2绘画大师Andy
用户-场景-需求
绘画机器人Andy可以算是美图秀秀比较独特的一个功能点,Andy和“动漫化身”功能存在一定的关联,但又不完全相同,二者在底层用户的需求及具体地实现中还是存在一些区别,该项功能点的用户-场景-需求分析如下。
从中可见,绘画机器人Andy聚焦于满足用户以一种更省时省力的方式获得自画像的需求,而“漫画化身”,则更注重满足用户“化身”漫画形象并进行动态互动的需求,概括地说,前者专注于结果,而后者过程的体验更具特色。
功能目的
基于上述用户-场景-需求的分析,我们可以从中对Andy提出的目的进行简单分析。从用户的角度,该功能对于那些比较宅的、爱美的以及勤俭节约的用户而言,可以满足他们足不出户、不花一分钱,就可以打造出独属于自己风格的插画及各种形象,享受全方位的“绘画服务”,而且画不好重来几乎没有任何成本,直观地可理解为美图爸爸直接为用户提供了一个私人“画师”。
而从平台的角度,同样离不开的逻辑是,怎么才能在保持核心功能清晰明了的情况下,将同一项技术无限扩展,打造出更多样化的服务,满足不同用户群体的个性化需求,而美图一直都在践行这样的逻辑。
功能逻辑
可见绘画机器人Andy在照片采集部分的流程之前和"动漫化身"的流程逻辑基本一致,但不同之处在于,图像生成之后,绘画机器人Andy和用户之间就没有屏幕上的实时互动进行细节调整了,只需静静等待,即可生成自画像。
同时和“动漫化身”一样,也可以选择不同的风格生成,而且亲身验证,不同风格选项生成的效果区分度还挺大的,以下是体验效果展示。
从该结果中看出,Andy 根据左侧相片画出的图像比较精美,细节的刻画也比较到位,且相较“动漫化身”而言,绘画机器人的效果更为贴近原图,艺术创作的成分较少,如头发、配饰等,刻画中和原图保持了一致,可见后台算法设计的严谨度。
功能细分对比
值得指出的是,美图AI版块虽然在设计中设置了“动漫化身”、“绘画机器人”、“跨次元相机”、“少女照相馆”、“梦幻娃娃机”等入口,但实际上,后四项动能在整体的功能逻辑上是基本相同的。
因此,“跨次元相机”、“少女照相馆”、“梦幻娃娃机”可视作和绘画机器人同一功能下的不同效果,但它们发布的时间更早。换个角度来看,可以理解成,它们是美图在推出Andy之前美图秀秀利用计算机视觉技术做出的一些尝试,也正是因为这些积累,使得平台的数据及算法都获得了较大的改进和提升,才促成了Andy的出现。
为了进一步理解Andy和其剩余几项本质的不同,我们结合各自上线时间、体验人数进一步做出说明。
如图,其中“跨次元相机”最早上线于2017年1月10日,已有860240131人进行了体验,而随后在2017年5月28日和2017年9月26日,美图又进一步上线了“少女照相馆”和“梦幻娃娃机”,但是这两项的体验人数相对就低很多,而2017年11月30日上线的绘画机器人,获得的效果就比较突出,直接达到了749224112,按照当前的走势,极有可能赶超“跨次元相机”。
究其原因,从体验中分析认为,“跨次元”包含的风格选项较多,同时该功能上线时间较早,并且在上线之初还利用了明星效应(anglababy)以及一些节日主题(元旦、春节等)进行运营,所以体验人数较多。
而绘画机器人取得的效果明显更为优异的原因在于,平台在数据和技术上的积累更为成熟,使得图像处理的算法更为准确和良好,我们可以明显地看到,由Andy生成图像的质量及细节处理都更加优秀。
如图,是这四种不同功能效果的对比。
对应原图,从左到右依次为“绘画机器人”、“跨次元相机”、“少女照相机”、“梦幻娃娃机”,各个图像最终的成像特点和本身的命名对应较为明显,尤其是反复来回体验后它们的区别和特色就会更为清晰。也可以通过这四项功能,更为清楚地认知到,美图秀秀在产品功能的进步,与其自身技术的发展一直紧密结合。
不可否认,基于机器学习原理,Andy接受的训练数据越来越多,“绘画经验”越来越丰富,它已经从一个机械死板的绘画小白,变得越来越成熟,而美图爸爸给它的终极定位是向它的兄弟微软小冰看齐,称霸AI绘画界。
在体验的过程中,相对动漫化身功能而言,Andy绘画功能的灵活性互动性差一些,但整体观感上,Andy的成像更具风格及艺术性,所以可能更得女性用户青睐。但体验中有一个微小的不足在于,点击对比按钮的时候,原图像和绘画生成的图像呈覆盖关系,而不是放到一个屏幕中进行对比,这可能也是受限于手机屏幕太小的原因。
技术分析
该项功能涉及的技术除了人脸检测外,还包括图像生成技术。基于人脸检测及分析,算法初步捕获了人脸特征,而后将这些特征输入训练好的图像生成网络DrawNet处理后生成用户的照片画像,其中DrawNet网络由美图自主研发并完成搭建及训练,最终部署于平台。同时,从生成的效果图中也可以看出,Andy在绘画的过程对于人物照片的肤色、发型、服饰等信息的捕获也比较准确,这是因为他们使用了专门用于头发检测及肤色检测的算法。
美图爸爸期待Andy随着更多用户的参与,获得更多训练学习的样本后,绘画技艺可以得到一定的成长和改变,不至于很快就被用户厌弃,希望这个希望不仅仅是希望吧!
技术关键词:人脸检测 头发检测 肤色检测 图像生成等
总结
通过本期对美图秀秀AI版块的进一步分析,同时结合上一期对抖音的体验,我们可以更深入地意识到,目前类似于人脸检测、关键点识别、人体分割及图像生成等技术在产品中的应用非常广泛,也有很多新奇的玩法,不过依然还有很多的成长空间可以探索。