AI|自拍变漫画AI大火:可将视频/背景转为漫画风 全程稳定不掉线
_本文原题是:一张自拍变6种风格漫画,视频也支持,全程稳定不“掉线”,这个AI不到一天狂揽1800赞 。这,就是最近在Reddit上大火的一个自拍变漫画AI,不到一天就收获了1800+赞 。
把自拍变漫画:
文章图片
不止支持一种面部风格:
文章图片
任凭小姐姐怎么“全身大比划”,效果都能保持稳定,全程“不掉线”:
文章图片
文章图片
不止人脸,连全身和背景也都全部照顾到了 。
文章图片
什么来头?
自拍变漫画,人脸、全身、背景都照顾到
这个AI叫WebtoonMe,基于深度学习技术将图像翻译成漫画风格 。
熟悉的朋友可能知道,Webtoon,web+cartoon,也就是“网页版漫画”,是漫画的一种呈现形式,出自韩国 。
这个自拍变身漫画AI的技术团队也来自韩国 。
一开始,他们只做了人脸转换,后来打算把背景也包括进去 。
文章图片
不过问题就来了:照片中的各种物体(如面部、身体部位、衣服、背景等)的风格属性都不太一样,如何输出统一的结果呢?
作者采访了几位webtoon的创作者后了解到,webtoon的“前景”和“背景”是用不同工具制作的,为了让两者更自然地融合,后期也添加了不少修饰 。
因此,他们将这个AI分为面部转换和背景转换两部分,即一个背景生成器+一个面部生成器,把人脸裁切出来和背景分别处理 。
文章图片
具体来说,他们先构建了一个webtoon数据集,这个数据集由人脸、身体部位、物体和自然背景等不同部分组成 。
然后创建了各种深度学习模型,用来减少前景和背景元素之间的风格差异 。
最后又模仿了不同webtoon创作者的修饰技术,通过几种后处理算法,让生成的结果更自然、质量更高 。
文章图片
具体的技术细节我们还未可知,目前也还没有开放试用链接 。
不过看起来让很多心动的背后,一些细心的网友仅通过几张示例就发现了一些问题 。
眼睛的效果还需改进
就比如这个眼睛,很多网友表示有点恐怖啊,一直直视前方,眼球动也不动 。
文章图片
如果能模仿眼球转动、眨眼睛、眯眼等眼部动作,效果肯定会更好 。
文章图片
此外,抛去这一点,脸部和背景处理得都还不错,就是这个身体部位风格化得不够彻底,还是有点像真人 。
文章图片
文章图片
倒是这个AI的稳定性值得让人夸赞 。
文章图片
哦,还有一点美中不足,有网友“惋惜”:
要是这个AI还没取名字就好了,不然就可以叫WaifuNet了……[旺柴]
【AI|自拍变漫画AI大火:可将视频/背景转为漫画风 全程稳定不掉线】
文章图片
One More Thing
要说这人物变动漫的AI,一直都层出不穷 。
就比如前不久的AnimeGAN2,采用神经风格迁移+GAN,由湖北工业大学的三位学生和老师开发,也是大火,一度需要网友排几小时大队才能看一眼自己在动漫里的样子 。
文章图片
AnimeGAN2的风格和今天的这个WebtoonMe不太一样,变换重点也只包括人脸,所以眼部跟踪做的挺好 。
不过面对不够高清的人脸时,效果一般 。
两者各有所长吧,你喜欢哪一种呢?
推荐阅读
- Toshiba|东芝“一拆三”计划生变!仅分拆半导体等设备业务
- 事物|30 件改变游戏的事物:从吃豆人、家用机到虚拟现实
- Tesla|特斯拉:由于比特币账面价值变化 去年计提了约1.01亿美元的减值损失
- 危险性|荷兰发现艾滋病毒超级新变种:传染性和危险性激增
- 危险性|荷兰发现艾滋病毒超级新变种
- 项目|交互改变参数、360度旋转,这个工具让你不用从头构建NN架构图
- 生活|Michael Dell寄语2022:把“常态”变成非凡的未来
- IT|研究人员用统计物理学来解释不同COVID-19变种的传播效率
- 手机|一加10 Ultra概念图现身 加入潜望镜光学变焦相机
- 手机|vivo NEX 5渲染图在网上泄露 再度与蔡司携手带来变焦镜头
