日本宅男自制AI：二次元“纸片人”动了起来
发布时间：2019-12-02 发布者：亚时财经
对于宅男来说，二次元是神圣的理想乡，各种角色让他们喜爱不已。人们习惯将这些二次元的角色称为“纸片人”。不少人还将其中的角色称为“老婆”，并幻想要是她们能和自己互动就好了。
（图源：3DMGAME）
日本的一位宅男也有这种想法，但他没有局限于只是想想，而是选择自己动手去实现。这位少年名叫Pramook Khungurn，长期沉迷二次元虚拟偶像小姐姐，突发奇想用深度学习给自己做一个AI，结果竟然成功了。他把喜讯发上Reddit，7小时热度便突破200点。
这位小哥做出AI可以将人们输入的静态人物图，变成会眨眼，会张嘴，还能望天发呆的动态形象。据他所说，2D人物的动态建模较为耗时，如果要批量地处理，显然一步一步来是行不通的。于是他就选择用深度学习的方法，来跳过繁琐的建模步骤。
Pramook决定要做了以后，第一件事就是需要建立一个数据集，才好训练算法。这个数据集具体来说是标注好姿势的脸部数据集。二次元没有直接可用的现成数据集，所以需要自己创建。然而机智的他想到，可以用3D模型来训练2D的算法。于是从初音未来的MikuMikuDance里下载了8000多个虚拟人物来帮助自己建立数据集。
（图源：量子位）
一个3D模型就有上千张图片可以使用，何况是8000个虚拟人物的模型。
数据集有了，接下来就是算法。在Pramook的AI中，算法分为两方面，一个是表情变化器，一个是脸部旋转器。表情变化器较为简单，Pramook借用了中选ECCV 2018的GANimation算法。原来很简单，就是把两张图之间的变化过程用一张图显示出来，再与原图结合，就可以实现表情的变化。
脸部旋转器就比较复杂了，用了两个互补算法。其中一个依然是GANimation，另一个是来自Zhou等人2016年的视角合成算法，用来让图片里的3D物体转起来。要做到这一点，网络会计算出一个外观流(Appearance Flow)：它知道，输出的每个像素，色彩是来自输入中的哪个像素。两者结合可以让表情动作的转换变得平滑流畅。
最后，Pramook迫不及待地进行了测试，发现完全行得通。只需要输入一张图片就可以让二次元角色动起来。
当然，人们肯定不会局限于此。不少人发现，如果将这个AI搭配着面部追踪算法一起使用，就可以让二次元角色跟着别的视频进行动作。有人就用奥巴马的视频做了实验，发现完全行得通，二次元角色惟妙惟肖地同步着奥巴马的神态和动作。这样完全可以用新垣结衣的视频打造一个二次元新垣结衣来做“老婆”。
（图源：量子位）
不仅如此，视频还能自己拍摄，并且Pramook已经实验过表示可行。如此一来，宅男们完全可以手把手地教心仪地“纸片人”说话，打造专属自己的二次元AI。
亚洲时报 综合
责任编辑：杨志杰
特别声明：本站转载或引用之图文若侵犯了您的合法权益，请与本站联系，本站将及时更正、删除。版权问题及网站合作，请通过亚时财经邮箱联系：asiatimescn@sina.com
热门话题更多>>
国务院国资委网站3月31日发布消息，经报国务院批..[查看详细]
2021-04-01 10:43
3月份中国制造业采购经理指数、非制造业商务活动指..[查看详细]
2021-03-31 10:20
联合国粮农组织公布的数据显示，2021年2月份，..[查看详细]
2021-03-25 15:22
3月22日，中国电子信息产业发展研究院发布的《2..[查看详细]
2021-03-22 16:53
风电板块走强，节能风电拉升涨停，大金重工涨超6%..[查看详细]
2021-03-19 10:47
3月18日，国家互联网信息办公室、公安部加强对语..[查看详细]
2021-03-18 19:36
1-2月份，在以习近平同志为核心的党中央坚强领导..[查看详细]
2021-03-15 14:41
3月11日，国务院总理李克强在人民大会堂三楼金色..[查看详细]
2021-03-12 10:00
今日，核电板块走强，整个指数大涨4%。截至发稿，..[查看详细]
2021-03-08 15:11
今天上午，十三届全国人大四次会议在人民大会堂开幕..[查看详细]
2021-03-05 15:06
