加入收藏 | 设为首页 | 会员中心 | 我要投稿 PHP编程网 - 湛江站长网 (https://www.0759zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 移动互联 > 正文

你的涂鸦活了,CMU中国本科生让画成真丨有代码有Demo

发布时间:2019-06-17 10:27:21 所属栏目:移动互联 来源:郭一璞
导读:副标题#e# 本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 凡人的世界,绘画就是静态的。但在一个神秘的计算机世界,一切都不一样,不信你看。 画一个独角兽,然后轻轻一点。 独角兽就活了,奔跑跳动、跃然纸上。 给它取个名,再轻轻

“造物主”黄同学用了三个步骤来完成这个世界的构建。

给涂鸦加上骨架

就像人体关键点检测一样,随手画出的涂鸦也需要关键点,确定骨骼位置,才能描绘出它的精气神。

这里,黄同学用了OpenCV的骨架化工具,借助Zhang-Suen的C++代码实现。不过,这套实现遍历了图像中的所有效果,所以在web端实现的效果又卡又慢。

黄同学不得不重新借助gpu.js,用WebGL shaders的javascript分支重写了代码。

重写之后要快得多了。比如我们放一张寡姐持枪的照片,它就能自动把画面的重点,寡姐的躯干和两条拿枪的胳膊就可以自动勾勒出来。

你的涂鸦活了,CMU中国本科生让画成真丨有代码有Demo

让机器看懂骨架

但是,现在问题来了,看到这样一张图,人类可以判断出来是一个人和TA的两条胳膊,可是机器好像不行啊。

于是,黄同学决定用8×8窗口扫描整个图像,找到那些有笔画的部分马克出来,作为根补丁(root patch),然后,看根补丁小方块的四个边,哪边有线就往哪边延伸,这样就能找出整个骨架,之后用中值模糊滤波器(aggressive median-blur filter)降噪。

你的涂鸦活了,CMU中国本科生让画成真丨有代码有Demo

现在,机器终于能理解你画的涂鸦的形状,和它内部的骨架结构。

让涂鸦动起来

下面就得想办法让涂鸦动起来了。

这里,黄同学确定了五大物种:哺乳动物、人、鸟、鱼、植物,根据涂鸦形象骨架,确定画出来的小怪物属于哪一类物种,然后给骨架的不同部分分配身体器官:这是头,这是胳膊,这是腿……

之后,他为不同物种设定了单独的“走路”姿势,比如植物应该是在一个固定的地方蹦蹦跳跳,哺乳动物和人类应该是在地上跑,鸟应该放在天上呼扇翅膀,鱼应该是在水里摆尾游动。

你的涂鸦活了,CMU中国本科生让画成真丨有代码有Demo你的涂鸦活了,CMU中国本科生让画成真丨有代码有Demo

你的涂鸦活了,CMU中国本科生让画成真丨有代码有Demo你的涂鸦活了,CMU中国本科生让画成真丨有代码有Demo

这样一套流程下来,涂鸦就能动起来了。

对了,涂鸦小怪物们所生活世界的“天、地、水”也需要定义。

黄同学用2D高斯函数乘以Perlin噪声,生成了一个类似海里的小岛的地图,中间高,周围低,最外层是水,这样,花鸟鱼虫们就能够各得其所了。

AI搞怪爱好者

黄同学即将在明年从CMU毕业,此前他还是迪士尼的实习生。这位97年出生的少年,创造过很多神奇的项目。

比如,自动生成山水画:

你的涂鸦活了,CMU中国本科生让画成真丨有代码有Demo

还有Emoji小人大战:

你的涂鸦活了,CMU中国本科生让画成真丨有代码有Demo

自动书法生成器:

你的涂鸦活了,CMU中国本科生让画成真丨有代码有Demo

相当有趣的内容,大家可以戳进传送门体验。

专业“马良”公司已面世

涂鸦动起来,这种像神笔马良一样的功能其实已经被一家公司商业化了。

前微软人机交互专家曹翔博士创立的小小牛科技就是这样一家公司,他们用自研的Wonder Painter技术,可以把各种物体变成会动的角色。

比如,在绘画界面里画一个穿裙子的姑娘:

你的涂鸦活了,CMU中国本科生让画成真丨有代码有Demo

接下来,姑娘就可以直接开始热舞了:

你的涂鸦活了,CMU中国本科生让画成真丨有代码有Demo

小小牛的这项技术已经以游戏的形式,应用在了一些线上营销活动中。未来,这类技术或许还能在艺术创作、儿童教育等领域大放异彩,会大大降低艺术创造的门槛。

所以“神笔马良”,不止是前沿技术,未来商业前景也隐隐轰鸣。

传送门

Demo体验:
https://doodle-place.glitch.me/

差点忘了说,因为这个项目太受欢迎,有时候需要像滴滴一样排队才能进入,开头的皮卡丘和哆啦A梦在第二个Demo服务器里:
https://doodle-place-server-2.glitch.me/

原作博客:
http://golancourses.net/2019/ngdon/03/05/ngdon-drawingsoftware/

骨架化代码:
https://skeletonization-js.glitch.me/

(编辑:PHP编程网 - 湛江站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!