无人机智能时代来临——精灵4视觉追踪篇

猎豹通过两只眼睛来观察周围的环境，Phantom 4也是一样一样一样的！号称双目立体视觉嘛，大致原理就是通过具有一定视距的两个摄像头（左眼和右眼）对同一目标进行观测（就是在视网膜上成像），得到前方环境的深度图。这样一样来，前方障碍物的情况了如指掌，妈妈再也不用担心我撞上迎面的妹子。

专业一点来说，你问我Phantom 4能看多远，我说能看0.7-15米（官网有售），在光线条件还行（>15lux）的情况下，除了细小的物体（比如电线）以外，它都可以看见！可是为啥晚上不行呢？小编自己脑补了一下夜里摸黑走路的情景。。。

除了往前看，Phantom 4也要常常需要看看地面，才知道跑的多快，跑了多远。这个就靠融合向下的摄像头、超声波，以及自身的惯性测量的信息进行综合计算。Phantom4号称可以在风不是特别大的情况下，稳稳地悬在空中。以小编的经验，精灵4使用了双目立体视觉，这样是为了获得相比于Phantom3以及其他使用单个摄像头来进行测量的无人机来说更为精准的速度测量和悬停的能力。所以，我就在那里，不离不弃，你想怎么拍就怎么拍！

技术一点来说，这个东西叫做视觉里程计（Visual Odometry）。它是通过对地进行视觉观测，计算光流，并融合自身的传感器来实现的。说白了，就是计算机视觉领域大名鼎鼎的Structure-from-Motion。绝大多数视觉里程计算都会用到光流的跟踪。不过如果仅仅是用光流就可以搞定的事情，那么测速和悬停早已成为所有无人机的标配。情况显然没有这么简单！比如如果地面上没有纹理变化，无法进行光流跟踪怎么办？比如有影子或者其他会运动的东西，对摄像头的光流跟踪造成干扰怎么办？比如光流跟踪一小段时间会断怎么办？误差会慢慢累积最后悬停一会儿之后就飘走了怎么办？

事实上，以实际试用的情况来看，大疆的精灵4的视觉里程精度非常高，悬停时完全不会飘，而且即使用手拉动它，也会挣扎着回到原来的位置纹丝不动。而且，在几乎没有什么纹理变化的均匀地面之上，也可以做到。这真是亮瞎了小编的双眼！！这意味着你在室内几乎任何场景下，都可以不用担心精灵4由于飘动而导致的碰撞和炸鸡（天黑闭眼除外）。以小编的经验，大疆的精灵4上一定是使用了一些不可告人的黑科技！！比上一代精灵3以及其他号称能够依靠光流悬停定位的无人机都要出色。

2.紧盯目标

为了捕获味美的羚羊，猎豹必须牢牢盯死它，不管它百般变化或穿上马甲。而这是需要猎豹的大脑来对羚羊的动作和样子进行复杂的加工。而对于精灵4来说，这就需要最前沿的模式识别和机器学习技术。为什么呢？这里有几个挑战：

2.1 目标的样子总是会变的，而环境更是多变复杂的

想象一下，在一个充满诱惑的树林里，猎豹追逐羚羊，到处都是干扰。羚羊在逃跑的时候，一会儿露出左边，一会儿露出后面，说不定一会儿露出头顶。而且还时不时经过阴影或者在顺光/逆光当中穿行。人类可以轻易的区分行人和汽车，羚羊可以从环境中识别出猎豹的身影，这是因为生物的大脑具有非常强大的模式识别能力，但是对于机器来说，使用视觉的目标跟踪却是一件困难的任务。

稍微技术一点的来说，相机看到的只是一张4K分辨率的数码表格，怎么把这些不停变化的像素识别为目标，是一项非常困难的任务。雪上加霜的是，随着光照的变化，阴影变换，物体重叠，遮挡,，形变，旋转，甚至于角度的变换，任何一个都可以让这些信息变得面目全非,，毫无逻辑可言。要让计算机能深入挖掘这些数字之间的关系，找出有用的信息, 就是模式识别和机器学习领域的研究内容了。换句话说，计算机需要不断地对目标的样子进行学习，抽取最主要的表达特征，使得它足够与变幻莫测的背景区分开来。

2.2目标时不时会被挡住或者藏起来

目标在移动的过程中，常常会被周围的环境所遮挡，怎么样只依据目标漏出来的一小部分就能判断目标的位置和大小，也是在目标追踪的过程中必须完成的挑战。以小编的知识水平来说，这一直是业界的公开难题，目前没有什么特方法精确地做到长时间的跟踪，即在跟踪的过程中准确地对目标进行学习，同时准确地判断遮挡和重新发现目标，特别是当目标和背景或者遮挡物样子非常接近的时候。

2.3 大脑反应要快

人脑可以对所有这些复杂的变化做出快速的反应，甚至在你无意识的过程中完成，这是因为人脑有非常复杂的结构和高效的处理单元——有研究表明人脑的神经元数量在10^12以上，每秒能进行的神经突触计算就更不计其数。然而纵观目前各大厂商的CPU、GPU以及目前火热的深度学习处理器，都和人脑在复杂度上差n个数量级，更何况身材瘦小的精灵4。

从Youtube的用户视频来看，大疆的Phantom 4的目标跟踪功能在这些方面都处理得很好。在光照和背景剧烈变化的情况下，还是能够牢牢地盯着不断变化的目标。即使偶尔跟丢，当目标重新出现之后，有能很大概率找回来。真是亮瞎了小编的眼镜，还是头一次看到这么稳定和强壮的跟踪和识别技术，甩都甩不掉！以小编的经验来看，大疆Phantom 4肯定是使用了类似于深度学习的黑科技。

这货并不容易驾驭。它非常的饥饿，既要大量的数据来训练，又要大量的计算资源来跑。当然，如果是仅仅是跑某个具体的小数据小复杂度的分类任务，需要的网络又很小，则另当别论。通常情况下，随着任务难度的增加，类别的增加，区分度的困难度增加，所需要的计算资源就会大幅增加。那如何在有限的计算平台上，尽可能地满足应用的需求，是最近讨论最火爆的课题——仿神经元芯片。而要实现目标，就涉及到一系列复杂的处理和优化和加速等等。大疆能把这么一种神黑科技搬到精灵4上实现复杂场景下的目标跟踪，小编已经不忍直视，就让这些大公司神人去折腾吧。

3.制定策略

接下来，猎豹就要在它的大脑中绘制一幅地图，并制定进攻策略了。这个地图的样子大概长成下面这样：里面既有目标的位置，也有自己的位置，以及环境中各种石头哇之类的障碍物。猎豹需要知道哪里能走，哪里不能走。而且猎豹需要根据羚羊的速度和动作来决定自己应该是加速往前冲，还是从旁边迂回，还是先慢下来等待机会。而且万一羚羊被花花草草遮挡住的一瞬间，猎豹还需要知道羚羊可能从哪里再次出现。专业一点说，这就是导航和路径规划的过程，既需要使飞机跟上目标，同时又要规划路线绕开路上的障碍物。这是机器人Navigation当中非常重要的一个方向。

精灵4实现了既要跟踪目标同时又要避开障碍物，规划一条足够安全的路线出来，其难度和很多厂家广为宣传的所谓的避障完全不是一个级别。单纯的避障好比我们开车的时候看到障碍物了大脚刹车，人人都会，只要不撞上就皆大欢喜。比如Typhoon H就是用了前方的超声波来干这事儿。而精灵4所谓的跟踪过程中避障就好比好莱坞电影里面，主角一遍追坏人一边还要躲避路上的车和花花草草，时而加速，时而减速，时而打方向盘，搞不好还要运用到漂移??所有这些动作，都要保证安全，想起都觉得难搞，不知道大疆是怎么做到的。

产品为王

那么这些看上去牛叉轰轰的技术，作为小白用户，它究竟能带给我哪些好处，我能拿它来干什么呢？

_长镜头跟踪拍摄：以前用无人机进行跟踪拍摄，要靠勤劳的双手。好点的通过遥控器GPS能跟着拍，结果拍出来的画面里总是有个遥控器再那里。再好一点的带个悬停，在一些场景下不至于总是飘来荡去，甚至碰撞炸鸡。现在拥有精灵4之后，这些问题统统不用担心，只需要在APP上框选目标，它就可以帮你拍出专业级的长镜头跟拍视频，中间动作的变化非常平滑自然，甚至偶尔还有小小惊喜。是不是很吊？尤其是这个过程它遇到障碍物会自己躲过去！基本不影响视频的拍摄。有没有很吊？

_自动环绕飞行：用手更难拍出来的不仅是长镜头跟拍，更有刷锅环绕。这个是高级技能好吧！现在精灵4的智能跟随模式里，可以通过仅仅掰动摇杆就能实现。关键的关键是，不仅能够对静止的物体进行环绕刷锅，对运动中的物体（比如船、骑自行车等等）也行，而且效果很震撼！小编用人格担保一份价钱一份货！

_动态构图：厌倦了总是把妹子摆在画面中间？大疆的攻城狮们的确周到，连构图的事儿都帮你想到了！在跟拍或者刷锅的时候，随时在APP上拖动目标，轻松drag-and-drop就能实现改变目标的位置，太贴心了！

_自拍：想自拍？框好自己之后，面对着飞机往前走，看看拍出来的视频，是不是很酷？以前从没有体验过的视角？

（编辑：PHP编程网 - 湛江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!