抖音尬舞机用什么识别(抖音尬舞机用什么识别音乐)

抖音尬舞机诞生记

在刚刚过去的 2017 年里，如果要盘点整个互联网行业最引人瞩目的产品，抖音无论如何都会榜上有名。

从 3 月爆发起，抖音全年保持了令人震惊的增长态势，以至于此前所有关于他将会昙花一现的预言统统落空。就在 12 月的月末，抖音更是实现了一波强劲地增长，顺利登顶中国 App store 的免费榜。

事实上，早在 9 月，抖音就已经进入了位居 App Store 摄影与录像分榜第一，并进入总榜前十。而登顶之后，也并未迅速跌落，即使到了今天，抖音在 App Store 上仍仅次于支付宝和微信，位列第三。

（抖音 3 月以来的百度指数）

那么，抖音是如何能在 2017 年一路势如破竹，甚至在年末战胜微信、支付宝这样巨头登顶 App Store 的呢？

和外界大多数所分析推演的不同，来自抖音内部的结论是，新技术新功能的不断开发迭代是产品能够持续走高的重中之重。

以岁末的这次登顶为例，抖音内部归功于产品新推出的功能玩法。12 月 21 日，抖音的新版本上线了名为「尬舞机」的功能，上线的第二天，抖音就成功登顶。

是什么让抖音在 2017 年实现了现象级的表现？如同尬舞机这样为抖音带来质的变化的功能又有哪些？其中如尬舞机这样的技术功能又贡献几何？这些功能又有什么特殊之处？

带着这些问题，我们采访了抖音产品负责人王晓蔚，以下是采访内容实录：

Q：抖音年末的这波爆发真的是因为新功能「尬舞机」吗？它是如何做到的，从产品表现来看怎么样？能详细介绍一下这个功能吗？

抖音：其实在封闭开发的时候我们就有这样的期待（登顶），毕竟从 9 月开始抖音就稳定在 App Store 前十。所以开发的时候项目组的同学都憋着一口气，想要把这个功能做爆炸，最后也确实实现了。

尬舞机研发上的技术支持来自今日头条人工智能实验室（简称 AI lab）。它其实是人体关键点检测技术的应用。依靠这项技术，我们能够检测到图像中所包含人体的各个关键点的位置，从而实现从用户姿态到目标姿态的准确匹配。简单来说是把就把跳舞机、kinect 这样的体感游戏搬到了手机上。体感类游戏之前受技术条件的限制，大家只能借助特定硬件设备才能玩。尬舞机的出现标志着，凭借先进的深度学习技术的支持，我们已经能够让我们的手机实时，精准地「读懂」人体的姿态和动作，让普通用户随时随地能够体验这种游戏形式。

上午新版本放出以后，就有很多用户参与进来了。因为尬舞机玩起来没什么门槛，效果又很「尬」，玩的好的会很酷，玩的不好也会显得蠢萌蠢萌的，用户把视频分享到 social 渠道不会有什么负担。事后来看尬舞机视频的站外分享量都非常高。其实到了当天半夜，我们就已经 App Store 登顶了，也就不到 20 个小时吧，那个时候我们原定的推广活动都还没开始。

Q：我们看到近期一些其他产品也推出了类似的功能，从结果上来看，都没有尬舞机对抖音的贡献那么直接明显，这是否说明产品的增长其实不完全是新功能的作用？

抖音：很多看上去相似的功能，因为工程能力的不同，在实现效果上会有很大差异。以尬舞机为例，动作识别准确率高，用户才能玩起来，否则只会让人反感。

而要想做好这个功能，需要解决两个难题。第一，人体的形变范围比较大，受衣服变化、物体遮挡等影响严重，在日常场景下准确地检测人体关键点一直是计算机视觉领域中的一个热点问题。第二个难点是，要实现精准检测，需要耗费高昂的计算资源，无法在手机端实现日常场景应用。

由于这两个难点的存在，市面上很多产品的类似功能只能实现半身检测，甚至人脸检测。这样功能的实现效果上会大打折扣，玩法上也会有很多限制。

对此，头条 AI lab 的同事创新了技术方案。相比于业界流行的自顶向下（Top-Down）的方案，我们采用的是自底向上（Bottom-Up）的方案。核心是我们针对移动端设备自研的网络结构，极大地减少计算量，同时让准确率大幅提升，实现了在移动端的实时无损运行。

我们的人体关键点模型是业界领先的水平。从实现效果来看，我们在国内首次把检测范围扩大到了全身。而对于更简单，也更广泛实用化的人脸关键点检测技术，可以对视频进行实时检测。也积累了很大的人脸库，可以很准确的识别人脸。

Q：所以尬舞机是抖音的「大招」吗？最开始立项要做的原因是什么？

抖音：整个功能前后封闭开发了一个多月，内部确实对尬舞机的效果是有期待的。但不是以憋大招的心态去做的，像尬舞机这样玩起来更简单，效果更酷炫的功能这一年来抖音一直在做。包括背景分割、音乐滤镜、AR 贴纸等等，都是基于我们的 AI 技术开发的特效功能。只不过这次登顶了所以大家都关注到了。

之所以做这些还是跟我们的初心有关，当初我们做抖音的时候就觉得应该有一个适合中国年轻人的音乐短视频社区产品。这个产品要年轻人喜欢玩，能轻松自在表达自己，展现自我，要有意思。所有的功能设置都是围绕这个目标展开的，中国年轻人的歌舞基础很弱。想要更多的人能够参与表达，就要在产品层面做更好的引导，降低他们表达的门槛，让他们更容易变酷。

这也是为什么抖音的滤镜和特效会受到追捧，因为我们确实在这方面投入了很多心血去做好它。说一个挺有意思的事，最近「国民闺女」关晓彤也开始玩抖音了。看上去她玩的还是挺开心的，最近我们发现她把个性签名改成了「这里的滤镜和美颜让我无法自拔」，这也算是对我们的特效功能的一种认可吧。

Q：所以抖音的滤镜和特效的不同之处是什么呢？

抖音：还是我们的技术。背后的很多「黑科技」让我们的特效不仅仅停留于其他平台的卖萌贴纸。

举个例子，抖音有一个「实时染发」的特效，即能在手机上实时改变头发颜色，模拟现实生活中的染发效果。这个功能是站内最受欢迎的特效之一，别的平台还没有办法实现。

（实时染发特效）

其中的难点是头发的分割。因为头发非常细，边缘部分的识别和分割非常难。我们专门针对头发做了识别优化。基于自研的网络，我们的头发分割能达到发丝级的精度。我们通过头发追踪技术和自研着色技术，估计头发的反射率，能够在不同的原始发色和光照条件下渲染大多数颜色。

Q：这些「黑科技」对于抖音这一年的增长到底起了哪些作用？

抖音：这么讲吧，基本上每次有新玩法新功能出现，都能在数据上获得直观的体现。不仅是尬舞机，「单身狗」、「大脸怪」、「憨厚」等，我们这些在社交网络受到广泛喜爱的特效，都为我们吸引来了很多新用户，并形成了很好的品牌效应。

Q：对于这些新功能新玩法，抖音内部有一套运作机制来持续地开发吗？

抖音：谈不上什么固定的机制，其实冒出来的想法远多于最终能够落地实现的。这些想法一方面来自我们自己产品运营同学的脑洞，另一方面。我们也会从用户那里汲取灵感，有些想法是用户直接反馈给我们，有些则是我们从用户的视频里发现，通过技术手段来实现。

前不久，今日头条与北京大学共同完成的「互联网信息摘要与机器写稿关键技术及应用」项目获得了吴文俊人工智能技术发明奖。吴文俊奖被外界誉为「中国智能科学科技最高奖」。

背后有头条 AI lab 的支持，也是抖音比较幸运的地方，这让我们的很多想法有机会落地。这可能也是我们相对于其他同类产品的优势。反过来包括抖音在内头条的众多产品业务线，为 lab 前沿的 AI 技术研究提供了应用的场景。

——————————————————————————————————

微信关注公众号“懂懂笔记”每天第一时间为您奉上最新最热的科技圈资讯~

多年财经媒体经历，业内资深分析人士。圈中好友众多，信息丰富，观点独到。

发布各大自媒体平台，覆盖百万读者。

《小米生态链战地笔记》、《微信思维》、《微信力量》三本畅销书的作者。

以上就是抖音尬舞机用什么识别的全部内容，希望能够对大家有所帮助。