经过这样的处理，降噪技术总体上取得了96.2%的场景识别准确率。这个结果超过的人工标注的结果，为下一步做进一步增强和语音处理奠定了扎实的基础。

2、是技术，更是艺术

人工耳蜗虽然小，但是面临的挑战巨大。将降噪技术与听障场景相结合，比起纯技术研究的直线突破，更像一场“在针尖上起舞”的艺术。

商世东和团队必须要解决一个两难的应用问题：如何在极其有限的算力条件约束下，处理高复杂度的现实噪声？

使用人工耳蜗的听障用户，听到的声音跟健全人听到的声音有很大区别。一个关键原因是，他们本身听觉细胞比健全人要少得多。

15岁的晓婷，是广东佛山的高一学生，也是这次天籁行动中的听障用户之一。晓婷在两年前，装上人工耳蜗，第一次听到了这个世界的声音。可她却无法认出妈妈的声音。在晓婷听来，男人的声音是低沉的，女人的声音是尖细的，但她无法分辨每个人的声音有什么不同。

健全人有15000个听觉细胞，能够让你听到非常精细的，带有非常丰富音频细节的声音。而听障人群的听觉细胞显著低于健全人，可能只有几千个、几百个，甚至于最差的只有几十个，对声音的解析力不够。所以他们听到的声音非常模糊，听不清、听不见。

助听器和人工耳蜗，最主要的功能是把音量放大。但是在把音量放大的同时，把很多很多的环境噪声也放大了。

人耳对噪声非常敏感，不同频段的敏感程度也不一样。当把音量放大以后，健全人觉得并不是太吵的环境噪声，比方说空调声、风扇声，或者是马路上的声音，听障人士听起来会觉得嘈杂得不得了。

经典的声音处理，很难提升人工耳蜗对听障人士带来的听觉体验。经典声音信号处理时，如果要达到很好的降噪效果，需要很强的计算能力。人工耳蜗是戴在耳朵上的，既要轻，又没有电源（现在都是电池供电），所以运算能力非常有限。

当我们的电脑和手机达到主频是GHz多核架构的时候，人工耳蜗由于尺寸限制，往往只能有几十MHz的处理能力。在这样的处理能力条件下，需要高复杂度的噪声处理成为了业界的难点，为了克服这个难点，很多公司在进行这方面的研究，但一直没有突破。

人工耳蜗原理图

今年年初，商世东和团队找到了国内最大人工耳蜗厂商之一诺尔康公司。他们一起反复探讨，在现有的软硬件资源局限条件之下，如何帮助人工耳蜗的佩戴者有更好的体验。

经过反复讨论和技术验证，他们最终确定了手机伴侣APP加人工耳蜗的联合优化方案。在手机上，通过手机强大的语音处理和采集能力，对采集到的语音进行场景识别和场景有针对性的降噪和增量处理。针对处理过的语音，通过有线或者无线的方式发送到人工耳蜗，人工耳蜗可以进一步刺激相应的听觉神经，有效的改善听觉体验的效果。

针对噪声消除，腾讯多媒体实验室有效融合了经典数字信号处理和深度学习技术。经典数字信号处理在解决平稳噪声上有独特的优势，计算复杂较低，但处理日常生活中的非频率噪声往往力不从心。而深度学习技术有非常优秀的特征建模能力，可以针对日常生活中的各种噪声进行准确的建模，从而有效预除生活中突发的噪声，但深度学习的缺点在于运算量复杂。为了进一步降低运算复杂度，他们采用了多种辅助训练方法，并把训练后的模型进一步量化处理，把运算复杂度有效的降低到1兆尺寸以下，解决了低功耗的手机终端上运行降噪处理的难题。

考虑到手机上多麦克风的情况，腾讯多媒体实验室进一步采用了以前在雷达以及智能天线领域使用的波束形成技术，进一步辅助降噪和语音的正常的处理，有效对特定方向的语音进行针对性加强，同时滤除非特定方向的干扰人声以及环境噪声。

通过使用多尺度、多级别的人工智能机器学习模型，商世东和团队为不同定制化场景研发了更有针对性的、更优的降噪解决方案，针对场景的识别率从60%提升到平均96%。经过多种技术的整合和处理，有效提升了听障人士在各种沟通场景之下的效率，帮助消除他们不想听到的声音。

试戴新一代人工耳蜗第一天，晓婷和妈妈一起去公园，突然听见了从来没有听过的声音。妈妈告诉她，这是鸟叫。她说：“妈妈，是两只鸟的声音。”妈妈惊讶了。她从来没有想到，晓婷不仅能够听清鸟叫，还能辨认出是两只鸟的叫声。

腾讯多媒体实验室发布天籁行动，用AI技术帮助听障人士

3、腾讯的“技术外溢”与产品力

值得注意的是，天籁行动并非腾讯偶然一次心血来潮的公益实践。它是腾讯基于“科技向善”的价值观，进行体系化、持续性建设的公益产品落地之一。其背后的驱动机制，正是腾讯技术积累的“技术外溢”，以及将技术快速场景化落地的强大产品力。

“天籁行动”之所以能达到显著的语音增强和降噪效果，既源自于腾讯多媒体实验室多年的技术积累，尤其是在多媒体方向上的投入，也得益于腾讯内部众多产品的丰富场景应用、快速迭代创新。

腾讯多媒体实验室过往20年开发的音频技术，用在了腾讯QQ，腾讯课堂、腾讯语音等多个产品上，服务于全球最大的体量客户。

最近的一个例子是腾讯会议的实践。作为一款上市不到一年的产品，腾讯会议的用户数已经突破了1亿。其快速增长背后，是新一代实时音频技术加持——为腾讯用户在使用过程中提供高清、流畅、沉浸的音频通讯体验，解决在音视频场景里所碰到的挑战。这个技术就是应用于人工耳蜗的腾讯天籁。

不同技术互相取长补短，才能有更好的体验。为此，腾讯多媒体实验室组建了一支多元化的技术团队。商世东20多年一直在研究音频技术方向，团队里成员的背景也相当丰富：技术领域有偏重于声学的，有偏重于算法的，有偏重于机器学习的，有偏重经典信号处理的。专业背景既有中国顶尖高校，如中科大、北大等毕业的博士生加入，也招募了很多国际知名的人才加盟，包括来自新加坡国立大学、澳大利亚西澳大学，还有在德国工作多年的经典数字信号处理方面的专业人才……团队成员相互合作，技术融合创新，一块打磨音频体验。

同时，腾讯发挥自身的产品力优势，将前沿技术应用到“无障碍”、AI寻人等多项公益产品中，为信息无障碍贡献力量，持续为