5月24日，36氪新质生产力·AIPartner大会于北京环球贸易中心正式拉开帷幕。大会聚焦AI场景与应用端，分为AI能为我们做什么和我被AI赋能了两大篇章。现场汇聚来自蚂蚁集团、联想、OPPO、百度、英特尔等企业的AI领域先锋者，以赋能者与被赋能者的不同视角，共同探讨AI技术如何爆改千行百业。以下为趣丸科技副总裁兼CTO谢睿演讲实录。
趣丸科技副总裁兼CTO谢睿：大家下午好！我是趣丸科技的谢睿。很荣幸能够受邀参加36氪AIPartner大会。今天我的演讲主题是《多模态智能激发应用新场景》，借这个场合与各位新老朋友分享趣丸科技在人工智能方面的最新探索成果，以及赋能智能音频和数字安全方面的一些思考。
请允许我简单介绍一下趣丸科技。我们是一家成立于2014年的国家高新技术企业，可能有些朋友对我们的兴趣社交产品TT语音和TT电竞业务比较熟悉。得益于公司十年积累的技术自研能力，我们也构建了全栈式AI交互技术产业生态，专注人工智能交互前沿技术研究和提供企业级解决方案。我们目前围绕四个大模型（生成式3D大模型、生成式音频大模型、生成式动作大模型、对话大模型）在开展技术自研，后续将推动规模化落地应用。
前段时间GPT-4o的问世，相信大家都看到很多关于多模态智能的讨论。多模态使得人工智能可以像人类一样感知和理解音频、文本、图像、视频等多种模态信息，并与人类进行更加自然高效的交互，展现出了强大的功能和广泛的商业应用前景。多模态能力是实现通用人工智能的重要路径之一，也是趣丸科技人工智能技术的重点投入方向。
我们认为AI竞争归根结底是落地速度的竞争，新技术的真正繁荣，取决于应用的繁荣。这几年，我们将多模态能力融入公司技术研发体系，并结合长期积累的用户优势，探索出了经过市场和用户验证的应用成果。这里，我主要选取了两个案例来做分享：
一、智能音频赋能创新玩法：在智能音频领域，我们的技术能力已经实现了数据层、算法层到应用层、接入层的全方位覆盖，智能音频也是趣丸科技与生俱来的技术优势。如何利用智能音频技术解决创新玩法设计和提升用户体验？我们从听、说、想三部分来进行思路拆解：首先要让AI能听懂用户的声音，正确识别声音中的文本信息、音频属性信息等；其次能参与用户互动，比如用户可以进行实时的语音交流、调整音色，打造更多新奇体验；第三就是能理解信息中蕴含的意思，理解用户的意图、情绪状态，帮助我们做出合理的响应。
分析好思路后，我们要做的是寻找解决方案，这个解决方案必须满足三大指标要求，即算法效果准确、模型预测的性能要最优、算法推理延时小于我们要求的阈值，保障用户能有良好的体验。经过长时间的迭代与验证，我们自研了一套端云协同三维一体智音体系，它主要在移动端语音识别、音色克隆TTS、音色转换、语音评价等方面实现技术突破，在安全可信范围内，有效解决用户在即时语音场景下的语音沟通问题，且为用户提供了丰富的音频玩法。可落地应用于在线音频、社交、语音类产品中。
我们希望通过这套解决方案，让AI更懂人话、更有才华、更通人性，切实地推动产品创新、增强用户体验。
（一）听：语音识别方向。在语音识别方向，我们主要基于特征和对比学习的模型蒸馏技术，以及对流式语音识别模型RNNT的一系列算法改进，包括跳帧解码、惩罚延迟以及输出抑制。我们还借助强大的大模型进行模型微调和数据增强，最终整合端上神经网络计算框架NCNN的改造，打造了一款具备低延迟、低资源消耗和高准确率、高安全性的移动端轻量级语音识别方案。它适配不同口音、语速和环境噪声，可应用在语音直播、多人聊天等场景。例如，多人聊天场景中，我们帮助客户开发出字幕生成功能，可以毫秒级完成语音识别音转字，方便用户交流。
（二）说：音色克隆TTS方向。在音色克隆方向，传统的语音克隆需要大量的数据集来训练模型，少批量
1024学院是国内高端技术人才的聚集地，公司高端的iTechClub每年都会组织数次峰会引领互联网行业导向，很多牛人都是里面的会员。 互联网CTO班也是业内最具名气和实力的高端人才培养基地。 目前推出的CoderX项目更是打破了传统的局限，提倡无师资无教材的任务式学习方式，培养具备主动能力的优秀人才。
有一次北京参加活动时介绍他们的团队，被评价为“战神一样的团队”，他们的首席科学家Bob服务和领导了lnte20多年，贝克链的CEO在美国高盛曾服务于高盛，CTO是前唯品会的技术高管，技术总监曾经在BM做分布式账本技术，也是以太坊代码的贡献者等等。
作者丨郭蕾编辑丨小智计算机界的泰斗人物杰拉尔德温伯格曾说：“领导力就是创造这样一个环境，可以让每个人都能在其中发挥出更多的能力”。 在知乎和 Quora 上，都有人提问说技术管理的难点到底在哪里？如何才能迅速具备超强的技术领导力？工作中，作为管理者，你经常会迷惑，技术团队的 KPI 到底应该怎么定？如何才能让自己的团队像别人家一样，高效而又有战斗力？如何才能更好营造技术团队的创新氛围？或者，你刚刚升职做了团队 Leader。 之前是技术大牛，可以一个人把事情做得很好，但现在你想不清楚，怎么才能保证团队一群人把它做好，哪些事应该让团队成员来做，哪些事应该自己重点做。 或者，你突然发现团队有的程序员之前表现很好，但最近这段时间突然间就像变了一个人，工作消极完全不在状态，这个时候你该怎么办？再或者，作为一个普通的程序员，你不满足于现状，希望寻求更大的突破，你想了解更多，作为技术领导者是如何思考与组建团队，解决内外部协作的问题？“技术领导力300讲”是极客时间全新推出的针对技术管理者的全年大专栏，它由阿里、腾讯、京东、AWS 等上百家知名互联网公司的优秀技术领导者和 CEO 共同贡献和维护，内容涵盖前沿技术、趋势分析、团队管理、软性技能等技术管理者关注的重点问题。 每一讲，都是这些身经百战的管理者们基于实践经验的总结和提炼，希望通过体系化、有洞见的课程，来帮助技术管理者提升管理技能，拓展技术格局，不断进化。 到底会讲哪些内容？作为一门为管理者提供的领导力方面的课程，本专栏将会重点从术和案例方面重点为你分享一些同行者的实战经验，当然，内容包含但不局限于管理，此外还有创业、技术趋势、职场、国家政策解读等方面的内容。 专栏中的每篇文章，都是一些身经百战的管理者们基于实践经验的总结和提炼。 专栏作者中，有些曾经获得“最具价值 CTO”的荣誉，对于团队管理有自己的独到方法；有些从 CTO 进阶为 CEO，对于 CTO 和 CEO 应该如何相处有着深刻理解；有些带领技术团队从无到有完成核心系统架构，助力公司业务实现百倍增长??具体内容目录如下：你会收获什么？技术领导力300讲汇聚了国内大中小企业 CTO、技术总监们的洞察和思考，这里有他们的一手私密实践干货分享，也有他们对于行业、管理、技术、职业的思考与洞察。 比如在第一周的技术领导者的核心能力模块中，易观的 CTO 郭炜将会结合自己多年的实践经验，为你分析技术管理者应该具备哪些核心能力，并将这些能力串成线，帮你逐步理解学习。 同样，我们还要请了前去哪儿网 CTO 吴永强来为回答你最关心的问题，帮你从另外一个维度理解领导力。 简单来说，学习完本专栏，我们希望能够：提升你的团队管理能力，包括组建团队、挑选优秀人才、有效制定研发计划。 带给你更大的领导力格局观，像 CEO 一样思考商业、让技术与商业战略协同、确立管理者能力模型。 让你快速了解最新的技术与趋势，比如区块链、人工智能、运维技术发展到了哪个阶段，你的企业是否还在用老旧的技术解决别人早已经轻车熟路的问题。 帮你解读国家政策，我们会邀请行业专家深入分析解读国家机构最新发布的产业政策，助力你洞察先机。 如何订阅技术领导力300讲全年独家专栏？订阅方法：点击下图，进入极客时间小程序，微信支付，立即订阅畅读。 特别福利福利一：原价299/年，极客时间预售限时优惠仅售199/年（4月16日恢复原价）福利二：每邀请一位好友购买，你可获得41元现金返现，多邀多得，上不封顶，立即提现（提现流程：极客时间服务号- 我的- 现金奖励提现）戳阅读原文订阅并获取你的专属海报
