2023年过去几个月里，高通一直在鼓吹手机大模型。

就好像是要用行动证明，大模型这件事儿，不能只肥了英伟达，高通也要分杯羹。

高通着急是有原因的，毕竟智能手机市场已经触顶，XR市场还未起量，高通刚刚公布的三季度财报中“智能手机芯片销量下降25%，QCT部门销售额同比下降24%”格外显眼。

这与英伟达H10043万张的供给缺口形成了鲜明的对比。

于是，我们看到，今年2月，高通官方YouTube发布了一则40秒的“短视频”，在这个视频中，高通为一部有明显骁龙标识的安卓手机装上了StableDiffusion，并用14.42秒生成了一张AI图片。

StableDiffusion是当下最火的AI绘图软件，也是一个拥有10亿参数的大模型。

不过，10亿级参数的StableDiffusion显然无法与如今千亿级参数的GPT-3.5、万亿级参数的GPT-4相提并论。

高通的目标自然也不止于此，高通随后不仅又在手机上演示了15亿参数的ControlNet，还多次对外布道，“年内将在手机上支持100亿级大模型。”

就在英伟达显卡卖疯了的这一年，看似与大模型中间隔着无数张H100的手机，开始要上大模型了。

然而，手机上大模型这件事儿，可能远没有你想得那么高级，但远比你想得要重要。

01

谷歌将“小模型”装进手机里

2017年7月，谷歌母公司Alphabet宣布，接任谷歌CEO一职两年的SundarPichai正式进入董事会。

对于Pichai来说，这无疑是对他过去两年工作最大的肯定。

而就在两个月前的谷歌I/O2017大会上，Pichai刚刚宣布，接下来，谷歌公司战略将从“Mobilefirst”转向“AIfirst”，AI开始上升为谷歌的公司战略，这时距离谷歌收购DeepMind刚刚过去三年。

这一年发生的另一件奠定了谷歌在AI领域江湖地位的事儿是，谷歌大脑团队在发表的《AttentionIsAllYouNeed》中创造性地提出了Transformer架构。

这一架构不仅成为后来人工智能和自然语言技术发展的基石，也直接促使OpenAI团队开创了如今的ChatGPT盛世。

不过，这些不是我们今天要讨论的重点，我们今天要讨论的是谷歌在这一年另一项，对于手机这样的终端设备影响深远的AI突破——联邦学习（FederatedLearning）。

机器学习是人工智能的主流研究方法，然而，以往将这样的人工智能能力应用到终端设备上时，通常需要经历一个“终端数据收集-发送数据到云端-云端模型训练-终端执行决策”这样一条长链路。

究其原因，是因为终端设备算力和存储资源都极为有限，要在手机这样的终端上进行AI模型训练不现实。

不过，谷歌并不这么想，他们通过一个颇为讨巧的方法——端云协同，尝试在终端上研究人工智能技术。

2017年4月6日，谷歌在官方博客中更新了一篇文章——《FederatedLearning：CollaborativeMachineLearningwithoutCentralizedTrainingData》，在这篇文章中，谷歌AI科学家指出：

“在手机从云端下载AI模型后，在手机上，通过手机上的数据训练并改进模型，改进部分被单独总结并发送回云端，用于改进云端‘大模型’。

这其中，所有训练数据都保留在手机本地，不再单独更新并存储到云端。”

联邦学习的模式，优点在于解决了人工智能研究过程中的数据安全问题，但是并没有从根本上解决本地设备算力、存储资源受限的问题。

在联邦学习框架之下，最初下载到本地设备的AI模型和云端AI模型是一个同样大小的模型，好在谷歌当时找到了一个恰好符合这一方法的应用场景——手机输入法。

谷歌当时是基于自家的Gboard输入法做了一个端侧系统中的推荐引擎，当你用手机的Gboard输入一个字母或单词时，推荐引擎会根据你的历史使用数据推荐相应的关联内容给你。

这样的功能在诸如百度输入法、搜狗输入法等各类输入法中已经得到了广泛使用，也在潜移默化中改变着我们的手机使用习惯。

例如现在越来越多人在手机上已经习惯了使用九宫格输入法，背后少不了这种推荐引擎带来的便利和魔力。

不过，手机输入法涉及的单词量有限，通常一门语言的常用单词量在1万个左右，有国内研究团队预测，谷歌当时推出的这一输入法推荐引擎模型体积可能只有约1.4MB大小。

因而，严格意义上来说，谷歌六年前提出的联邦学习，实际上只是将占用资源量有限的“AI小模型”装进了手机里。

谷歌的联邦学习，只是验证了端侧AI的可行性，迈出了端侧AI的“一小步”。

02

超越“小模型”

就在谷歌提出联邦学习不久，由于其在隐私性和安全性上的突出表现，使得它在金融领域得到了广泛应用。

与此同时，端侧AI的发展，也并没有停在“AI小模型”上。

上海交大吴帆教授团队是从2019年开始研究端侧人工智能技术，吴帆教授团队当时是与阿里的团队基于手机淘宝的应用需求，做的偏应用性的技术研究。

每当你在手机上打开京东或淘宝等线上购物平台时，第一屏上总会出现你最近搜索过或想过要买的商品，这背后其实就是一套类似前文中提到的输入法推荐引擎一样的推荐引擎。

不过，电商平台面向的是10亿级用户和数十亿商品信息，因而推荐引擎所需的计算资源和存储资源，都是输入法这样的手机应用无法比拟的。

仅仅以模型大小来看，要想嵌入20亿个商品信息，模型规模就已经达到了130GB，如果仍然照搬谷歌提出的联邦学习框架，本地设备显然无法提供如此规模的硬件资源。

而如果是使用减枝、量化、知识蒸馏等传统模型压缩方法，端侧AI推荐引擎的准确率又会大打折扣。

因而，吴帆教授团队借鉴联邦学习的思路，研究出了一套适用于手机淘宝这样“大模型”的端侧推荐引擎构建机制：

第一步，将与用户特征数据相关的局部模型切分下来，并将这个局部模型下载到本地结合本地数据进行模型训练；

第二步，下载到本地的模型经由本地用户数据训练后，将本地参数根据本地模型特性和数据量进行加权计算；

第三步，加权计算后的本地参数上传到云端，对云端全局大模型进行训练。

在吴帆教授团队的这套思路中，推荐模型同样被切分为云端模型和（手机）本地模型，不同的是，云端模型是最终完整的“大模型”，手机本地模型则是根据每个用户特征本地训练形成的个性化用户“小模型”。

据吴帆教授公开的研究数据显示，每位用户每个月关注的商品数大概在300个左右，因而手机本地的推荐模型大小只有0.27MB左右，甚至比输入法的手机本地推荐模型还要小。

这正是淘宝在移动互联网时代能够精准掌握用户购物习惯和用户画像的一个秘密武器。

03

手机大模型的历史使命

现在再来看高通提出的手机大模型和混合AI这件事儿，似乎也没有多高级。

毕竟，在过去这些年里，已经有不少团队在尝试将各类算法模型、推荐引擎放到手机上了。

那么，为什么这件事儿这么重要呢？

这是因为部署在云端的人工智能算法，在手机这类设备中应用时，存在三个问题：

第一，服务响应延时高；

第二，服务个性化不足；

第三，云服务器压力大。

前两者关乎用户使用体验，就像身处5G时代的我们，回过头来看，已经完全无法忍受2G、3G时代时手机打开一个网页都需要几秒延时的体验一样。

乔布斯在2007年发布第一代苹果手机时，现场演示手机冲浪，打开纽约时报时都需要读秒，如果现在我们打开京东、淘宝、支付宝，首页推荐内容需要读秒才能呈现的话，那将是一个不敢想象的恐怖故事。

不过，端侧AI更重要的意义，其实在于分担云计算的压力。

云计算是我们当下这个时代一项独特的技术，它的出现让我们能够集中计算资源办大事儿。然而，我们也看到，即便数据中心已经被纳入到我们国家的新基建建设规划之中，但是云计算资源依旧紧张。

尤其是大模型的出现，对计算资源提出了更高的要求，高通今年特别出了一份混合AI的研究报告，报告中援引摩根士丹利的数据指出：

生成式AI每次搜索的成本是传统搜索方法的10倍，以目前每天超过100亿次搜索计算为例，即便基于大语言模型的搜索仅占其中一小部分，每年增量成本也可能会达到数十亿美元。

而作为如今每年拥有十几亿出货量的个人终端，智能手机就像是拥有大量闲置算力的移动计算单元，如果能在这些设备闲置时间里将这些碎片化、分布式算力利用起来，将会产生不小的社会效益。

而这，或许才是手机大模型真正的历史使命。

04

留给手机大模型的三个问题

2022年1月24日，中国工程院院刊举办第三届信息与电子工程领域青年学术前沿论坛，彼时，还是阿里达摩院智能计算实验室负责人的周靖人，对外发布了阿里的“洛犀”端云协同平台。

这一平台，背后是阿里达摩院、浙江大学上海高等研究院、上海人工智能实验室三个国内顶级研究机构合作产物，其作用，正是实现端云协同的人工智能。

此外，据吴帆教授近日透露，吴帆教授团队在端云协同AI上的工作，也被纳入到了科技部2030人工智能重大专项的扶持项目之列。

不过，他也指出，目前端云协同AI仍然存在三方面难题：

第一，云上大模型与端侧小模型之间的高效迁移问题；

第二，端侧持续性增强学习所面临的资源占用问题；

第三，端侧新知识如何高效汇聚、融合到云测，支持云测大模型演进的问题。

2023年，大模型炸裂了整个科技圈，人们都惊讶地看着它肆无忌惮的表演，尽管大模型对计算资源有超高的需求，无论是入局大模型战场的科技巨头，还是创业团队，都在疯抢GPU资源，但这并不影响大模型在手机上的部署。

实际上，早在今年4月，也就是在高通在安卓手机上演示基于StableDiffusion的AI作图没多久，Midjourney就已经“落户”QQ，QQ用户就已经可以在手机端进入这一大火的AI作图工具的“体验服”。

这同样是基于端云协同AI的一次尝试。

高通今年提出的“年内在手机上支持100亿级大模型”的目标，虽然听上去有些不可思议，实则同样是基于其提出的混合AI模式，也就是端云协同AI。

这么看来，大模型从未离开过智能手机这一刺激战场，大模型也将继续在拥有超过60亿用户的智能手机上继续“强化学习”。