工作新趋势?移动端‘更多’如何落地?大模型遇上技术挑战{‘#’}移动设备的未来,AI在哪一步{‘?

文章主题:

666AI工具大全,助力做AI时代先行者!

模型压缩技术是实现AI大模型在边/端部署的核心技术。

《科创板日报》4月18日讯(编辑 宋子乔) 上周,OpenAI创始人阿尔特曼(Sam Altman)确认,现阶段并没有在训练GPT-5,“只是在GPT-4的基础上进行更多的工作”。

“更多的工作”有哪些?布局移动端或是重要一环。

其公司招聘页显示,OpenAI正招募ChatGPT移动终端工程经理,“我们正在寻找一位经验丰富的工程师来帮助建立和领导ChatGPT移动团队。”该领导岗位的年薪在30万美元至50万美元间,还包括“慷慨”的股权赠与和员工福利。OpenAI的移动端布局跨iOS和安卓,将招募安卓软件工程师和iOS软件工程师等。

打开凤凰新闻,查看更多高清图片

图源:OpenAI官网

此前,ChatGPT已经试水移动端。微软于2月份宣布,iOS和安卓端的必应搜索和Edge浏览器均已接入ChatGPT。

ChatGPT登陆移动端无疑有利于触达更多用户。正如微软所说,“如今有64%的搜索都发生在手机上。” 据调研机构Gartner统计,2022年全球电脑出货2.862亿台,手机出货12.8亿部。

另一方面,移动设备厂商也有意引入AI应用为硬件产品增加亮点。据纽约时报消息,三星电子考虑将其设备上的默认搜索引擎由谷歌改为必应。三星是目前全球出货量第一的手机厂商,据估计,谷歌与三星的合同关系到前者近30亿美元的年收入。

🌟当然,随着ChatGPT这类大模型在移动设备上的普及,我们不得不面对一系列挑战。💻首先,如何满足其庞大的计算需求是个难题,毕竟电池电量有限,内存空间也不容忽视。🌐其次,网络连接的稳定性也至关重要,尤其是在移动场景下,信号可能时好时坏。🔋此外,长时间使用对设备的负荷和电池寿命都是考验。📚最后,信息安全问题也不能掉以轻心,隐私保护需得到妥善处理。💡因此,优化技术、提升硬件适应性和用户友好性是未来大模型移动端应用的关键所在。

🌟💡 高级文章撰写 📝💻随着大模型的广泛应用,如GPT这般规模庞大、计算需求强劲的AI工具,对硬件性能提出了严峻挑战。遗憾的是,手机上的专属GPU并不足以满足AI加速的高效需求,相较于电脑的超强计算能力,它们在速度上存在显著差距。💡📱移动设备电量有限,运行AI模型时的大量计算资源消耗更是雪上加霜。这使得在移动端流畅执行大模型成为一项挑战,电池寿命和性能之间的平衡需要妥善处理。💻🔋优化AI体验,不仅要求技术上的突破,也需要对设备效能有深入理解。让我们期待未来能够看到更适应移动场景的AI解决方案,为智能手机赋能,释放计算力的同时,也保护宝贵的电力资源。💡📱🚀

产业端已着手解决这些技术难题,高通、华为致力于实现 AI 大模型在终端的轻量化部署,谷歌、腾讯、百度等已将模型压缩技术紧密结合移动端模型部署框架/工具。

3月2日,高通在MWC2023大会发布全球首个运行在安卓手机上的Stable Diffusion终端侧演示,Stable Diffusion模型参数超过10亿,高通利用其AI软件栈对模型进行量化、编译和硬件加速优化,使其成功在搭载第二代骁龙8移动平台的手机上运行。

华为新一代P60系列手机将于5月上线智慧搜图功能,该功能通过对模型进行小型化处理,实现其在端侧轻量化应用。

谷歌在2018年推出MLKit,核心功能Learn2Compress模型压缩技术结合网络剪枝、量化以及知识蒸馏三项技术,可实现在CIFAR-10图像分类测试任务中生成较NASNet尺寸缩小94倍的轻量化模型,且仍保持90%以上精度。

2018年腾讯推出全球首款自动化深度学习模型压缩框架PocketFlow,2022年百度开源的文心ERNIE-Tiny在线蒸馏方案可得到参数规模仅为原模型0.02%且效果相当的轻量级模型。

华泰证券分析师黄乐平认为,模型压缩技术可在保有大模型原有性能和精度基本不变前提下降低对推理算力的需求,是实现AI大模型在边/端部署的核心技术。伴随模型压缩技术发展,AI将加速与终端设备融合应用。

AI时代,掌握AI大模型第一手资讯!AI时代不落人后!

免费ChatGPT问答,办公、写作、生活好得力助手!

扫码右边公众号,驾驭AI生产力!

Leave a Reply