生成式AI大火,终端+云端才是真未来?-焦点消息
来源:中关村在线 发布时间:2023-06-21 11:31:50

2023年的科技圈什么技术最火,毫无疑问,我相信大部分用户的回答都会指向——AI。


(相关资料图)

Chat GPT的到来引发了业内外广泛讨论,也引发了大家对AI发展的新一轮思考。当下,全球科技大公司都在积极布局AI大模型,不过实际情况是,大家的目光更多还是集中在了云端,相较之下,终端侧AI的发展则要稍显落寞。

眼下AI正朝向拥有深度学习能力的方向发展,这对算力提出了更高的需求,纵使终端侧对算力要求稍低一些,但面对日益复杂的计算,仍旧需要终端具备更强悍的AI计算性能。

作为终端侧AI的引导者,高通一直在积极推动生成式AI在终端侧的发展。目前,高通AI技术(硬件、软件、工具)正在赋能包括智能手机、XR、PC、平板电脑和汽车等等在内的一些终端产品。

6月16日,高通正式发布了《混合AI是AI的未来》白皮书,在这份文件中,高通不仅分享了对当下AI发展形势的一些看法以及对发展趋势的预测,同时也向外界阐明了自身的AI发展路线——混合AI是AI的未来。

高通认为,随着生成式AI正以前所未有的速度发展以及计算需求的日益增长,AI处理必须分布在云端和终端进行,才能实现 AI的规模化扩展并发挥其最大潜能;云端和边缘终端如智能手机、汽车、个人电脑和物联网终端协同工作,能够实现更强大、更高效且高度优化的AI。

在技术沟通会上,高通技术公司产品管理高级副总裁Ziad Asghar向我们展示了高通在终端侧AI方面取得的进展,以智能手机为例,目前高通能够支持Stable Diffusion这一超过10亿参数的模型在终端侧运行,并且在未来几个月内,这一参数有望突破至100亿,包括文本生成图片、文本生成文本、文本生成视频,甚至还有图片生成文本、图片生成视频等方式。

相较云端AI,高通方案可以在智能手机上完成,而且全程飞行模式,仅需15秒内完成20步推理,就能生成饱含细节的图像。这里有几个值得关注的点,一方面,生成式AI用例完全在终端侧运行时,用户的数据将一直保留在终端上,没有联网的情况下也可以运行,不仅安全和隐私得到极大保障,终端设备也能提供十分丰富的应用体验。

另一方面,它的处理速度很快,我们看到只有十几秒,但是它需要的功耗和计算量却要比云端处理低很多,特别是功耗,只有几毫瓦。

另外,在云端处理器上训练模型一般采用32位浮点运算,针对StableDiffusion,高通所采用的是8位整数运算(INT8)。但在去年年底在第二代骁龙8移动平台上,高通已经进一步支持了4位整数运算(INT4)能力,与INT8精度相比,INT4带来的是90%的AI推理性能提升以及60%的能效提升,这使得第二代骁龙8,在自然语言处理用例下,能够实现4.35倍的AI性能提升。

如今,高通的AI能力正在赋能了一系列广泛的产品,与此同时,利用高通AI软件栈,开发者可以在高通的硬件上创建、优化和部署AI应用,一次开发,就可以将开发成果和经验应用于其他使用高通技术和平台的产品上,加速推进混合AI成为现实。

标签:

猜你喜欢

生成式AI大火,终端+云端才是真未来?-焦点消息

2023年的科技圈什么技术最火,毫无疑问,我相信大部分用户的回答都会指更多

2023-06-21 11:31:50

全球百事通!macOS Sonoma起不再支持旧版Mail插件

苹果公司在2021年发布macOSMonterey时,推出了MailKit框架,并鼓励开发更多

2023-06-21 11:27:07

热文:《装甲核心6:境界天火》公布实机演示 8月

经过多年沉寂,3D机甲动作游戏新作《装甲核心6:境界天火》将于2023年8更多

2023-06-21 11:16:04

腾讯企点智能客服、营销分析全新升级,助力企业实

6月19日,在腾讯云行业大模型及智能应用技术峰会上,腾讯企点公布其正更多

2023-06-21 11:21:27

玩暗黑破坏神4的都注意了!小心BOSS 世界报道

近日,《暗黑破坏神4》的相关事件和数据统计网站D4Armory负责人Shalzut更多

2023-06-21 11:33:30

每日播报!2600元75英寸的时代要一去不返了?曝电

近日,洛图科技发布了最新的液晶电视面板价格预测及波动追踪显示。数据更多

2023-06-21 11:18:42

微软:Xbox Series X不会推出中期升级版

近日,微软确认当前一代游戏机不会推出中期升级版。这主要是因为公司将更多

2023-06-21 11:35:37

荣耀90 Lite发布:5G+天玑6020 256GB版2345元

荣耀近日在海外发布了新款荣耀90Lite手机,并已正式上市开售。该款手机更多

2023-06-21 11:34:33

世界新消息丨原神主题充电套装上架:269元 能充

近日,一款《原神》主题充电套装在电商平台上架,售价为269元。这款充更多

2023-06-21 11:31:29

万代南梦宫游戏《》玩家达60万 20万同时在线 世

近日,万代南梦宫宣布其发行的多人在线角色扮演游戏(MMORPG)《蓝色协更多

2023-06-21 11:36:08