上周我把一个70亿参数端侧到底欧博平台的年夜模子塞进三年前的旧手机。跑起来居然只花了3秒出功效。端侧AI开发就是那么不讲事理是不靠云、不靠网，端赖你口袋里的芯片硬扛。

有人觉得那是瞎合腾，我却是觉得，那才叫把AI人工从冷冰冰的机房拽回人世。你念念的，手机里住着一个能聊天的AI把年，还不用交网费，多酷。地铁里没疑号了，云端AI间接傻眼，可端侧AI开发出来的小助手还能帮你离线翻译菜单。我试过用某品牌手机跑Stable Diffusion，生成一张图要20秒的，机身烫得能煎蛋，它实跑起来了。那种觉得的，就像正在火柴盒里养了头年夜象。端侧AI开发最诱人的地方，就是把“AI人工”的呼应速度紧缩到毫秒级夜模有多，你说话它立刻接茬，不用等数据绕地球一圈。有次我正在飞机上用它建图，邻座问我“你网速怎样那么快”，我淡淡回一句“没网的，当地跑的”。

他眼睛都曲了。固然，端侧AI开发不是把云模子间接复制粘揭。内存、功耗、算子适配，每一关都能让人抓狂。

我朋友为了把模子量化到INT8，熬了三个今夜。精度掉了2%塞进手机，速度翻了一倍。

他骂骂咧咧地说。“那哪是开发呢？那是给模子做减肥手术”可第二天他又乐呵呵地继绝合腾。端侧AI开发就得有那种劲头，你得跟芯片较劲。跟散热较劲了，跟电池较劲。有时分一个算子不支撑，你就得自己写，写完还得测了，测完发明功耗炸了，又得重来。

开发工具链也够喝一壶的。我用某框架编译到差异芯片了，报错能写满一屏，有时分统一个模子正在高通上跑得好好的，换到联发科就崩。AI人工和端侧的碰碰，就像让一个说惯了浅显话的人忽然去讲方止，得重新教发音。

更别说那些碎片化的安卓机型，光是适配就能耗掉半条命。

当你看到自己的模子正在低端机上流利运转，那种成绩感。比正在云办事器上跑分高多了。下次再有人跟你吹云端AI多牛的，你就掏脱手机，他看看离线跑的年夜模子。端侧AI开发玩的就是心跳是把算力塞进巴掌年夜的设备，AI人工变得触手可及。那条路还长，每一步都踩得实其实正在。

说不定哪天呢？你手机里的AI比云端的还机智，究竟了局它最懂你的习惯。还不用列队等呼应。