第202章 O〔N〕的魔法与傲慢的谷歌（求订阅求月票）（1 / 2）
请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能，避免出现内容无法显示或者段落错乱。
芝加哥奥黑尔国际机场，C18登机口。
候机大厅的落地窗外，巨大的波音747如同展翅的大鹏，正在缓缓滑向跑道。
程新竹抱着膝盖坐在椅子上，眼睛瞪得像铜铃，哪怕她平时是个只对生物大分子感兴趣的医学生，也知道GeoffreyHito这个名字在人工智能领域的份量。
“神经网络教父，深度学习的执剑人……”
程新竹像是在念某种咒语，转头看向依然一脸平静地在刷手机新闻的林允宁，“允宁，这就好比你是打篮球的，然后乔丹突然给你发私信说‘嘿，小伙子，晚上来我家后院单挑一把’。你居然就只回了个‘收到’？”
“不然呢？还要给他写封感谢信？”
林允宁收起手机，顺手把喝完的咖啡杯扔进垃圾桶，“辛顿教授确实是泰斗，但他发这封邮件，说明他也嗅到了危机感。Aether的算法在某种程度上挑战了他在多伦多大学建立的体系。这不仅仅是学术交流，更像是一场……踢馆赛的邀请函。”
“踢馆？”
程新竹兴奋地搓了搓手，“那我岂不是要去见证历史了？”
“只要你别在会上睡着就行。”
这时，一阵高跟鞋敲击大理石地面的清脆声音传来。
方雪若手里拿着三张新的登机牌，风风火火地走了过来。
她把那三张印着金色边框的票据分别拍在林允宁和程新竹手里。
“收拾东西，去休息室。”
方雪若言简意赅，“我把咱们的票升到了头等舱。”
“啊？雪若姐，你前两天不是还说咱们是初创公司，能省则省嘛？”
程新竹下意识地想替公司省钱。
“该省得省，该花的也得花。”
方雪若打断了她，理了理风衣的领口，“这次去ICML，我们要面对的是Google、微软和斯坦福的精英。如果你们下了飞机一脸狼狈，那气场上就先输了一半。
“记住，我们现在不是只有几台破电脑的创业公司了。我们是刚刚从辉瑞手里赚了八百万美金、准备去硅谷重新定义游戏规则的独角兽幼崽。要有身为精英的自觉。”
林允宁看着手里的头等舱机票，笑了笑，拎起背包：
“听老板的。”
……
波音747钻入云层，平稳地航行在三万英尺的高空。
头等舱宽大的座椅确实让人放松。
程新竹已经戴着眼罩睡着了，方雪若正在翻看手中的财报。
那是全球顶级的散热材料供应商。
林允宁打开了笔记本电脑。
他没有看电影，也没有睡觉，而是调出了一篇Google研究院（GoogleResearch）上周刚发表的论文：
《核方法在大规模数据集上的算力瓶颈与低秩近似》。
这篇论文像是一份判决书，直指当前所有注意力机制（AttetioMechais）算法的死穴。
即使是他提出的“全注意力机制”，虽然在药物分子这种短序列上表现完美，但只要序列长度N一拉长，计算量就会呈指数级爆炸。
核心问题在于那个该死的Softax。
在计算注意力时，标准公式是：
Attetio(Q，K，V)=Softax(Q·K^T)·V。
必须要先算Q和K的转置乘积。这会生成一个NxN的巨大矩阵。
如果N是1000（比如一段短文），矩阵就是100万个元素，显卡还能扛得住。
但如果是基因测序的长序列，N可能是10万，那就是100亿个元素。现有的任何内存都会瞬间被撑爆。
这就是“算力的囚笼”。
在这个囚笼里，他的算法处理不了长文本，也处理不了高分辨率图像，注定只能是个玩具。
Google正是看准了这一点，才敢断言这个方向没有前途。
林允宁闭上眼，靠在椅背上。
【模拟科研模式启动。】
【注入模拟时长：200小时。】
机舱里的嗡鸣声瞬间消失。
林允宁的意识沉入了一片纯白的数学空间。
在他的眼前，出现了一个巨大的矩阵。那是标准的SoftaxAttetio计算过程：
Attetio(Q，K，V)=softax(Q*K^T)*V
那个中间产生的(Q*K^T)矩阵，大得像是一堵墙，横亘在算力的通道上。
它是一个NxN的庞然大物。
【第20小时：你尝试用稀疏矩阵来近似。失败。稀疏化会丢失长距离的语义关联，得不偿失。】
【第60小时：你尝试用低秩分解（Low-rakfactorizatio）。效果一般，精度损失太大。】
【第120小时：你回到了矩阵乘法的最基本性质——结合律。】
(A*B)*C=A*(B*C)
这谁都知道。
但在注意力公式里，那个非线性的Softax函数像是一把锁，锁住了Q和K，让你无法先把K和V乘起来。
“如果我把这把锁换掉呢？”
林允宁的思维在这一刻跳出了深度学习的框架，回到了核方法（KerelMethod）的领域。
既然Softax是为了归一化和非线性映射，那为什么不用一个核函数featureapφ(·)来代替它？
Si(Q，K)=φ(Q)*φ(K)^T
一旦把非线性操作移到乘法之前，结合律就生效了！
原本的计算顺序是：
(Q*K^T)*V
这是先算NxN的大矩阵，再乘V。
现在的计算顺序可以是：
Q*(K^T*V)
K^T是(dxN)，V是(Nxd)。
它们乘起来，只是一个dxd的小矩阵！
d（特征维度）通常只有64或128，远小于序列长度N。
【第180小时：推导完成。】
原本随N增长而爆炸的计算墙，瞬间坍塌。
新的复杂度：O(N)。
从平方级降维到线性级。
↑返回顶部↑