第204章 易碎的“玻璃糖”（求订阅求月票）（1 / 2）
请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能，避免出现内容无法显示或者段落错乱。
上午九点五十五分，科瓦利斯会议中心C厅。
原本只能容纳两百人的分会场，此刻连过道里都站满了人。
空气闷热，混合着廉价咖啡和程序员身上特有的那种陈旧衬衫的味道。
这帮人当然不是冲着名不见经传的“以太动力”来的。
大家是来看上帝的。
就在刚才，杰弗里·辛顿和杨立昆这两个平时神龙见首不见尾的大佬，竟然联袂走进了这个偏僻的C厅，并且在前排正中间找了个位置坐下。
这一举动就像是在平静的鱼塘里扔了个深水炸弹。
原本还在隔壁B厅听贝叶斯网络报告的人，瞬间跑了一半过来围观。
“那个中国小子是谁？辛顿教授居然专门来听他的报告？”
“听说是个做AI制药的，昨天在展台那边忽悠了不少风投。”
第一排最右侧，谷歌技术总监魏斯博士（Dr.Weiss）已经打开了他那台厚重的戴尔外星人笔记本电脑。
屏幕上跑着一段MATLAB代码，那是他连夜让手下工程师复现的“全注意力机制”deo。
在他身后的屏幕上，鲜红的“OutofMeory”（内存溢出）报错框正一闪一闪。
魏斯看着走上台的林允宁，推了推眼镜。
他不是来砸场子的，他是来做“代码审查”的。
作为谷歌搜索算法的负责人之一，他太清楚工程实现的边界在哪里。
数学可以天马行空。
但服务器的内存条，才不会陪你演戏。
……
十点整。
林允宁站在讲台中央。
他没穿西装外套，只穿了一件挺括的白衬衫，显得身姿愈发挺拔。
领口，依旧系着方雪若送的那条深蓝色的真丝领带。
方雪若站在台下阴影处，抱着手臂，满意地点了点头。
这身打扮既有学术的严谨，又不失精英的锐利，卖相满分。
“早上好，我是林允宁。”
林允宁没有寒暄，直接按下了翻页笔。
投影幕布上跳出了一张图：一只大象被塞进了冰箱里，冰箱门被撑爆了，零件飞得到处都是。
台下响起了一阵稀稀拉拉的笑声。
“这就是目前的注意力机制。”
林允宁的声音通过麦克风传遍全场，平稳而清晰，“我们试图让神经网络记住每一个输入信号之间的关联，这很美好。但代价是，当我们需要处理长序列——比如一条完整的人类染色体，或者一本《哈利波特》时，我们需要计算一个N乘以N的巨大矩阵。”
他在黑板上写下了一个公式：
Coplexity=O(N^2)
“对于N=1000，这没什么。但对于N=100，000，这意味着我们需要100亿次浮点运算和几十GB的显存。”
林允宁看向台下的魏斯，微微一笑，“魏斯博士昨天提醒我，在工业界，这叫死刑。你是对的。”
魏斯挑了挑眉，合上了电脑盖子，靠在椅背上。
这小子还算有点自知之明。
“但是，”
林允宁话锋一转，手里的翻页笔再次按下，“如果我们愿意牺牲一点‘精度’，来换取‘广度’呢？”
屏幕上的PPT变了。
原本复杂的Softax公式被拆解开来。
Attetio(Q，K，V)=Softax(Q*K^T)*V
这一行公式下方，出现了一个红色的叉。
“Softax是一个非线性函数，它就像是一把锁，把Q（查询）和K（键）死死地锁在了一起，强迫我们必须先计算它们之间的关系。
“但如果我们引入一个核函数映射φ(·)来近似Softax……”
他在白板上飞快地写下了一行变换：
(φ(Q)*φ(K)^T)*V=φ(Q)*(φ(K)^T*V)
“根据矩阵乘法的结合律，”
林允宁敲了敲白板，“我们可以改变计算顺序。先算后面这一部分。原本那个N乘以N的巨大矩阵，消失了。取而代之的，是一个只有d乘以d（特征维度）的微型矩阵。”
台下原本有些嘈杂的议论声瞬间消失。
在座的都是聪明人，当那个括号的位置发生改变时，所有人脑子里的算盘都在疯狂拨动。
从平方级，变成了线性级。
“如果你这么做，你就毁了注意力。”
一个冷峻的声音打断了林允宁。
魏斯依然坐在椅子上，但他的眼神变得极其锐利。
作为谷歌搜索算法团队的核心人物，他虽然有着大厂高管特有的傲慢，但业务能力也极强，非常专业地指出了致命伤：
“林先生，这是一个聪明的数学把戏。但是，Softax的作用不仅仅是归一化，它通过指数运算放大了强信号，抑制了弱信号。这叫‘赢家通吃’（Wier-take-all）。
“正是因为这种尖锐的分布，AI才能精准地关注到那个最重要的词。
“而你用的核函数φ(x)——不管你用ELU还是ReLU——它们都是平滑的。如果你把Softax拿掉，你的注意力分布就会变得非常‘平’，非常‘模糊’。
“你确实把O(N^2)降到了O(N)，但你也把一个原本拥有锐利眼神的狙击手，变成了一个散光的近视眼。对于Google搜索来说，这种模糊的匹配是不可接受的。”
魏斯的话音落下，台下响起了一阵低声的附和。
这才是真正的技术痛点。
没有免费的午餐。
你省了算力，就得亏精度。
程新竹在台下捏紧了拳头，手心全是汗。
她虽然不懂具体的数学，但她听得懂“近视眼”这个比喻。
台上的林允宁并没有慌张。
他甚至点了点头，表示赞同。
“您说得非常对，魏斯博士。”
↑返回顶部↑