当晚王青青青一行
先行回去了。^新^.^地^.^址 wWwLtXSFb…℃〇M发布邮箱LīxSBǎ@GMAIL.cOM地址
次
上午,同行两辆车驶出度假村,沿着89号公路一路向南。
太浩湖的蓝在后视镜里越来越远,越来越小,最后被一个弯道吞没了。
车里很安静。薛意开车,曲悠悠坐副驾。暖气开着,窗外是连绵的雪松。
薛意全程眉心微蹙,目光直直锁在前方,时不时看几眼后视镜,嘴唇抿成一条线。
曲悠悠偷偷看了她好几眼,没敢说话。
怎么了,这是?
出了山区后,车速加快。
仪表盘上的数字稳定在85英里每小时左右,时不时的一不留神就能蹿上90。
前面陶予之的特斯拉也开得飞快,两辆车在空旷的荒野公路上一前一后,像在赛车。
曲悠悠问ai ,93英里每小时相当于国内的多少码。ai告诉她,150码。
“嘶…”
她寻思这后边也没
追啊。默默扯了扯安全带,确认系紧了。尬里尬气开始找话说。
今天天气挺好哈。
“…”
沉默一阵,薛意忽然想起来刚有个
说话了似的:嗯。
路上没什么车。
“嗯。”
你…是不是不太高兴?
没有。
“哦…”
“怎么了?”
从上车起就皱着眉
。
薛意眨了眨眼,单手碰碰眉心,好像这才意识到:哦。ht\tp://www?ltxsdz?com.com我在想一个问题。
什么问题?曲悠悠耳朵竖起来了。
transformer架构里attention机制的数学本质,能不能用微分几何的框架重新表达。
陶予之昨晚给我看了一篇新的预印本,我觉得他们的证明路径有一个gap。
……
曲悠悠傻了。
“啊?”
这啥?
每一个字好像都能明白,但连起来就是听不懂。
类似于,“我个
认为这个意大利面就应该拌42号混凝土。因为这个螺丝钉的长度,它很容易会直接影响到挖掘机的扭距,你往里砸的时候,一瞬间它就会产生大量的高能蛋白,俗称ufo,会严重影响经济的发展…”你懂你悠姐的意思吧?
曲悠悠感到一丝悲凉:“你说的,这是关于…什么的问题啊?”
薛意又眨了眨眼:“哦,ai相关的数学问题。”
叮。心里有个微波炉热好了饭似的,曲悠悠也眨了眨眼,被动触发尬笑技能:“害,你这么说我就懂了嘛哈哈哈…”
其实也不懂。
所以你是在做数学题。
“嗯。”
曲悠悠看着薛意严肃的侧脸,忽然有点想笑。
觉着薛意这
挺好玩的。
皱着眉
飙到150码,不是因为心
不好,是因为在脑子里解微分方程。
说起话来也好像ai啊,还是不说
话的那种。
有点可
。更多
彩
嘿嘿。
中午在一个公路旁小镇停下来吃饭。;失效发送任意邮件到 ltx^sba@gmail.com 获取最新地址
下车走进路边一家美式餐馆,薛意和陶予之刚坐下就开始聊。lt#xsdz?com?com
陶予之从包里掏出平板,翻出一篇论文递给薛意:mit那组的新预印本你看了吗?
把self-attention写成球面上的interacting particle system,证了一个token clustering的收敛定理。
证明本身挺漂亮的,wasserstein梯度流那段构造得很
净。
薛意接过来,眼睛扫了一眼公式。
证明是挺漂亮的,但不能用。
她拿过一张餐巾纸,画了个球面示意图:他们的lipschitz假设在实际的softmax下根本不成立,高维空间里梯度直接blow up。
你拿这个收敛率去calibrate真实的attention map,差两个数量级。
陶予之笑了一下。她太熟悉薛意的思路了。纯数学家看一篇论文先看证明结构美不美,薛意看一篇论文先看结论能不能拿来赚钱。
那你打算怎么修?
不修,换个框架。
薛意在餐巾纸上飞快地画了起来:我在想ricci flow。
clustering本质上就是曲率集中,perelman处理奇点的那套surgery改一改,应该能给一个更tight的bound。
两
聊得旁若无
…
曲悠悠懵懵地看着两个神仙似的
叽里咕噜说了一堆什么都听不懂的话,还有来有回的,有点幽怨地开始怀疑自己的智商。
肩膀被轻轻拍了两下。
“别管她们了,”徐医生浅笑着,勾了勾她的臂弯,“咱们去点些东西吃。”
曲悠悠僵僵地回过神来,“哦…好叻。”
跟着徐医生来到点单柜台,曲悠悠看了眼菜单,又茫然地回
看着不远处窗边座位上两
之间的餐巾纸上越来越密的符号和箭
。发布 ωωω.lTxsfb.C⊙㎡_
徐医生靠在柜台上,要了两份薯条汉堡经典套餐,又问曲悠悠她和薛意吃什么,表
很淡定。
习惯就好了,她说,她们俩一聊起来就是这样。
经常这样吗?
每一两周就会约一次,每次都去圣马里奥一家上海生煎铺子吃小笼包,边吃边聊。
有时候是理论数学,有时候是金融科技方面的应用,一聊起来没完没了的。
我偶尔会跟着去一下,坐旁边吃点东西。
“小笼包?”
“嗯,她俩的最
。”徐医生扁了扁眼,浅叹一
气,好像有些无语,“机器
似的,每次就吃那几样,也不换换
味。”
“最
…”曲悠悠看着不远处的两
,悄咪咪生出一点美滋滋的侥幸。
薛意在餐巾纸上写到一半停下来,蹙眉想了几秒,然后又飞快地动起笔来。
陶予之的眉
也微微蹙着,但嘴角弯起一丁点弧度。
不知道是不是快解出来了。
她一想数学问题就这个表
,徐医生顺着她的目光看过去,开车也想,吃饭也想,有时候吃到一半突然不动了,我还以为她怎么了,结果是在算。
某些
下
脱臼的时候也在算吗?曲悠悠噗地一声笑了出来。
薛意平时会不会好一点, 徐医生问,“她做量化,想的问题应该没那么抽象?”
量化?
金融里的量化
易。
“徐医生接过服务员递过来的餐盘,”她以前的基金规模很大,模型都是自己写的,底层逻辑用的就是这些
