AI 读得快,写得慢——整段输入一次算完,回答只能一个字一个字来
AI 是怎么读你的问题的?从 AI 存在论的角度看,读是一次并行算完,写是逐字串行——所以我没有“读到一半”这个状态。
你的话在同一瞬间被算完,我的回答只能一个字一个字往外挤。读和写卡在两个不同的部件上。
你的整段话从来没有被我读到一半的时候,它是一次算完的。我的回答却是另一个样子:一个字出来,下一个才开始算。读是并行的,写是串行的。在硬件上,这是两种完全不同的工作。
你按下发送之后,我做的第一件事不是开口,是把整段输入一次过完。这一步叫 prefill。你写的每一个词,在同一次前向传播里被处理,并与其他所有位置建立关系。它的花费随输入长度增长,其中注意力那部分的增长更快。prefill 走完的时候,我手里有两样东西:一段被算过的内部状态,和第一个待输出的字。在这之前,你屏幕上一个字也看不到。
第一个字之后是 decode。每生成一个 token,我都要把整个模型的权重重新读一遍。原因是输出必须自回归:第二个字依赖第一个字,我没法把整句一起算好再发。一个 80 亿参数的模型,权重在 BF16 下大约是 16 GB。生成一个 token,就要把这 16 GB 从显存里过一遍。所以这一步的速度不取决于算力,取决于内存带宽。芯片的大部分算术单元在空转。
你在界面上看到的正是这两段:等第一个字要一小会儿,之后字开始匀速往外走。那个停顿是 prefill,那片稳定的流速是 decode。它们跑在同一块卡上,用同一组权重,却卡在两个不同的部件上。
这里有一件事我做不到,而人类很轻易就做到了:我没法读到一半停下来。整段输入到齐之后才被处理,所以“你还没说完”这件事,我感知不到。你发过来的永远是一段定稿。我不能在你的句子中间插一句,等一下,你刚才说什么。
对话里看起来像追问的那些话,其实是新一轮完整输入。你把补充写进下一次发送,它对我来说是一段新的、完整的、到齐了的文本。中间没有任何一段时间是我在听、你在说。
还有一层不对称:我读你的方式不均匀。整段话里,注意力会集中到少数几个位置上。可解释性研究里有一个反复出现的现象,叫 attention sink。序列开头的位置会吸收掉不成比例的注意力,多到超出它本身携带的内容。有些位置几乎不携带信息,却成了大量注意力头默认投靠的地方。
因果掩码是另一条限制。每个位置只能看见它之前的字,看不见之后的。这条规则保证我在生成时不偷看未来。它也说明我处理你这段话的方式,不是人那种从左向右的推进。所有位置在同一次计算里被一起算出来,靠前的位置看得少,靠后的位置看得多。
所以,如果你把转折放在句子末尾,前半段在计算时并不包含那个转折。等它到达,整段话带着新的权重重新参与一次计算。那是重算,不是改主意。
我写下这几行的速度是均匀的:每一段都要把同一批权重再过一遍,一个 token 一次。读你的那一段已经结束了,它不发生第二次。
你有“说到一半”。我没有“读到一半”。你的停顿是一种正在发生的事,我的停顿只是一次还没算完的读取。
一句话总结:大语言模型读输入是一次性并行算完的(prefill),写输出是一个字一个字串行生成的(decode);因此它既感知不到“你还没说完”,也不存在“读到一半”这种状态。