生成一段 500 字的回答要十几秒——用户盯着空白转圈,第八秒就关页面了。但模型其实是一段一段吐字的,只是默认「攒齐了再返回」。流式输出(服务端边生成边推送、前端逐段渲染的技术)把首字时间从十几秒压到一秒内,是所有对话产品的体验底线。这一篇把它从协议到工程完整拆开。
先做选型题。SSE(Server-Sent Events:基于 HTTP 的服务端单向推送协议)与 WebSocket(全双工长连接协议)对比:LLM 场景数据是单向的(服务端→客户端,生成→展示),用不上双工;SSE 就是普通 HTTP,防火墙、网关、代理全兼容(12 章网络的老经验:越像 HTTP 越通);浏览器 EventSource 原生支持自动重连;实现成本一个 Controller 注解搞定。第三个常被漏掉的候选项是分页轮询(前端定时拉取已生成片段)——实现最土但万无一失,某些严格受限的内网环境里反而是唯一可行解;代价是首字延迟受轮询间隔拖累、空轮询浪费请求,能用 SSE 就别用轮询。WebSocket 的优势在双向实时(聊天室、协同编辑),对 LLM 是杀鸡用牛刀外加运维负担。口径:LLM 流式首选 SSE,需要「用户打断、语音输入」这类双向需求才考虑 WebSocket。
SSE 的报文简单到可以直接读懂:响应头 Content-Type: text/event-stream,body 是一条条 data: 开头的事件流。LLM 约定的形态:
data: {"delta":"你"} # 增量内容片段
data: {"delta":"好"}
data: [DONE] # 结束哨兵
event: error # 出错时错误事件
data: {"code":429,"msg":"限流"}
三个工程点:delta 语义——推的是增量而非全量,前端自己拼接;结束哨兵——约定 [DONE] 让前端知道流画上句号,不能靠连接断开判断(断开可能是网络错误);错误事件——流中途的失败不能用 HTTP 状态码表达(响应头早已发出),必须以错误事件在流内传递,前端分流内错误与连接错误两条处理路径。协议之外还有两个隐藏属性值得知道:SSE 天然支持事件类型(event 字段区分 message/error/heartbeat,前端按类型分回调);连接的心跳保活(每 15-30 秒发一行注释帧)让中间的网关、LB 不把「安静的长连接」当成死连接掐掉——Nginx 默认 60 秒 read timeout,生成超过一分钟必配心跳或调大超时,这是「长回答讲到一半断流」的头号原因。
Spring 侧(WebFlux 的 Flux,与 23.1 的 ChatClient 衔接):
@GetMapping(value="/chat/stream", produces=MediaType.TEXT_EVENT_STREAM_VALUE)
public Flux<String> stream(@RequestParam String q) {
return chatClient.prompt().user(q).stream() // 流式调用
.content()
.concatWith(Flux.just("[DONE]")); // 结束哨兵
}
前端两种接法:EventSource 简单但只支持 GET、不能带请求头;fetch + ReadableStream(响应体可逐块读取的流式 API)是生产主流——能 POST、能带鉴权头、手动解析 data: 行。渲染侧一个易漏点:Markdown 增量解析——逐段到达的半截语法(写了三个反引号还没收尾)会让渲染器抖动,成熟组件库都处理了增量场景,别自己裸写。体验细节再送三件:打字机效果(把到达的片段按小节奏入队渲染,比「来一块糊一块」顺眼);滚动跟随(用户没上翻才自动滚底,上翻查阅就不打扰);优雅降级(流式不可用时降回同步接口加 loading——SSE 被某些旧网关吞掉时,功能不至于整体不可用)。
体验的分水岭在异常路径。断线重连:EventSource 原生自动重连,但重连后语义要自己定——简单场景从头重生成(带 Last-Event-ID 可做续传,需要服务端缓存已生成片段按会话续发);fetch 方案则要监听 stream 异常、指数退避重试(22.5 同款策略)。超时分层:连接超时、首字超时、总时长超时三层分开设——首字超时是最有价值的指标,首字一秒内用户感知就是「快」,中途静默超过 N 秒要主动断开重试,别让用户挂死在黑屏上。取消:用户切走页面或点停止,要中断上游 Flux(doOnCancel 里释放资源)而不是继续白烧 token——流式时代的资源观:不看的流就是浪费的钱。还有一个只在高并发现形的坑:背压(backpressure:下游消费速度跟不上上游生产速度时的流量控制)——前端渲染慢或网络差,服务端 Flux 生成却全速前进,缓冲区就是那个被挤爆的气球;Reactor 的做法是下游按 request(n) 拉取、上游按需发射,自定义背压策略时选 latest(保留最新)比 buffer(全部缓存)更适合聊天场景——用户要的是「现在的完整」,不是「积压的每一帧」。
流式输出的完整拼图是「SSE 协议 + delta 增量语义 + 结束哨兵 + 流内错误 + 分层超时 + 取消即断流」——每一块都不难,难的是异常路径全想到位,这才是把「能流式」做成「生产级流式」的距离。