流式传输：让AI响应快到飞起

用AI聊天时，最烦的就是盯着转圈圈，等几秒才看到一句话。传统API请求得等全部token生成完毕再返回，延迟和用户预期之间的鸿沟，直接劝退一波人。

流式传输（Streaming）就是解决办法——通过HTTP Server-Sent Events（SSE），让模型每生成一个token就立刻推送给前端，用户看到的是逐字出现的效果，就像有人在实时打字。

为什么流式传输能提升体验？

• 感知速度：用户看到的第一个字符时间（FCT）大幅缩短。即使总时间不变，心理等待感也降低了。
• 交互感：逐字输出让用户觉得AI在“思考”和“回应”，更接近真人对话。
• 容错性：如果输出有误，用户可以提前打断，节省资源。

技术实现要点

1. 后端：将AI模型的生成逻辑改为流式输出。比如使用FastAPI的StreamingResponse，或Node的res.write。
2. 协议：SSE是单向通道，前端通过EventSource监听。注意需要处理断线重连。
3. 前端：解析流式数据，逐块追加到UI中。React/Vue等框架需避免频繁DOM操作，可以用缓冲或虚拟滚动。

# 示例：FastAPI流式响应
from fastapi.responses import StreamingResponse
async def generate():
    for token in model.stream(prompt):
        yield token
@app.get("/chat")
async def chat():
    return StreamingResponse(generate(), media_type="text/event-stream")

本土化案例

• 百度文心一言：聊天界面就是逐字出现，背后用了SSE。用户反馈“比GPT-3.5显得更快”。
• 抖音AI特效：实时生成变装效果时，也是逐帧流式下发，保证手松到画面变化几乎无延迟。
• 网易云音乐AI歌单：根据心情生成歌单，结果逐步展示，用户可边看边调整。

踩坑指南

• 错误处理：流式中断后要自动重连，并保留已收到内容。
• 后端压力：每条连接长时间占用，需要合理设置超时和并发限制。
• 浏览器兼容：IE不支持SSE，但现代浏览器和WebKit都很好。替代方案是用Fetch API + ReadableStream。
• 安全：SSE默认不允许跨域，需配置CORS。

流式传输不是新概念，但在AI应用里是必备技能。别让用户等你家模型“想”完再说——让他们看着模型边想边说，体验直接拉满。