SSE 流式输出

大模型一次完整回答可能需要几秒甚至更长时间。

如果等待全部生成完成后再返回,用户体验会非常差。

SSE

Server-Sent Events 可以让服务器持续向浏览器推送数据。

Code
HTTP Connection
       ↓
Server → data: 你好
Server → data: 世界
Server → data: [DONE]

为什么 AI Chat 喜欢 SSE?

它实现简单,非常适合服务器向客户端单向持续推送 Token。

对于大多数 AI 聊天场景,SSE 已经足够使用。

文章已读完,感谢你的耐心阅读 🙏

评论交流

认真讨论,友善表达

0 条评论
0/1000

全部评论

还没有评论

成为第一个参与讨论的人。