SSE 流式输出
大模型一次完整回答可能需要几秒甚至更长时间。
如果等待全部生成完成后再返回,用户体验会非常差。
SSE
Server-Sent Events 可以让服务器持续向浏览器推送数据。
Code
HTTP Connection
↓
Server → data: 你好
Server → data: 世界
Server → data: [DONE]为什么 AI Chat 喜欢 SSE?
它实现简单,非常适合服务器向客户端单向持续推送 Token。
对于大多数 AI 聊天场景,SSE 已经足够使用。
赞赏支持
如果这些经验帮你少走了弯路, 欢迎请我喝杯咖啡补充脑力。☕
文章已读完,感谢你的耐心阅读 🙏
评论交流
认真讨论,友善表达
0/1000
还没有评论
成为第一个参与讨论的人。
全部评论