微信小程序里做 ChatGPT 流式输出:WebSocket 与内容审核实践
微信小程序不支持 SSE,直接把大模型接口搬到前端通常行不通。本文围绕 WebSocket 转发、SSE 解析、分句内容审核、密钥与额度安全,给出一套可落地的实现思路,并整理上线前需要核对的平台与合规事项。
在微信小程序里接入类 ChatGPT 对话,最直接的诉求是“边生成边显示”。但小程序网络层并不支持浏览器的 EventSource/SSE,而主流大模型接口的流式响应恰好基于 SSE。于是常见现象是:前端只能等完整回答返回,首字延迟高,长回答体验差;如果为了实时而把密钥放到客户端,又会带来严重的安全问题。
另一个容易被低估的环节是内容审核。流式输出意味着文本还没有完整生成就要展示,审核时机、断句策略和失败兜底都需要提前设计。下面结合一套常见架构,说明问题拆解、实现步骤和上线注意事项。
问题拆解:难点不在“调用模型”
可以把整条链路拆成四段:
| 环节 | 主要难点 | 常见做法 |
|---|---|---|
| 小程序到服务端 | 不支持 SSE,长连接管理复杂 | WebSocket 推送、轮询、分段请求 |
| 服务端到模型 | SSE 分块解析、断线取消 | 后端代理,按行解析 data: |
| 内容审核 | 流式文本不完整,审核有延迟 | 输入先审、输出分句审、最终复审 |
| 密钥与额度 | 客户端不可存密钥,免费额度易被刷 | 服务端环境变量、登录态、限流 |
其中,WebSocket 是最贴近流式体验的方案;轮询实现简单,但延迟和请求量都更高;分段请求则要把一次回答拆成多次调用,上下文和计费都不好控制。选型时先确认小程序后台的服务器域名、TLS 证书和 WebSocket 支持情况。
方案:后端代理 + WebSocket 推送
整体链路可以这样设计:
- 小程序通过
wx.login获取登录凭证,向业务服务换取短期会话 token。 - 建立
wss://连接,带上 token,服务端校验用户、频率和剩余额度。 - 服务端调用模型接口,开启
stream: true,持续读取 SSE。 - 服务端把增量文本通过 WebSocket 发给小程序;小程序按消息追加渲染。
- 用户关闭页面或点击停止时,服务端取消上游请求,避免继续计费。
服务端解析 SSE 时,不能假设每次 read() 都刚好拿到完整一行。要保留缓冲区,按换行拆分,并处理 [DONE] 和错误事件。下面是一段伪代码,重点是思路而不是某个平台:
const upstream = await fetch(MODEL_ENDPOINT, {
method: 'POST',
headers: {
'Content-Type': 'application/json',
Authorization: `Bearer ${process.env.MODEL_API_KEY}`,
},
body: JSON.stringify({ model: process.env.MODEL_NAME, stream: true, messages }),
});
const reader = upstream.body.getReader();
const decoder = new TextDecoder();
let buffer = '';
while (true) {
const { value, done } = await reader.read();
if (done) break;
buffer += decoder.decode(value, { stream: true });
const lines = buffer.split('\n');
buffer = lines.pop() || '';
for (const line of lines) {
if (!line.startsWith('data:')) continue;
const payload = line.slice(5).trim();
if (payload === '[DONE]') continue;
const delta = JSON.parse(payload).choices?.[0]?.delta?.content || '';
if (delta) {
// 这里不要直接 send,先进入审核缓冲
enqueueForModeration(delta);
}
}
}
WebSocket 侧还要补三件事:心跳保活、断线重连、消息序号。没有序号时,重连后容易出现重复文本或丢字;没有心跳时,中间层可能提前断开空闲连接。消息体建议统一为 {type, seq, text},前端按 seq 去重和排序。
流式内容审核:分句比逐字更现实
最常见的疑问是:模型一个字一个字返回,审核应该怎么做?常见有三种策略:
| 策略 | 做法 | 延迟 | 成本 | 适用场景 |
|---|---|---|---|---|
| 逐字/逐块审核 | 每收到一个 delta 就调用审核 | 高 | 高 | 很少采用 |
| 分句审核 | 按句号、问号、换行等断句后审核 | 中 | 中 | 大多数流式对话 |
| 整段审核 | 等回答完整后审核再展示 | 低实时性 | 低 | 非流式、离线生成 |
更稳妥的做法是“分句审核 + 最终复审”:服务端累积增量文本,遇到 。!?!?;;\n 或达到一定长度就切出一个审核单元,调用内容安全接口;通过后再推送给前端,不通过则中断并返回统一提示。回答结束后,再对完整文本做一次复审和必要记录。
注意两个细节:
- 输入审核要放在调用模型之前,不能只在输出端拦截。
- 审核失败时要有兜底文案,不能把原始错误、审核标签或上游响应直接暴露给用户。
- 审核接口的额度、字段和地域限制以官方最新文档为准,不要硬编码假设。
如果使用微信平台自带的安全能力或云厂商文本审核,接入前先确认是否支持短文本高频调用、是否有 QPS 限制,以及失败重试是否会产生额外费用。
密钥、额度与部署安全
密钥安全是这类项目最容易出问题的地方。基本原则只有一条:模型密钥只存在于服务端环境变量中,绝不写入小程序代码、前端配置或日志。
建议至少做以下检查:
- 服务端日志不要打印
Authorization请求头、完整请求体和用户原始 key。 - 免费额度按登录用户、openid、IP 等维度在服务端计数,不要依赖前端传值。
- 对单次提问长度、输出 token 数、单位时间请求数做限制。
- WebSocket 连接要有鉴权和过期时间,避免长期裸连。
- 发生密钥泄露时立即轮换,并检查历史日志和调用记录。
部署方面,Serverless 平台可以降低运维成本,但要确认 WebSocket 长连接、执行时长和出站网络是否满足要求。如果连接经常被中断,优先检查平台超时设置和心跳间隔,而不是反复重试上游请求。
上线前的合规与体验清单
面向公众提供生成式 AI 对话,除了技术实现,还要确认平台和监管要求。小程序类目、服务资质、生成式 AI 相关备案或安全评估、内容审核机制等,都可能影响上线,具体以微信平台和监管部门最新说明为准。
技术侧可以按这份清单自查:
- 小程序后台已配置合法的
wss域名和证书。 - 服务端完成登录态校验、频率限制和额度扣减。
- SSE 解析有缓冲区,能处理半行、空行和
[DONE]。 - 输入先审、输出分句审、结束后复审。
- 用户停止生成时能取消上游请求。
- 前端有断线重连、重复消息去重和错误提示。
- 密钥只在服务端,日志已脱敏。
小结
微信小程序里做类 ChatGPT 的流式对话,核心不是“找一个支持 SSE 的请求库”,而是把 SSE 留在服务端,用 WebSocket 把增量结果转发给小程序,并在转发前完成分句审核。这样既能保留较好的实时体验,也能把密钥、额度和内容安全控制在服务端。若团队暂时不具备长连接运维能力,可以先做非流式版本,但要接受首屏等待更长;等连接稳定性和审核链路跑通后,再升级到流式。