yangjianbo
|
73ffb58518
|
fix(流式): 提升SSE稳定性并统一超时配置
- 扩展SSE行长与间隔超时处理，补充keepalive
- 写入失败与超长行时发送错误事件，修复并发释放
- 同步默认配置与示例配置，更新Caddy超时/压缩规则
- 新增OpenAI流式超时与超长行测试
测试: go test ./...
|
2026-01-04 19:49:59 +08:00 |
|
ianshaw
|
b8779764b5
|
perf: 优化负载感知调度的准确性和响应速度
基于 Codex 审查建议的性能优化。
负载批量查询优化：
- getAccountsLoadBatchScript 添加过期槽位清理
- 使用 ZREMRANGEBYSCORE 在计数前清理过期条目
- 防止过期槽位导致负载率计算偏高
- 提升负载感知调度的准确性
等待循环优化：
- waitForSlotWithPingTimeout 添加立即获取尝试
- 避免不必要的 initialBackoff 延迟
- 低负载场景下减少响应延迟
测试改进：
- 取消跳过 TestGetAccountsLoadBatch 集成测试
- 过期槽位清理应该修复了 CI 中的计数问题
影响：
- 更准确的负载感知调度决策
- 更快的槽位获取响应
- 更好的测试覆盖率
|
2026-01-02 19:24:01 -08:00 |
|
IanShaw027
|
592d2d0978
|
feat(gateway): 实现负载感知的账号调度优化
- 新增调度配置：粘性会话排队、兜底排队、负载计算、槽位清理
- 实现账号级等待队列和批量负载查询（Redis Lua 脚本）
- 三层选择策略：粘性会话优先 → 负载感知选择 → 兜底排队
- 后台定期清理过期槽位，防止资源泄漏
- 集成到所有网关处理器（Claude/Gemini/OpenAI）
|
2026-01-01 04:01:51 +08:00 |
|
yangjianbo
|
7efa8b54c4
|
perf(后端): 完成性能优化与连接池配置
新增 DB/Redis 连接池配置与校验，并补充单测
网关请求体大小限制与 413 处理
HTTP/req 客户端池化并调整上游连接池默认值
并发槽位改为 ZSET+Lua 与指数退避
用量统计改 SQL 聚合并新增索引迁移
计费缓存写入改工作池并补测试/基准
测试: 在 backend/ 下运行 go test ./...
|
2025-12-31 08:50:12 +08:00 |
|
Forest
|
e5a77853b0
|
refactor: 调整项目结构为单向依赖
|
2025-12-26 16:45:40 +08:00 |
|
Forest
|
836c4dda2b
|
refactor: 重命名 go module
|
2025-12-24 21:07:21 +08:00 |
|
shaw
|
6c469b42ed
|
feat: 新增支持codex转发
|
2025-12-22 22:58:31 +08:00 |
|