oadmin/sub2api
1
0
Fork 0
Code Issues Pull Requests 1 Actions Packages Projects Releases Wiki Activity
1,144 Commits 2 Branches 0 Tags
8e88d1dd804c86b5651157b17ac904ee687f51e8
Commit Graph

122 Commits

Author SHA1 Message Date
shaw
cadca752c4 修复SSE流式响应中usage数据被覆盖的问题 2026-01-28 18:36:21 +08:00
shaw
56a1e29cdd fix(gateway): 修复 SSE 流式响应 usage 统计错误 
message_delta 应完全覆盖 message_start 的 usage 数据，
而非仅在值为 0 时才更新。
 2026-01-27 09:16:34 +08:00
ianshaw
839975b0cf feat(gemini): 支持 Gemini CLI 粘性会话与跨账号 thoughtSignature 清理 
## 问题背景

1. Gemini CLI 没有明确的会话标识（如 Claude Code 的 metadata.user_id）
2. thoughtSignature 与具体上游账号强绑定，跨账号使用会导致 400 错误
3. 粘性会话切换账号或 cache 丢失时，旧签名会导致请求失败

## 解决方案

### 1. Gemini CLI 会话标识提取

- 从 `x-gemini-api-privileged-user-id` header 和请求体中的 tmp 目录哈希生成会话标识
- 组合策略：SHA256(privileged-user-id + ":" + tmp_dir_hash)
- 正则提取：`/\.gemini/tmp/([A-Fa-f0-9]{64})`

### 2. 跨账号 thoughtSignature 清理

实现三种场景的智能清理：

1. **Cache 命中 + 账号切换**
   - 粘性会话绑定的账号与当前选择的账号不同时清理

2. **同一请求内 failover 切换**
   - 通过 sessionBoundAccountID 跟踪，检测重试时的账号切换

3. **Gemini CLI + Cache 未命中 + 含签名**
   - 预防性清理，避免 cache 丢失后首次转发就 400
   - 仅对 Gemini CLI 请求且请求体包含 thoughtSignature 时触发

## 修改内容

### backend/internal/handler/gemini_v1beta_handler.go
- 添加 `extractGeminiCLISessionHash` 函数提取 Gemini CLI 会话标识
- 添加 `isGeminiCLIRequest` 函数识别 Gemini CLI 请求
- 实现账号切换检测与 thoughtSignature 清理逻辑
- 添加 `geminiCLITmpDirRegex` 正则表达式

### backend/internal/service/gateway_service.go
- 添加 `GetCachedSessionAccountID` 方法查询粘性会话绑定的账号 ID

### backend/internal/service/gemini_native_signature_cleaner.go (新增)
- 实现 `CleanGeminiNativeThoughtSignatures` 函数
- 递归清理 JSON 中的所有 thoughtSignature 字段
- 支持任意 JSON 顶层类型（object/array）

### backend/internal/handler/gemini_cli_session_test.go (新增)
- 测试 Gemini CLI 会话哈希提取逻辑
- 测试 tmp 目录正则匹配
- 覆盖有/无 privileged-user-id 的场景

## 影响范围

- 修复 Gemini CLI 多轮对话时账号切换导致的 400 错误
- 提高粘性会话的稳定性和容错能力
- 不影响其他客户端（Claude Code 等）的会话标识生成

## 测试

- 单元测试：go test -tags=unit ./internal/handler -run TestExtractGeminiCLISessionHash
- 单元测试：go test -tags=unit ./internal/handler -run TestGeminiCLITmpDirRegex
- 编译验证：go build ./cmd/server
 2026-01-26 04:40:38 +08:00
yangjianbo
292f25f9ca Merge branch 'main' of https://github.com/mt21625457/aicodex2api 2026-01-20 14:02:08 +08:00
yangjianbo
f6ed3d1456 Merge branch 'test' into dev 2026-01-20 11:59:13 +08:00
yangjianbo
91f01309da fix(调度): 完善粘性会话清理与账号调度刷新 
- Update/BulkUpdate 按不可调度字段触发缓存刷新
- GatewayCache 支持多前缀会话键清理
- 模型路由与混合调度优化粘性会话处理
- 补充调度与缓存相关测试覆盖
 2026-01-20 11:40:55 +08:00
shaw
ccfeaeb22d feat: 新增会话ID伪装功能，优化日志系统 
- 新增 session_id_masking_enabled 配置，启用后将在15分钟内固定
  metadata.user_id 中的 session ID
- TLS fingerprint 模块日志从自定义 debugLog 迁移到 slog
- main.go 添加 slog 初始化，根据 gin mode 设置日志级别
- 前端创建/编辑账号模态框添加会话ID伪装开关
- 多语言支持（中英文）
 2026-01-19 10:22:13 +08:00
Wesley Liddick
03c7578713 Merge pull request #325 from slovx2/main 
fix(antigravity): 修复Antigravity 频繁429的问题，以及一系列优化，配置增强
 2026-01-19 09:17:15 +08:00
shaw
de6797c560 fix: 修复5小时窗口费用不重置的问题 
- 新增 GetCurrentWindowStartTime() 方法，当窗口过期时自动使用新的预测窗口开始时间
- UpdateSessionWindow 更新窗口时间后触发 outbox 事件同步调度器缓存
- 统一所有窗口费用查询入口使用新方法
 2026-01-19 09:13:15 +08:00
shaw
f6360e0bf3 fix: 移除未使用的 extractSessionUUID 函数 
修复 golangci-lint unused 检查报错
 2026-01-18 20:15:02 +08:00
shaw
9abda1bc59 feat(tls): 新增 TLS 指纹模拟功能 2026-01-18 20:08:40 +08:00
shaw
a07174c191 fix: 修复会话限制功能并在创建账号时支持配额控制 2026-01-18 16:41:15 +08:00
song
b9b4db3df5 Merge upstream/main 2026-01-17 18:00:07 +08:00
shaw
7379423325 feat: 添加5h窗口费用控制和会话数量限制 
- 支持Anthropic OAuth/SetupToken账号的5h窗口费用阈值控制
- 支持账号级别的并发会话数量限制
- 使用Redis缓存窗口费用(30秒TTL)减少数据库压力
- 费用计算基于标准费用(不含账号倍率)
 2026-01-16 23:36:52 +08:00
song
1be3eacad5 feat(scheduling): 兜底层账户选择策略可配置 
- gateway.scheduling.fallback_selection_mode: "last_used"(默认) 或 "random"
- last_used: 按最后使用时间排序（轮询效果）
- random: 同优先级内随机选择
 2026-01-16 20:47:07 +08:00
longgexx
19865b865f feat(group): 添加分组级别模型路由配置功能 
支持为分组配置模型路由规则，可以指定特定模型模式优先使用的账号列表。

  - 新增 model_routing 字段存储路由配置（JSONB格式，支持通配符匹配）

  - 新增 model_routing_enabled 字段控制是否启用路由

  - 更新后端 handler/service/repository 支持路由配置的增删改查

  - 更新前端 GroupsView 添加路由配置界面

  - 添加数据库迁移脚本 040/041
 2026-01-16 17:26:05 +08:00
yangjianbo
f862ddc9ff style: 修复 gofmt 格式化问题 
Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
 2026-01-15 19:42:18 +08:00
yangjianbo
1820389a05 feat(网关): 引入 OpenAI/Claude OAuth token 缓存 
新增 OpenAI/Claude TokenProvider 与缓存键生成
扩展 OAuth 缓存失效覆盖更多平台
统一 OAuth 缓存前缀与依赖注入
 2026-01-15 18:27:06 +08:00
yangjianbo
90bce60b85 feat: merge dev 2026-01-15 15:14:44 +08:00
ianshaw
25b00abca1 fix(网关): 修复账号选择中的调度器快照延迟问题 
## 问题描述
调度器快照更新存在0.5-1秒的延迟（Outbox轮询间隔），导致在账号被限流或过载后的短时间窗口内，
可能仍会被选中，造成请求失败。

## 根本原因
账号选择逻辑依赖调度器快照（listSchedulableAccounts），但快照更新有延迟：
- Outbox轮询: 每1秒检查一次变更事件
- 全量重建: 每300秒重建一次
- 时间窗口: 账号状态变更后0.5-1秒内，快照可能未更新

## 解决方案
在账号选择循环中添加IsSchedulable()实时检查，作为第二道防线：
1. 第一道防线: 调度器快照过滤（可能有延迟）
2. 第二道防线: IsSchedulable()实时检查（本次修复）

IsSchedulable()会检查：
- RateLimitResetAt: 限流重置时间
- OverloadUntil: 过载持续时间
- TempUnschedulableUntil: 临时不可调度时间
- Status: 账号状态
- Schedulable: 可调度标志

## 修改范围
### OpenAI Gateway Service
- SelectAccountForModelWithExclusions: 添加IsSchedulable()检查
- SelectAccountWithLoadAwareness: 添加IsSchedulable()检查

### Gateway Service (Claude/Gemini/Antigravity)
- 负载感知选择候选账号筛选: 添加IsSchedulable()检查
- selectAccountForModelWithPlatform: 添加IsSchedulable()检查
- selectAccountWithMixedScheduling: 添加IsSchedulable()检查

### 测试用例
- OpenAI: 添加2个测试用例验证限流账号过滤
- Gateway: 添加2个测试用例验证限流和过载账号过滤

### 其他修复
- ops_repo_preagg.go: 修复platform为NULL时的聚合问题

## 测试结果
所有单元测试通过 ✅
 2026-01-13 22:49:26 -08:00
Wesley Liddick
0df7385c4e Merge pull request #226 from xilu0/main 
feat(gateway): 优化 Antigravity/Gemini 思考块处理 此提交解决了思考块 (thinking blocks) 在转发过程中的兼容性问题
 2026-01-13 09:39:43 +08:00
xiluo
524d80ae1c feat(gateway): 优化 Antigravity/Gemini 思考块处理 
此提交解决了思考块 (thinking blocks) 在转发过程中的兼容性问题。

主要变更：

1. **思考块优化 (Thinking Blocks)**：
   - 在 AntigravityGatewayService 中增加了 sanitizeThinkingBlocks 处理，强制移除思考块中不支持的 cache_control 字段（避免 Anthropic/Vertex AI 报错）
   - 实现历史思考块展平 (Flattening)：将非最后一条消息中的思考块转换为普通文本块，以绕过上游对历史思考块签名的严格校验
   - 增加 cleanCacheControlFromGeminiJSON 作为最后一道防线，确保转换后的 Gemini 请求中不残留非法的 cache_control

2. **GatewayService 缓存控制优化**：
   - 更新缓存控制逻辑，跳过 thinking 块（thinking 块不支持 cache_control 字段）
   - 增加 removeCacheControlFromThinkingBlocks 函数强制清理

关联 Issue: #225
 2026-01-12 13:36:59 +00:00
yangjianbo
2db34139f0 Merge branch 'main' of https://github.com/mt21625457/aicodex2api 2026-01-12 14:50:53 +08:00
yangjianbo
3141aa5144 feat(scheduler): 引入调度快照缓存与 outbox 回放 
- 调度热路径优先读 Redis 快照，保留分组排序语义
- outbox 回放 + 全量重建纠偏，失败重试不推进水位
- 自动 Atlas 基线对齐并同步调度配置示例
 2026-01-12 14:19:06 +08:00
ianshaw
2a0758bdfe feat(gateway): 添加流超时处理机制 
- 添加 StreamTimeoutSettings 配置结构体和系统设置
- 实现 TimeoutCounterCache Redis 计数器用于累计超时次数
- 在 RateLimitService 添加 HandleStreamTimeout 方法
- 在 gateway_service、openai_gateway_service、antigravity_gateway_service 中调用超时处理
- 添加后端 API 端点 GET/PUT /admin/settings/stream-timeout
- 添加前端配置界面到系统设置页面
- 支持配置：启用开关、超时阈值、处理方式、暂停时长、触发阈值、阈值窗口

默认配置：
- 启用：true
- 超时阈值：60秒
- 处理方式：临时不可调度
- 暂停时长：5分钟
- 触发阈值：3次
- 阈值窗口：10分钟
 2026-01-11 21:54:52 -08:00
IanShaw027
7ebca553ef feat(ops): 实现上游错误事件记录与查询功能 
**新增功能**:
- 新建ops_upstream_error_events表存储上游服务错误详情
- 支持记录上游429/529/5xx错误的详细上下文信息
- 提供按时间范围查询上游错误事件的API

**后端改动**:
1. 模型层（ops_models.go, ops_port.go）:
   - 新增UpstreamErrorEvent结构体
   - 扩展Repository接口支持上游错误事件CRUD

2. 仓储层（ops_repo.go）:
   - 实现InsertUpstreamErrorEvent写入上游错误
   - 实现GetUpstreamErrorEvents按时间范围查询

3. 服务层（ops_service.go, ops_upstream_context.go）:
   - ops_service: 新增GetUpstreamErrorEvents查询方法
   - ops_upstream_context: 封装上游错误上下文构建逻辑

4. Handler层（ops_error_logger.go）:
   - 新增GetUpstreamErrorsHandler处理上游错误查询请求

5. Gateway层集成:
   - antigravity_gateway_service.go: 429/529错误时记录上游事件
   - gateway_service.go: OpenAI 429/5xx错误时记录
   - gemini_messages_compat_service.go: Gemini 429/5xx错误时记录
   - openai_gateway_service.go: OpenAI 429/5xx错误时记录
   - ratelimit_service.go: 429限流错误时记录

**数据记录字段**:
- request_id: 关联ops_logs主记录
- platform/model: 上游服务标识
- status_code/error_message: 错误详情
- request_headers/response_body: 调试信息（可选）
- created_at: 错误发生时间
 2026-01-11 15:30:27 +08:00
IanShaw027
89a725a433 feat(ops): 添加QPS脉搏线图并优化指标布局 
- 添加实时QPS/TPS历史数据追踪（最近60个数据点）
- 在平均QPS/TPS上方添加SVG脉搏线图（sparkline）
- 将延迟和TTFT卡片的指标布局从2列改为3列
- 恢复Max指标显示（P95/P90/P50/Avg/Max）
 2026-01-11 11:49:34 +08:00
yangjianbo
6a9cc13e3e fix(网关): 明确粘性命中范围并优化映射构建 
仅在粘性命中时构建候选账号映射以减少开销
新增用例验证粘性账号缺失时回退负载感知选择
 2026-01-10 14:51:16 +08:00
yangjianbo
7a0ca05233 perf(网关): 粘性会话命中复用候选账号 
使用候选账号映射避免粘性命中时额外的 GetByID 查询
新增单测确保粘性命中不触发 GetByID 且提前返回
 2026-01-10 14:39:33 +08:00
yangjianbo
297f08c683 Merge branch 'test' into dev 2026-01-10 09:39:02 +08:00
yangjianbo
72f78f8a56 fix(分组): 强化上下文分组可信校验 
- 引入 Hydrated 标记限制复用来源

- 无效上下文分组允许被新值覆盖自愈

- 更新相关单测覆盖
 2026-01-10 08:40:27 +08:00
yangjianbo
2597fe78ba fix(分组): 防止降级环并校验上下文分组 
- 增加降级链路环检测并拦截配置

- 仅复用合法分组上下文并必要时回退查询

- 标注 GetByIDLite 轻量语义并补充测试
 2026-01-10 07:56:50 +08:00
yangjianbo
675543240e perf(网关): 复用分组上下文减少热路径查询 
新增 GetByIDLite 并在网关与 Gemini 选择流程复用上下文 group，避免 COUNT 触发
更新 API key 中间件注入 group 上下文，减少重复查库
补充 gateway/gemini 中间件与仓库层回归测试

测试: make test
 2026-01-09 23:01:42 +08:00
Song Siyu
7d1fe818be feat: antigravity 配额域限流 + SSE 上限 (#222) 
* fix: 添加 gemini-3-flash 前缀映射支持 gemini-3-flash-preview

* feat(antigravity): 增强请求参数和注入 Antigravity 身份 system prompt

* feat: antigravity 配额域限流

* chore: 调整 SSE 单行上限到 25MB

* chore: 提升 SSE 单行上限到 40MB
 2026-01-09 22:00:14 +08:00
Edric.Li
0a4641c24e feat(api-key): 添加 IP 白名单/黑名单限制功能 (#221) 
* feat(api-key): add IP whitelist/blacklist restriction and usage log IP tracking

- Add IP restriction feature for API keys (whitelist/blacklist with CIDR support)
- Add IP address logging to usage logs (admin-only visibility)
- Remove billing_type column from usage logs UI (redundant)
- Use generic "Access denied" error message for security

Backend:
- New ip package with IP/CIDR validation and matching utilities
- Database migrations for ip_whitelist, ip_blacklist (api_keys) and ip_address (usage_logs)
- Middleware IP restriction check after API key validation
- Input validation for IP/CIDR patterns on create/update

Frontend:
- API key form with enable toggle for IP restriction
- Shield icon indicator in table for keys with IP restriction
- Removed billing_type filter and column from usage views

* fix: update API contract tests for ip_whitelist/ip_blacklist fields

Add ip_whitelist and ip_blacklist fields to expected JSON responses
in API contract tests to match the new API key schema.
 2026-01-09 21:59:32 +08:00
song
11bfc807d7 merge upstream/main 2026-01-09 21:37:27 +08:00
song
c2a6ca8d3a chore: 提升 SSE 单行上限到 40MB 2026-01-09 20:57:06 +08:00
song
7b1cf2c495 chore: 调整 SSE 单行上限到 25MB 2026-01-09 20:47:13 +08:00
song
da1f3d61be feat: antigravity 配额域限流 2026-01-09 17:35:02 +08:00
Edric Li
a42105881f feat(groups): add Claude Code client restriction and session isolation 
- Add claude_code_only field to restrict groups to Claude Code clients only
- Add fallback_group_id for non-Claude Code requests to use alternate group
- Implement ClaudeCodeValidator for User-Agent detection
- Add group-level session binding isolation (groupID in Redis key)
- Prevent cross-group sticky session pollution
- Update frontend with Claude Code restriction controls
 2026-01-08 23:07:00 +08:00
shaw
db6f53e2c9 fix(billing): 修复客户端取消请求时计费丢失问题 
检测 context.Canceled 作为客户端断开信号，返回已收集的 usage 而非错误
 2026-01-08 11:25:17 +08:00
Edric Li
1ada6cf768 feat(usage-log): 增加请求 User-Agent 记录 
在使用记录中添加 user_agent 字段，用于记录 API 请求的 User-Agent 头信息，
便于分析客户端类型和调试。

变更内容：
- 新增数据库迁移 028_add_usage_logs_user_agent.sql
- 更新 UsageLog 模型和 Ent Schema 添加 user_agent 字段
- 更新 Repository 层的 Create 和 scanUsageLog 方法
- 更新 RecordUsageInput 结构体支持传入 UserAgent
- 更新 Claude/OpenAI/Gemini 三个网关 Handler 传递 UserAgent

🤖 Generated with [Claude Code](https://claude.com/claude-code)

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
 2026-01-07 22:49:46 +08:00
shaw
d99a3ef14b fix(gateway): 修复账号跨分组调度问题 
问题：账号可能被调度到未分配的分组（如 simon 账号被调度到 claude_default）

根因：
- 强制平台模式下分组查询失败时回退到全平台查询
- listSchedulableAccounts 中分组为空时回退到无分组查询
- 粘性会话只检查平台匹配，未校验账号分组归属

修复：
- 移除强制平台模式的回退逻辑，分组内无账号时返回错误
- 移除 listSchedulableAccounts 的回退逻辑
- 新增 isAccountInGroup 方法用于分组校验
- 在三处粘性会话检查中增加分组归属验证
 2026-01-07 10:56:52 +08:00
shaw
6dcd99468b fix(gateway): 修复 cache_control 块超限问题并优化 Claude Code 检测 
问题：
- OAuth/SetupToken 账号注入 system prompt 后可能导致 cache_control
  块超过 Anthropic API 的 4 个限制
- Claude Code 检测使用精确匹配，无法识别 Agent SDK 等变体

修复：
- 新增 enforceCacheControlLimit 函数，强制执行 4 个块限制
- 优先从 messages 移除，再从 system 尾部移除（保护注入的 prompt）
- 改用前缀匹配检测 Claude Code 系统提示词，支持多种变体：
  - 标准版、Agent SDK 版、Explore Agent 版、Compact 版
 2026-01-07 10:17:09 +08:00
song
195e227c04 merge: 合并 upstream/main 并保留本地图片计费功能 2026-01-06 10:49:26 +08:00
song
d4c2b723a5 feat: 图片生成计费功能 
- 新增 Group 图片价格配置（image_price_1k/2k/4k）
- BillingService 新增 CalculateImageCost 方法
- AntigravityGatewayService 支持识别图片生成模型并按次计费
- UsageLog 新增 image_count 和 image_size 字段
- 前端分组管理支持配置图片价格（antigravity 和 gemini 平台）
- 图片计费复用通用计费能力（余额检查、扣费、倍率、订阅限额）
 2026-01-05 17:07:29 +08:00
yangjianbo
fb313356f7 Merge branch 'main' into test-dev 2026-01-05 14:43:08 +08:00
yangjianbo
048ed061c2 fix(安全): 关闭白名单时保留最小校验与默认白名单 
实现 allow_insecure_http 并在关闭校验时执行最小格式验证
- 关闭 allowlist 时要求 URL 可解析且 scheme 合规
- 响应头过滤关闭时使用默认白名单策略
- 更新相关文档、示例与测试覆盖
 2026-01-05 14:41:08 +08:00
yangjianbo
794a9f969b feat(安全): 添加安全开关并完善测试流程 
实现安全开关默认关闭与响应头透传逻辑
- URL 校验与响应头过滤支持开关并覆盖流式路径
- 非流式 Content-Type 透传/默认值按配置生效
- 接入 go test、golangci-lint 与前端 lint/typecheck
- 补充相关测试与配置/文档说明
 2026-01-05 13:54:43 +08:00
IanShaw027
06216aad53 fix(backend): 修复 CI 失败问题 
修复内容：
1. 修复 6 个 golangci-lint 错误
   - 3 个 errcheck 错误：在 gateway_request_test.go 中添加类型断言检查
   - 3 个 gofmt 格式化问题：修复代码格式
2. 修复 API 契约测试失败
   - 在测试中添加缺失的字段：enable_identity_patch 和 identity_patch_prompt

所有测试和 linter 检查现已通过。
 2026-01-05 00:56:48 +08:00