feat(gateway): 添加流超时处理机制
- 添加 StreamTimeoutSettings 配置结构体和系统设置 - 实现 TimeoutCounterCache Redis 计数器用于累计超时次数 - 在 RateLimitService 添加 HandleStreamTimeout 方法 - 在 gateway_service、openai_gateway_service、antigravity_gateway_service 中调用超时处理 - 添加后端 API 端点 GET/PUT /admin/settings/stream-timeout - 添加前端配置界面到系统设置页面 - 支持配置:启用开关、超时阈值、处理方式、暂停时长、触发阈值、阈值窗口 默认配置: - 启用:true - 超时阈值:60秒 - 处理方式:临时不可调度 - 暂停时长:5分钟 - 触发阈值:3次 - 阈值窗口:10分钟
This commit is contained in:
@@ -69,3 +69,38 @@ type PublicSettings struct {
|
||||
LinuxDoOAuthEnabled bool
|
||||
Version string
|
||||
}
|
||||
|
||||
// StreamTimeoutSettings 流超时处理配置
|
||||
type StreamTimeoutSettings struct {
|
||||
// Enabled 是否启用流超时处理
|
||||
Enabled bool `json:"enabled"`
|
||||
// TimeoutSeconds 流数据间隔超时阈值(秒),0表示禁用
|
||||
TimeoutSeconds int `json:"timeout_seconds"`
|
||||
// Action 超时后的处理方式: "temp_unsched" | "error" | "none"
|
||||
Action string `json:"action"`
|
||||
// TempUnschedMinutes 临时不可调度持续时间(分钟)
|
||||
TempUnschedMinutes int `json:"temp_unsched_minutes"`
|
||||
// ThresholdCount 触发阈值次数(累计多少次超时才触发)
|
||||
ThresholdCount int `json:"threshold_count"`
|
||||
// ThresholdWindowMinutes 阈值窗口时间(分钟)
|
||||
ThresholdWindowMinutes int `json:"threshold_window_minutes"`
|
||||
}
|
||||
|
||||
// StreamTimeoutAction 流超时处理方式常量
|
||||
const (
|
||||
StreamTimeoutActionTempUnsched = "temp_unsched" // 临时不可调度
|
||||
StreamTimeoutActionError = "error" // 标记为错误状态
|
||||
StreamTimeoutActionNone = "none" // 不处理
|
||||
)
|
||||
|
||||
// DefaultStreamTimeoutSettings 返回默认的流超时配置
|
||||
func DefaultStreamTimeoutSettings() *StreamTimeoutSettings {
|
||||
return &StreamTimeoutSettings{
|
||||
Enabled: true,
|
||||
TimeoutSeconds: 60,
|
||||
Action: StreamTimeoutActionTempUnsched,
|
||||
TempUnschedMinutes: 5,
|
||||
ThresholdCount: 3,
|
||||
ThresholdWindowMinutes: 10,
|
||||
}
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user