feat(sora): 新增 Sora 平台支持并修复高危安全和性能问题

新增功能:
- 新增 Sora 账号管理和 OAuth 认证
- 新增 Sora 视频/图片生成 API 网关
- 新增 Sora 任务调度和缓存机制
- 新增 Sora 使用统计和计费支持
- 前端增加 Sora 平台配置界面

安全修复(代码审核):
- [SEC-001] 限制媒体下载响应体大小(图片 20MB、视频 200MB),防止 DoS 攻击
- [SEC-002] 限制 SDK API 响应大小(1MB),防止内存耗尽
- [SEC-003] 修复 SSRF 风险,添加 URL 验证并强制使用代理配置

BUG 修复(代码审核):
- [BUG-001] 修复 for 循环内 defer 累积导致的资源泄漏
- [BUG-002] 修复图片并发槽位获取失败时已持有锁未释放的永久泄漏

性能优化(代码审核):
- [PERF-001] 添加 Sentinel Token 缓存(3 分钟有效期),减少 PoW 计算开销

技术细节:
- 使用 io.LimitReader 限制所有外部输入的大小
- 添加 urlvalidator 验证防止 SSRF 攻击
- 使用 sync.Map 实现线程安全的包级缓存
- 优化并发槽位管理,添加 releaseAll 模式防止泄漏

影响范围:
- 后端:新增 Sora 相关数据模型、服务、网关和管理接口
- 前端:新增 Sora 平台配置、账号管理和监控界面
- 配置:新增 Sora 相关配置项和环境变量

Co-Authored-By: Claude Sonnet 4.5 <noreply@anthropic.com>
This commit is contained in:
yangjianbo
2026-01-29 16:18:38 +08:00
parent bece1b5201
commit 13262a5698
97 changed files with 29541 additions and 68 deletions

View File

@@ -58,6 +58,7 @@ type Config struct {
UsageCleanup UsageCleanupConfig `mapstructure:"usage_cleanup"`
Concurrency ConcurrencyConfig `mapstructure:"concurrency"`
TokenRefresh TokenRefreshConfig `mapstructure:"token_refresh"`
Sora SoraConfig `mapstructure:"sora"`
RunMode string `mapstructure:"run_mode" yaml:"run_mode"`
Timezone string `mapstructure:"timezone"` // e.g. "Asia/Shanghai", "UTC"
Gemini GeminiConfig `mapstructure:"gemini"`
@@ -69,6 +70,38 @@ type GeminiConfig struct {
Quota GeminiQuotaConfig `mapstructure:"quota"`
}
type SoraConfig struct {
BaseURL string `mapstructure:"base_url"`
Timeout int `mapstructure:"timeout"`
MaxRetries int `mapstructure:"max_retries"`
PollInterval float64 `mapstructure:"poll_interval"`
CallLogicMode string `mapstructure:"call_logic_mode"`
Cache SoraCacheConfig `mapstructure:"cache"`
WatermarkFree SoraWatermarkFreeConfig `mapstructure:"watermark_free"`
TokenRefresh SoraTokenRefreshConfig `mapstructure:"token_refresh"`
}
type SoraCacheConfig struct {
Enabled bool `mapstructure:"enabled"`
BaseDir string `mapstructure:"base_dir"`
VideoDir string `mapstructure:"video_dir"`
MaxBytes int64 `mapstructure:"max_bytes"`
AllowedHosts []string `mapstructure:"allowed_hosts"`
UserDirEnabled bool `mapstructure:"user_dir_enabled"`
}
type SoraWatermarkFreeConfig struct {
Enabled bool `mapstructure:"enabled"`
ParseMethod string `mapstructure:"parse_method"`
CustomParseURL string `mapstructure:"custom_parse_url"`
CustomParseToken string `mapstructure:"custom_parse_token"`
FallbackOnFailure bool `mapstructure:"fallback_on_failure"`
}
type SoraTokenRefreshConfig struct {
Enabled bool `mapstructure:"enabled"`
}
type GeminiOAuthConfig struct {
ClientID string `mapstructure:"client_id"`
ClientSecret string `mapstructure:"client_secret"`
@@ -862,6 +895,24 @@ func setDefaults() {
viper.SetDefault("token_refresh.max_retries", 3) // 最多重试3次
viper.SetDefault("token_refresh.retry_backoff_seconds", 2) // 重试退避基础2秒
viper.SetDefault("sora.base_url", "https://sora.chatgpt.com/backend")
viper.SetDefault("sora.timeout", 120)
viper.SetDefault("sora.max_retries", 3)
viper.SetDefault("sora.poll_interval", 2.5)
viper.SetDefault("sora.call_logic_mode", "default")
viper.SetDefault("sora.cache.enabled", false)
viper.SetDefault("sora.cache.base_dir", "tmp/sora")
viper.SetDefault("sora.cache.video_dir", "data/video")
viper.SetDefault("sora.cache.max_bytes", int64(0))
viper.SetDefault("sora.cache.allowed_hosts", []string{})
viper.SetDefault("sora.cache.user_dir_enabled", true)
viper.SetDefault("sora.watermark_free.enabled", false)
viper.SetDefault("sora.watermark_free.parse_method", "third_party")
viper.SetDefault("sora.watermark_free.custom_parse_url", "")
viper.SetDefault("sora.watermark_free.custom_parse_token", "")
viper.SetDefault("sora.watermark_free.fallback_on_failure", true)
viper.SetDefault("sora.token_refresh.enabled", false)
// Gemini OAuth - configure via environment variables or config file
// GEMINI_OAUTH_CLIENT_ID and GEMINI_OAUTH_CLIENT_SECRET
// Default: uses Gemini CLI public credentials (set via environment)