新增功能: - 新增 Sora 账号管理和 OAuth 认证 - 新增 Sora 视频/图片生成 API 网关 - 新增 Sora 任务调度和缓存机制 - 新增 Sora 使用统计和计费支持 - 前端增加 Sora 平台配置界面 安全修复(代码审核): - [SEC-001] 限制媒体下载响应体大小(图片 20MB、视频 200MB),防止 DoS 攻击 - [SEC-002] 限制 SDK API 响应大小(1MB),防止内存耗尽 - [SEC-003] 修复 SSRF 风险,添加 URL 验证并强制使用代理配置 BUG 修复(代码审核): - [BUG-001] 修复 for 循环内 defer 累积导致的资源泄漏 - [BUG-002] 修复图片并发槽位获取失败时已持有锁未释放的永久泄漏 性能优化(代码审核): - [PERF-001] 添加 Sentinel Token 缓存(3 分钟有效期),减少 PoW 计算开销 技术细节: - 使用 io.LimitReader 限制所有外部输入的大小 - 添加 urlvalidator 验证防止 SSRF 攻击 - 使用 sync.Map 实现线程安全的包级缓存 - 优化并发槽位管理,添加 releaseAll 模式防止泄漏 影响范围: - 后端:新增 Sora 相关数据模型、服务、网关和管理接口 - 前端:新增 Sora 平台配置、账号管理和监控界面 - 配置:新增 Sora 相关配置项和环境变量 Co-Authored-By: Claude Sonnet 4.5 <noreply@anthropic.com>
157 lines
3.2 KiB
Go
157 lines
3.2 KiB
Go
package service
|
|
|
|
import (
|
|
"context"
|
|
"log"
|
|
"os"
|
|
"strings"
|
|
"sync"
|
|
"time"
|
|
|
|
"github.com/Wei-Shaw/sub2api/internal/config"
|
|
)
|
|
|
|
const (
|
|
soraCacheCleanupInterval = time.Hour
|
|
soraCacheCleanupBatch = 200
|
|
)
|
|
|
|
// SoraCacheCleanupService 负责清理 Sora 视频缓存文件。
|
|
type SoraCacheCleanupService struct {
|
|
cacheRepo SoraCacheFileRepository
|
|
settingService *SettingService
|
|
cfg *config.Config
|
|
stopCh chan struct{}
|
|
stopOnce sync.Once
|
|
}
|
|
|
|
func NewSoraCacheCleanupService(cacheRepo SoraCacheFileRepository, settingService *SettingService, cfg *config.Config) *SoraCacheCleanupService {
|
|
return &SoraCacheCleanupService{
|
|
cacheRepo: cacheRepo,
|
|
settingService: settingService,
|
|
cfg: cfg,
|
|
stopCh: make(chan struct{}),
|
|
}
|
|
}
|
|
|
|
func (s *SoraCacheCleanupService) Start() {
|
|
if s == nil || s.cacheRepo == nil {
|
|
return
|
|
}
|
|
go s.cleanupLoop()
|
|
}
|
|
|
|
func (s *SoraCacheCleanupService) Stop() {
|
|
if s == nil {
|
|
return
|
|
}
|
|
s.stopOnce.Do(func() {
|
|
close(s.stopCh)
|
|
})
|
|
}
|
|
|
|
func (s *SoraCacheCleanupService) cleanupLoop() {
|
|
ticker := time.NewTicker(soraCacheCleanupInterval)
|
|
defer ticker.Stop()
|
|
|
|
s.cleanupOnce()
|
|
for {
|
|
select {
|
|
case <-ticker.C:
|
|
s.cleanupOnce()
|
|
case <-s.stopCh:
|
|
return
|
|
}
|
|
}
|
|
}
|
|
|
|
func (s *SoraCacheCleanupService) cleanupOnce() {
|
|
ctx, cancel := context.WithTimeout(context.Background(), 15*time.Minute)
|
|
defer cancel()
|
|
|
|
if s.cacheRepo == nil {
|
|
return
|
|
}
|
|
|
|
cfg := s.getSoraConfig(ctx)
|
|
videoDir := strings.TrimSpace(cfg.Cache.VideoDir)
|
|
if videoDir == "" {
|
|
return
|
|
}
|
|
maxBytes := cfg.Cache.MaxBytes
|
|
if maxBytes <= 0 {
|
|
return
|
|
}
|
|
|
|
size, err := dirSize(videoDir)
|
|
if err != nil {
|
|
log.Printf("[SoraCacheCleanup] 计算目录大小失败: %v", err)
|
|
return
|
|
}
|
|
if size <= maxBytes {
|
|
return
|
|
}
|
|
|
|
for size > maxBytes {
|
|
entries, err := s.cacheRepo.ListOldest(ctx, soraCacheCleanupBatch)
|
|
if err != nil {
|
|
log.Printf("[SoraCacheCleanup] 读取缓存记录失败: %v", err)
|
|
return
|
|
}
|
|
if len(entries) == 0 {
|
|
log.Printf("[SoraCacheCleanup] 无缓存记录但目录仍超限: size=%d max=%d", size, maxBytes)
|
|
return
|
|
}
|
|
|
|
ids := make([]int64, 0, len(entries))
|
|
for _, entry := range entries {
|
|
if entry == nil {
|
|
continue
|
|
}
|
|
removedSize := entry.SizeBytes
|
|
if entry.CachePath != "" {
|
|
if info, err := os.Stat(entry.CachePath); err == nil {
|
|
if removedSize <= 0 {
|
|
removedSize = info.Size()
|
|
}
|
|
}
|
|
if err := os.Remove(entry.CachePath); err != nil && !os.IsNotExist(err) {
|
|
log.Printf("[SoraCacheCleanup] 删除缓存文件失败: path=%s err=%v", entry.CachePath, err)
|
|
}
|
|
}
|
|
|
|
if entry.ID > 0 {
|
|
ids = append(ids, entry.ID)
|
|
}
|
|
if removedSize > 0 {
|
|
size -= removedSize
|
|
if size < 0 {
|
|
size = 0
|
|
}
|
|
}
|
|
}
|
|
|
|
if len(ids) > 0 {
|
|
if err := s.cacheRepo.DeleteByIDs(ctx, ids); err != nil {
|
|
log.Printf("[SoraCacheCleanup] 删除缓存记录失败: %v", err)
|
|
}
|
|
}
|
|
|
|
if size > maxBytes {
|
|
if refreshed, err := dirSize(videoDir); err == nil {
|
|
size = refreshed
|
|
}
|
|
}
|
|
}
|
|
}
|
|
|
|
func (s *SoraCacheCleanupService) getSoraConfig(ctx context.Context) config.SoraConfig {
|
|
if s.settingService != nil {
|
|
return s.settingService.GetSoraConfig(ctx)
|
|
}
|
|
if s.cfg != nil {
|
|
return s.cfg.Sora
|
|
}
|
|
return config.SoraConfig{}
|
|
}
|