145 lines
6.5 KiB
Markdown
145 lines
6.5 KiB
Markdown
|
# YRTV 项目说明 till 1.0.2hotfix
|
|||
|
|
|
|||
|
|
## 项目概览
|
|||
|
|
YRTV 是一个基于 CS2 比赛数据的综合分析与战队管理平台。它集成了数据采集、ETL 清洗建模、特征挖掘以及现代化的 Web 交互界面。
|
|||
|
|
核心目标是为战队提供数据驱动的决策支持，包括战术分析、队员表现评估、阵容管理（Clubhouse）以及实时战术板功能。
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
您可以使用以下命令快速配置环境：
|
|||
|
|
pip install -r requirements.txt
|
|||
|
|
|
|||
|
|
数据来源与处理核心包括：
|
|||
|
|
- 比赛页面的 iframe JSON 数据（`iframe_network.json`）
|
|||
|
|
- 可选的 demo 文件（`.zip/.dem`）
|
|||
|
|
- L1A/L2/L3 分层数据库建模与校验
|
|||
|
|
|
|||
|
|
## Web 交互系统 (New in v0.5.0)
|
|||
|
|
基于 Flask + TailwindCSS + Alpine.js 构建的现代化 Web 应用。
|
|||
|
|
|
|||
|
|
### 核心功能模块
|
|||
|
|
1. **Clubhouse (战队管理)**
|
|||
|
|
- **Roster Management**: 拖拽式管理当前激活阵容 (Active Roster)。
|
|||
|
|
- **Scout System**: 全库模糊搜索玩家，支持按 Rating/Matches/KD 排序筛选。
|
|||
|
|
- **Contract System**: 模拟签约/解约流程 (Sign/Release)，管理战队资产。
|
|||
|
|
- **Identity**: 统一的头像与 ID 显示逻辑 (SteamID/Name)，支持自动生成首字母头像。
|
|||
|
|
|
|||
|
|
2. **Tactics Board (战术终端)**
|
|||
|
|
- **SPA 架构**: 基于 Alpine.js 的单页应用，无刷新切换四大功能区。
|
|||
|
|
- **Board (战术板)**: 集成 Leaflet.js 的交互式地图，支持战术点位标记。
|
|||
|
|
- **Data (数据中心)**: 实时查看全队近期数据表现。
|
|||
|
|
- **Analysis (深度分析)**:
|
|||
|
|
- **Chemistry**: 任意组合 (2-5人) 的共同比赛胜率与数据分析。
|
|||
|
|
- **Depth**: 阵容深度与位置分析。
|
|||
|
|
- **Economy (经济计算)**: 简单的经济局/长枪局计算器。
|
|||
|
|
|
|||
|
|
3. **Match Center (比赛中心)**
|
|||
|
|
- **List View**:
|
|||
|
|
- 显示比赛平均 ELO。
|
|||
|
|
- **Party Identification**: 自动识别组排车队 (👥 2-5)，并用颜色区分规模 (Indigo/Blue/Purple/Orange)。
|
|||
|
|
- **Result Tracking**: 基于 "Our Team" (Active Roster) 的胜负判定 (VICTORY/DEFEAT/CIVIL WAR)。
|
|||
|
|
- **Detail View**:
|
|||
|
|
- 按 Rating 降序排列双方队员。
|
|||
|
|
- 高亮显示组排关系。
|
|||
|
|
- 集成 Round-by-Round 经济与事件详情。
|
|||
|
|
|
|||
|
|
4. **Player Profile (玩家档案)**
|
|||
|
|
- 综合能力雷达图 (六维数据)。
|
|||
|
|
- 近期 Rating/KD/ADR 趋势折线图。
|
|||
|
|
- 详细的历史比赛记录（含 Party info 与 Result）。
|
|||
|
|
- 头像上传与管理。
|
|||
|
|
|
|||
|
|
## 自动化与运维
|
|||
|
|
新增 `ETL/refresh.py` 自动化脚本，用于一键执行全量数据刷新：
|
|||
|
|
- 自动清理旧数据库。
|
|||
|
|
- 顺序执行 L1A -> L2 -> L3 构建。
|
|||
|
|
- 自动处理 schema 迁移。
|
|||
|
|
|
|||
|
|
## 数据流程
|
|||
|
|
1. **下载与落盘**
|
|||
|
|
通过 `downloader/downloader.py` 抓取比赛页面数据，生成 `output_arena/<match_id>/iframe_network.json`，并可同时下载 demo 文件。
|
|||
|
|
2. **L1A 入库（原始 JSON）**
|
|||
|
|
`ETL/L1A.py` 将 `output_arena/*/iframe_network.json` 批量写入 `database/L1A/L1A.sqlite`。
|
|||
|
|
3. **L2 入库（结构化事实表/维度表）**
|
|||
|
|
`ETL/L2_Builder.py` 读取 L1A 数据，按 `database/L2/schema.sql` 构建维度表与事实表，生成 `database/L2/L2_Main.sqlite`。
|
|||
|
|
4. **L3 入库（特征集市）**
|
|||
|
|
`ETL/L3_Builder.py` 读取 L2 数据，计算 Basic 及 6 大挖掘能力维度特征，生成 `database/L3/L3_Features.sqlite`。
|
|||
|
|
5. **质量校验与覆盖分析**
|
|||
|
|
`ETL/verify/verify_L2.py` 与 `ETL/verify/verify_deep.py` 用于 L2 字段覆盖与逻辑检查。
|
|||
|
|
|
|||
|
|
## 目录结构
|
|||
|
|
```
|
|||
|
|
yrtv/
|
|||
|
|
├── downloader/ # 下载器（抓取 iframe JSON 与 demo）
|
|||
|
|
├── ETL/ # ETL 脚本
|
|||
|
|
│ ├── L1A.py
|
|||
|
|
│ ├── L2_Builder.py
|
|||
|
|
│ ├── L3_Builder.py
|
|||
|
|
│ ├── refresh.py # [NEW] 一键刷新脚本
|
|||
|
|
│ └── verify/
|
|||
|
|
├── database/ # SQLite 数据库存储
|
|||
|
|
│ ├── L1A/
|
|||
|
|
│ ├── L2/
|
|||
|
|
│ ├── L3/
|
|||
|
|
│ └── original_json_schema/
|
|||
|
|
├── web/ # [NEW] Web 应用程序
|
|||
|
|
│ ├── app.py # 应用入口
|
|||
|
|
│ ├── routes/ # 路由 (matches, players, teams, tactics)
|
|||
|
|
│ ├── services/ # 业务逻辑 (stats, web)
|
|||
|
|
│ ├── templates/ # Jinja2 模板 (TailwindCSS + Alpine.js)
|
|||
|
|
│ └── static/ # 静态资源 (CSS, JS, Uploads)
|
|||
|
|
└── utils/
|
|||
|
|
└── json_extractor/ # JSON Schema 抽取工具
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
## 环境要求
|
|||
|
|
- Python 3.11.4+
|
|||
|
|
- Flask, Jinja2
|
|||
|
|
- Playwright（下载器依赖）
|
|||
|
|
- pandas, numpy（数据处理依赖）
|
|||
|
|
|
|||
|
|
## 数据库层级说明
|
|||
|
|
### L1A
|
|||
|
|
- **用途**：保存原始 iframe JSON
|
|||
|
|
- **输入**：`output_arena/*/iframe_network.json`
|
|||
|
|
- **输出**：`database/L1A/L1A.sqlite`
|
|||
|
|
- **脚本**：`ETL/L1A.py`
|
|||
|
|
|
|||
|
|
### L1B
|
|||
|
|
- **用途**：保存 demo 解析后的原始数据（由 demoparser2 产出）
|
|||
|
|
- **输出**：`database/L1B/L1B.sqlite`
|
|||
|
|
- 当前仓库提供目录与说明，解析流程需结合外部工具执行
|
|||
|
|
|
|||
|
|
### L2
|
|||
|
|
结构化事实表/维度表数据库，覆盖比赛、玩家、回合与经济等数据：
|
|||
|
|
- **Schema**：`database/L2/schema.sql`
|
|||
|
|
- **输出**：`database/L2/L2_Main.sqlite`
|
|||
|
|
- **核心表**：
|
|||
|
|
- `dim_players`、`dim_maps`
|
|||
|
|
- `fact_matches`、`fact_match_teams`
|
|||
|
|
- `fact_match_players`、`fact_match_players_t`、`fact_match_players_ct`
|
|||
|
|
- `fact_rounds`、`fact_round_events`、`fact_round_player_economy`
|
|||
|
|
|
|||
|
|
### L3
|
|||
|
|
玩家特征集市 (Player Features Data Mart)，聚合 Basic 及 6 大挖掘能力维度 (STA, BAT, HPS, PTL, T/CT, UTIL)。
|
|||
|
|
- **Schema**：`database/L3/schema.sql`
|
|||
|
|
- **输出**：`database/L3/L3_Features.sqlite`
|
|||
|
|
- **脚本**：`ETL/L3_Builder.py`
|
|||
|
|
- **核心表**：`dm_player_features` (玩家聚合画像)
|
|||
|
|
|
|||
|
|
## JSON Schema 抽取工具
|
|||
|
|
用于分析大量 `iframe_network.json` 的字段结构与覆盖情况，支持动态 Key 归并与多格式输出。
|
|||
|
|
|
|||
|
|
输出内容通常位于 `output_reports/` 或 `database/original_json_schema/`，包括：
|
|||
|
|
- `schema_summary.md`：结构概览
|
|||
|
|
- `schema_flat.csv`：扁平字段列表
|
|||
|
|
- `uncovered_features.csv`：未覆盖字段清单
|
|||
|
|
|
|||
|
|
## 数据源互斥说明
|
|||
|
|
L2 中 `fact_matches.data_source_type` 用于区分数据来源与字段覆盖范围：
|
|||
|
|
- `classic`：含 round_list 详细回合与坐标信息
|
|||
|
|
- `leetify`：含 leetify 评分与经济信息
|
|||
|
|
- `unknown`：无法识别来源
|
|||
|
|
|
|||
|
|
入库逻辑保持互斥：同一场比赛只会按其来源覆盖相应字段，避免重复或冲突。
|