86 lines
2.2 KiB
Markdown
86 lines
2.2 KiB
Markdown
|
# Downloader 使用说明
|
|||
|
|
|
|||
|
|
## 作用
|
|||
|
|
用于从 5E Arena 比赛页面抓取 iframe 内的 JSON 结果，并按需下载 demo 文件到本地目录。
|
|||
|
|
|
|||
|
|
## 运行环境
|
|||
|
|
- Python 3.9+
|
|||
|
|
- Playwright
|
|||
|
|
|
|||
|
|
安装依赖：
|
|||
|
|
|
|||
|
|
```bash
|
|||
|
|
python -m pip install playwright
|
|||
|
|
python -m playwright install
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
## 快速开始
|
|||
|
|
|
|||
|
|
单场下载（默认 URL）：
|
|||
|
|
|
|||
|
|
```bash
|
|||
|
|
python downloader.py
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
指定比赛 URL：
|
|||
|
|
|
|||
|
|
```bash
|
|||
|
|
python downloader.py --url https://arena.5eplay.com/data/match/g161-20260118222715609322516
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
批量下载（从文件读取 URL）：
|
|||
|
|
|
|||
|
|
```bash
|
|||
|
|
python downloader/downloader.py --url-list downloader/match_list_temp.txt --concurrency 4 --headless true --fetch-type iframe
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
指定输出目录：
|
|||
|
|
|
|||
|
|
```bash
|
|||
|
|
python downloader.py --out output_arena
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
只抓 iframe 数据或只下载 demo：
|
|||
|
|
|
|||
|
|
```bash
|
|||
|
|
python downloader.py --fetch-type iframe
|
|||
|
|
python downloader.py --fetch-type demo
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
## 主要参数
|
|||
|
|
- --url：单场比赛 URL，未传时使用默认值
|
|||
|
|
- --url-list：包含多个比赛 URL 的文本文件，一行一个 URL
|
|||
|
|
- --out：输出目录，默认 output_arena
|
|||
|
|
- --match-name：输出目录前缀名，默认从 URL 提取
|
|||
|
|
- --headless：是否无头模式，true/false，默认 false
|
|||
|
|
- --timeout-ms：页面加载超时毫秒，默认 30000
|
|||
|
|
- --capture-ms：主页面 JSON 监听时长毫秒，默认 5000
|
|||
|
|
- --iframe-capture-ms：iframe 页面 JSON 监听时长毫秒，默认 8000
|
|||
|
|
- --concurrency：并发数量，默认 3
|
|||
|
|
- --goto-retries：页面打开重试次数，默认 1
|
|||
|
|
- --fetch-type：抓取类型，iframe/demo/both，默认 both
|
|||
|
|
|
|||
|
|
## 输出结构
|
|||
|
|
下载目录会以比赛编号或自定义名称创建子目录：
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
output_arena/
|
|||
|
|
g161-20260118222715609322516/
|
|||
|
|
iframe_network.json
|
|||
|
|
g161-20260118222715609322516_de_ancient.zip
|
|||
|
|
g161-20260118222715609322516_de_ancient.dem
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
## URL 列表格式
|
|||
|
|
文本文件一行一个 URL，空行和以 # 开头的行会被忽略：
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
https://arena.5eplay.com/data/match/g161-20260118222715609322516
|
|||
|
|
# 注释
|
|||
|
|
https://arena.5eplay.com/data/match/g161-20260118212021710292006
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
## 常见问题
|
|||
|
|
- 如果提示 Playwright 未安装，请先执行安装命令再运行脚本
|
|||
|
|
- 如果下载目录已有文件，会跳过重复下载
|