Qyir
53160420d1
Features: - Douyin play count scraper using Selenium + Chrome DevTools Protocol - Automated scheduler for daily data collection - MongoDB data storage - Mini-program API server - Data analysis and visualization tools 🤖 Generated with [Claude Code](https://claude.com/claude-code) Co-Authored-By: Claude <noreply@anthropic.com>
33 lines
2.3 KiB
Markdown
33 lines
2.3 KiB
Markdown
现在这是我的项目概览：
|
||
项目概览
|
||
|
||
- 目标：抓取抖音“合集”和“单个视频”的数据，用于分析。
|
||
- 技术： selenium + webdriver-manager ，少量 requests ；支持无头模式与手动登录。
|
||
- 能力：从页面源码 JSON、DOM 选择器等多源提取数据，含反爬规避与调试截图。
|
||
脚本与输出
|
||
|
||
- douyin_scraper.py ：抓取合集数据（标题、播放/点赞统计、视频列表）；输出 douyin_collection_data.json 。
|
||
- douyin_scraper_enhanced.py ：合集增强版（手动登录、页面状态分析、截图）；输出 douyin_collection_data_enhanced.json 。
|
||
- douyin_video_scraper.py ：抓取单视频互动数据（点赞/评论/分享/收藏/播放等）、基本信息与评论采样；输出 douyin_video_data.json ，保存页面截图。
|
||
运行与依赖
|
||
|
||
- 依赖： requirements.txt （ selenium 、 requests 、 webdriver-manager ）。
|
||
- 运行示例： python3 douyin_scraper.py 、交互式增强版/视频版可选择手动登录。
|
||
注意事项
|
||
|
||
- 合规与频控：遵守平台条款与法律，控制抓取频率。
|
||
- 结构变更：抖音页面结构可能更新，需调整选择器/解析逻辑。
|
||
- 环境匹配：确保本机 Chrome 与 ChromeDriver 版本兼容。
|
||
|
||
需求：
|
||
根据链接https://www.douyin.com/video/7556193043586600201
|
||
后面的7556193043586600201是可以替换的，获取到所有的短剧集数视频列表
|
||
7556193043586600201这个就是集数，每一集的这个都不一样
|
||
进行爬取短剧的点赞数，评论数，收藏数，全部评论内容
|
||
|
||
总体来说就是输入视频的链接也就是这个https://www.douyin.com/video/7556193043586600201，然后就可以自动的获取到该系列所有的视频列表，有了列表之后只需要遍历列表，对每个视频进行单独的爬取，之后就可以获取到该视频的点赞数、收藏数、评论数、评论内容了，获取的视频列表一定要保存起来
|
||
|
||
但是现在有一个简单的要求，就是可以输入一个视频的链接，然后只对这一集来进行爬取点赞数、收藏数、评论数、评论内容
|
||
|
||
流程：
|
||
输入视频链接->自动识别短剧集数列表->通过列表抓取所有集数短剧视频->获取该系列每个视频的点赞数、收藏数、评论数、评论内容->打印出来即可 |