Qyir/rank_backend
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
38 Commits 3 Branches 0 Tags
Commit Graph

38 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
xbh
54c9f95e29 前端页面调整 2025-10-30 12:03:54 +08:00
xbh
560581c7ee Merge commit 'c2bd4d3b2c890787bce353344028c1e270c2c671' 2025-10-30 10:19:31 +08:00
xbh
15f593f082 figma 2025-10-30 10:19:09 +08:00
qiaoyirui0819
c2bd4d3b2c 把内部数据使用print输出给终端 2025-10-29 22:29:17 +08:00
Qyir
b26852b95f 优化增强了获取评论内容机制， 
现在抓取评论内容的方法是网络日志拦截抖音API的方法，
这个获取的评论内容是随机的，但是里面添加了去重的机制，
针对于过少的评论和无评论做了优化，
添加监控超时限制，爬取评论内容一条视频监控超时时间为5小时（因为有的视频评论数量太大）
 2025-10-29 18:49:19 +08:00
Qyir
64455034bb 修改了Chrome配置文件清理功能 
每次运行的时候都会查看配置文件中文件的大小，超过50MB自动清理
暴露最重要的用户登录信息。
 2025-10-29 16:24:12 +08:00
Qyir
149ea00f1e 优化了实时保存的功能 2025-10-28 17:46:45 +08:00
Qyir
9295e77cf1 主代码可以实时更新 
定时器由于要进行播放量插值计算，所以要有固定的时间戳，还是统一保存。
 2025-10-27 18:55:54 +08:00
Qyir
e8baaa4ce9 优化定时器功能 2025-10-27 13:38:16 +08:00
Qyir
97c5fbe4df 解决合并冲突 - 接受远程版本 2025-10-27 09:55:45 +08:00
Qyir
5b601356d4 添加episode_video_ids文件 2025-10-27 09:54:20 +08:00
xbh
74494013f9 Merge commit 'bba47d2fe95f318d35a986a17aff2bdbc97ed5e5' 2025-10-26 22:42:27 +08:00
xbh
278f007b5e 排行榜前端 2025-10-26 22:41:53 +08:00
qiaoyirui0819
bba47d2fe9 修正错误代码 2025-10-25 19:41:24 +08:00
qiaoyirui0819
43ec2c397e Merge branch 'main' of http://git.xintiao100.com/Qyir/rank_backend 2025-10-25 19:28:01 +08:00
qiaoyirui0819
3591f5bdc2 获取评论内容 2025-10-25 19:27:07 +08:00
Qyir
2a32b2a8c0 1.添加判断代码，启动定时器时不调用主代码的某几个函数，确保定时器正常计算播放量差值 
2.新增功能：获取点赞，收藏，转发数量+评论内容列表（不完整，正在继续优化）
3.增加数据库文件夹，当启动定时器时存储到Ranking_storage_list中，
按照Ranking_storage_list中的数据进行计算播放量差值，计算结果存入Ranking_storage中
单独运行rank_data_scraper.py的时候存入Rankings_list

原因：
Rankings_list里面存储的数据结构较多
Ranking_storage_list里面存储的主要是播放量
Rankings_list里面存入的是播放量差值
 2025-10-23 10:04:44 +08:00
Qyir
8b1149da56 添加了episode_video_ids字段，在运行rank_data_scraper.py 
或定时器代码的时候不仅保证了原来的数据库存入数据库还保存了
每一部短剧的每一集的视频ID

提示：
拉取代码在您运行脚本之后会主动创建一个episode_video_ids文件夹
里面存入的是您第一次运行脚本的每一集的视频ID（作为缓存）
判断的方法是：在运行脚本之后检查每一集的缓存数量是否与本剧的集数相同，相同则使用缓存的视频ID
不相同则重新获取

获取视频ID的时间不长
 2025-10-21 17:56:00 +08:00
Qyir
8b607f6e24 在Rankings_list数据库里面添加三个字段：合集作者，合集描述，合集总集数 2025-10-21 15:12:18 +08:00
Qyir
be44334960 解决封面图片过期情况，存入TOS中media/rank/目录中 
热播总榜选择日期之后永久显示图片。
 2025-10-20 18:47:49 +08:00
xbh
06996967ca 增加前端的代码，改编文件结构 2025-10-19 15:13:01 +08:00
xbh
c1bfa0de21 小调整 2025-10-18 22:58:19 +08:00
xbh
feb4d83b8d 改成了每小时整点执行抖音播放量抓取 2025-10-18 20:17:28 +08:00
xbh
fe6c867579 改成了每小时执行抖音播放量抓取 2025-10-18 20:09:13 +08:00
qiaoyirui0819
bd58c1dc8f 榜单列表数据库储存 2025-10-21 16:17:52 +08:00
xbh
2c0f891a89 整理了路由，添加了前缀/api/rank 2025-10-18 00:04:53 +08:00
xbh
93928b8a66 修改数据库名字 2025-10-17 22:01:33 +08:00
xbh
2af34bd0dc 整理了一下代码 2025-10-17 21:58:19 +08:00
xbh
ab8fd3131d doc文件夹往上移动一级 2025-10-17 18:50:02 +08:00
Qyir
79c991ee64 API文档接口 2025-10-17 18:23:42 +08:00
Qyir
c37c9106fa 删除了不需要的代码，修改了定时器执行时间为每晚24:00 2025-10-17 18:05:13 +08:00
Qyir
fdd79b6931 优化路径，增加手动登录时间限制 2025-10-17 16:40:31 +08:00
Qyir
f51278742c 架构优化 2025-10-17 16:09:17 +08:00
Qyir
8d4369ecef 优化修改文件 2025-10-17 11:28:39 +08:00
Qyir
aacedf14fe Update documentation and add requirements.txt 
- Update README.md with ChromeDriver setup instructions
- Add requirements.txt with project dependencies
- Clean up unused documentation files

🤖 Generated with [Claude Code](https://claude.com/claude-code)

Co-Authored-By: Claude <noreply@anthropic.com>
 2025-10-17 11:12:24 +08:00
Qyir
dbef5a98a8 Add chromedriver.exe to Git repository 
- Update .gitignore to include chromedriver.exe while excluding other driver files
- ChromeDriver is essential for Selenium automation and should be version controlled

🤖 Generated with [Claude Code](https://claude.com/claude-code)

Co-Authored-By: Claude <noreply@anthropic.com>
 2025-10-17 11:11:37 +08:00
Qyir
bdbe2cb555 Update .gitignore and add Chrome profile setup documentation 
- Exclude Chrome profile directory from Git due to large cache files
- Add CHROME_PROFILE_SETUP.md with manual setup instructions
- Chrome profile contains sensitive login data and should not be version controlled

🤖 Generated with [Claude Code](https://claude.com/claude-code)

Co-Authored-By: Claude <noreply@anthropic.com>
 2025-10-17 10:57:20 +08:00
Qyir
53160420d1 Initial commit: Douyin play count tracking system 
Features:
- Douyin play count scraper using Selenium + Chrome DevTools Protocol
- Automated scheduler for daily data collection
- MongoDB data storage
- Mini-program API server
- Data analysis and visualization tools

🤖 Generated with [Claude Code](https://claude.com/claude-code)

Co-Authored-By: Claude <noreply@anthropic.com>
 2025-10-17 10:48:52 +08:00