是不是目前的爬取速度有点太慢了? -单片代替大脑,堆叠代替思考。再快一来就加载不出来,二来就风控了。

主进程

• 事件循环 完成
• crawler类 完成
• launcher进程 完成
• 代理 完成
• xhs_Crawler类 施工中
• 微博 等待中
• bilibili 等待中
• 知乎 等待中
• 小黑盒 等待中
• 微信公众号 等待中
• NGX 等待中
• 抖音 等待中
• 快手 等待中

代理

• 搭建香港代理 完成
• 使用代理 完成
• 国内代理 ???
• 代理池 ???

xhs_Crawler类

• 进入网页 完成
• 搜索 完成
• 浏览 完成
• 打开帖子 完成
• 获取一级评论 施工中
• 获取二级评论 施工中
• 获取折叠评论 施工中

命令行

• 长草中

qqbot命令行

• 移植命令行 完成
• 浏览截图 施工中

激进方案:设备农场

感觉其实目前多浏览器模拟也还行?毕竟浏览器只吃内存(手上还有),手机主板吃钱包

• 等待硬件中
• 毫无头绪 构思中

让我去学化学吧,这样我能离计算机远一点,免得天天焦虑博客焦虑项目。当个业余多好,还能被称赞两下。而且化学专业壁垒多高呀。