01-豆瓣电影
- 结果概要
分析目标 | 分析结果 |
请求URL分析 | |
请求方式分析 | GET |
请求参数分析 | 上图中所示请求参数 |
请求头分析 | 上图中请求头 |
- 注意:
请求头一般都是先放User-Agent，如果爬取失败再补Referer，还是失败就再补Cookie，如果喜欢稳一点的，可以每次都加上
- 请求参数分析
参数KEY | 分析结果 |
type | movie（固定值不变） |
tag | 热门（固定值不变） |
sort | recommend（固定值不变） |
page_limit | 20（固定值不变，表示每页数量） |
page_start | 0（每次请求发生变化，每20页进行叠加，表示数据的偏移量） |
- 1.先完成一次请求的抓取
- 2.再完成多次请求的爬取
- 3.总结:
循序渐进养成良好的习惯
Last modified 3yr ago