01-豆瓣电影

豆瓣电影

1. 分析

分析流程图

分析结果

  • 结果概要
分析目标
分析结果
请求方式分析
GET
请求参数分析
上图中所示请求参数
请求头分析
上图中请求头
  • 注意:
请求头一般都是先放User-Agent,如果爬取失败再补Referer,还是失败就再补Cookie,如果喜欢稳一点的,可以每次都加上
  • 请求参数分析
参数KEY
分析结果
type
movie(固定值不变)
tag
热门(固定值不变)
sort
recommend(固定值不变)
page_limit
20(固定值不变,表示每页数量)
page_start
0(每次请求发生变化,每20页进行叠加,表示数据的偏移量)

代码实现流程分析

  1. 1.
    先完成一次请求的抓取
  2. 2.
    再完成多次请求的爬取
  3. 3.
    总结:
循序渐进养成良好的习惯

具体代码

Copy link