欢迎光临杨雨的个人博客站!

杨雨个人网站-杨雨个人博客-杨照佳

杨雨个人博客网站

关注互联网和搜索引擎的个人博客网站

首页 > WEB开发 > Python教程 >

python爬虫怎么实现翻页

发布时间:2019-06-28  编辑:杨雨个人博客网站   点击:   

python爬虫怎么实现翻页

很多初学python爬虫的小伙伴们都会遇到python爬虫翻页的问题,我在这里先介绍一种。

需要爬取的网站如图所示

1.jpg

查询的这种植物有四页。当我们平时翻页时,首先想到肯定是点击页面上的下一页,写爬虫也是如此,想提取页面上的链接进行访问。但是这样做很麻烦,并且效率很低。

翻页的方式一般有两种:

1、观察网站翻页时链接变化

2、如果写爬虫的请求方式是post方式请求,则需要观察post的数据的变化是否有规律

今天讲得是第一种方法

如图,当我点击下一页时,观察到地址栏的链接变化

1.jpg

在链接中我们可以惊喜的发现,有page关键字,而且恰好为2,我们试验一下,将链接中page的值改为3,发现正常访问,正好是第三页。因此,我们找到了翻页方式,更改链接中关键字的值。

因此翻页过程步骤为:

1、获取总网页数目

2、利用for循环改变page的值,进行翻页。

具体翻页代码实现如下:

获取总页码

1.jpg

网络请求方式

1.jpg

改变请求头中的page数值

1.jpg

更多Python相关技术文章,请访问Python教程栏目进行学习! 本文地址:http://itbyc.com/Python/22191.html
转载请注明出处。

分享是一种快乐,也是一种美德:
博客首页 | WEB开发 | 网站运营 | CMS使用教程 滇ICP备14002061号-1