欢迎光临杨雨的个人博客站!

杨雨个人网站-杨雨个人博客-杨照佳

杨雨个人博客网站

关注互联网和搜索引擎的个人博客网站

首页 > WEB开发 > Python教程 >

Python爬虫获取图片并下载保存至本地

发布时间:2019-05-24  编辑:杨雨个人博客网站   点击:   

这篇文章主要介绍了关于Python爬虫获取图片并下载保存至本地,有着一定的参考价值,现在分享给大家,有需要的朋友可以参考一下

1、抓取煎蛋网上的图片。

2、代码如下:

import urllib.request
import os
#to open the url
def url_open(url):
 req=urllib.request.Request(url)
 req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.3; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0')
 response=urllib.request.urlopen(url)
 Html=response.read()
 return Html
#to get the num of page like 1,2,3,4...
def get_page(url):
 Html=url_open(url).decode('utf-8')
 a=Html.find('current-comment-page')+23 #add the 23 offset th arrive at the [2356]
 b=Html.find(']',a)
 #print(Html[a:b])
 return Html[a:b]
#find the url of imgs and return the url of arr
def find_imgs(url):
 Html=url_open(url).decode('utf-8')
 img_addrs=[]
 a=Html.find('img src=')
 while a!=-1:
  b=Html.find('.jpg',a,a+255) # if false : return -1
  if b!=-1:
   img_addrs.append('http:'+Html[a+9:b+4])
  else:
   b=a+9
  a=Html.find('img src=',b)
 #print(img_addrs)  
 return img_addrs
  #print('http:'+each)
  
#save the imgs 
def save_imgs(folder,img_addrs):
 for each in img_addrs:
  filename=each.split('/')[-1] #get the last member of arr,that is the name
  with open(filename,'wb') as f:
   img = url_open(each)
   f.write(img)
 
def download_mm(folder='mm',pages=10):
 os.mkdir(folder)
 os.chdir(folder)
 url='http://jandan.net/ooxx/'
 page_num=int(get_page(url))
 
 for i in range(pages):
  page_num -= i
  page_url = url + 'page-' + str(page_num) + '#comments'
  img_addrs=find_imgs(page_url)
  save_imgs(folder,img_addrs)
  
if __name__ == '__main__':
 download_mm()

相关推荐:

如何用Python爬虫获取那些价值博文

Python爬虫获取美剧的网站

本文地址:http://itbyc.com/Python/20753.html
转载请注明出处。

分享是一种快乐,也是一种美德:
博客首页 | WEB开发 | 网站运营 | CMS使用教程 滇ICP备14002061号-1