首页 > 编程 > Python > 正文

python学习(6):python爬虫之requests和BeautifulSoup的使用

2019-11-06 07:29:26
字体:
来源:转载
供稿:网友

前言:

Requests库跟urllib库的作用相似,都是根据http协议操作各种消息和页面。

都说Requests库比urllib库好用,我也没有体会到好在哪儿。

但是,urllib库有一点不爽的是:urllib.request.urlretrieve(url, localPath)函数在将某些图片链接保存到本地时,会出现错误:httpError:304 Forbidden

为什么会出现这个错误?查询网上的说法,大多认为是Header的问题,不过我试了将完整的Header添加进去仍然不行。

本案例用Requests库替换urllib库,并用open().write()方法替换掉urllib.request.urlretrieve(url, localPath)方法。

正文:

一,安装Requests库

pip3 install requests安装后进入python导入模块测试是否安装成功

import requests没有出错即安装成功

Requests库的使用请参阅中文官方文档:http://cn.python-requests.org/zh_CN/latest/

二,结合了Requests库和BeautifulSoup库的图片爬虫程序

'''    requests,bs4'''import osimport requestsfrom bs4 import BeautifulSoupdef getHtmlCode(url):  # 该方法传入url,返回url的html的源码    headers = {        'User-Agent': 'MMozilla/5.0 (Windows NT 6.1; WOW64; rv:31.0) Gecko/20100101 Firefox/31.0'    }    r= requests.get(url,headers=headers)    r.encoding='UTF-8'    page = r.text    return pagedef getImg(page,localPath):  # 该方法传入html的源码,经过截取其中的img标签,将图片保存到本机    if not os.path.exists(localPath): # 新建文件夹        os.mkdir(localPath)    soup = BeautifulSoup(page,'html.parser') # 按照html格式解析页面    imgList = soup.find_all('img')  # 返回包含所有img标签的列表    x = 0    for imgUrl in imgList:  # 列表循环        PRint('正在下载:%s'%imgUrl.get('src'))        ir = requests.get(imgUrl.get('src'))        # open().write()方法原始且有效        open(localPath+'%d.jpg'%x, 'wb').write(ir.content)        x+=1if __name__ == '__main__':    url = 'http://www.zhangzishi.cc/20160712mz.html'    localPath = 'e:/pythonSpiderFile/img8/'    page = getHtmlCode(url)    getImg(page,localPath)


发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表