Requests库跟urllib库的作用相似,都是根据http协议操作各种消息和页面。
都说Requests库比urllib库好用,我也没有体会到好在哪儿。
但是,urllib库有一点不爽的是:urllib.request.urlretrieve(url, localPath)函数在将某些图片链接保存到本地时,会出现错误:httpError:304 Forbidden
为什么会出现这个错误?查询网上的说法,大多认为是Header的问题,不过我试了将完整的Header添加进去仍然不行。
本案例用Requests库替换urllib库,并用open().write()方法替换掉urllib.request.urlretrieve(url, localPath)方法。
一,安装Requests库
pip3 install requests安装后进入python导入模块测试是否安装成功import requests没有出错即安装成功Requests库的使用请参阅中文官方文档:http://cn.python-requests.org/zh_CN/latest/
二,结合了Requests库和BeautifulSoup库的图片爬虫程序
''' requests,bs4'''import osimport requestsfrom bs4 import BeautifulSoupdef getHtmlCode(url): # 该方法传入url,返回url的html的源码 headers = { 'User-Agent': 'MMozilla/5.0 (Windows NT 6.1; WOW64; rv:31.0) Gecko/20100101 Firefox/31.0' } r= requests.get(url,headers=headers) r.encoding='UTF-8' page = r.text return pagedef getImg(page,localPath): # 该方法传入html的源码,经过截取其中的img标签,将图片保存到本机 if not os.path.exists(localPath): # 新建文件夹 os.mkdir(localPath) soup = BeautifulSoup(page,'html.parser') # 按照html格式解析页面 imgList = soup.find_all('img') # 返回包含所有img标签的列表 x = 0 for imgUrl in imgList: # 列表循环 PRint('正在下载:%s'%imgUrl.get('src')) ir = requests.get(imgUrl.get('src')) # open().write()方法原始且有效 open(localPath+'%d.jpg'%x, 'wb').write(ir.content) x+=1if __name__ == '__main__': url = 'http://www.zhangzishi.cc/20160712mz.html' localPath = 'e:/pythonSpiderFile/img8/' page = getHtmlCode(url) getImg(page,localPath)
新闻热点
疑难解答