前言：

上一篇，我们使用了python自带的urllib和re库完成了爬虫的入门案例，点击进入博客

但是，由于正则表达式难以掌握，我们用一个第三方库：BeautifulSoup，来对网页内容进行截取

正文

一，下载并安装BeautifulSoup

如果python3.x安装了pip3，就可以使用pip3命令行来安装BeautifulSoup

pip3 install beautifulsoup4如果没有安装pip3，也可以通过源码安装
下载源码包（点击下载），进入到包目录下通过命令行安装
python setup.py install
安装好后，进入python，测试是否安装成功
from bs4 import BeautifulSoup没有报错就是安装成功了。
bs4的中文文档请参见页面：http://beautifulsoup.readthedocs.io/zh_CN/latest/
二，使用
先看一下bs的基本使用方法
import urllib.requestfrom bs4 import BeautifulSoupdef getHtmlCode(url):  # 该方法传入url，返回url对应的html的源码    headers = {        'User-Agent': 'Mozilla/5.0 (linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Mobile Safari/537.36'    }    url1 = urllib.request.Request(url, headers=headers) # Request函数将url添加头部，模拟浏览器访问    page = urllib.request.urlopen(url1).read()  # 将url页面的源代码保存成字符串    page = page.decode('UTF-8')  # 字符串转码    return pageif __name__ == '__main__':    html = getHtmlCode('http://www.zhangzishi.cc/20160413hx.html')    soup = BeautifulSoup(html,"html.parser") # BeautifulSoup类解析url源码并返回一个对象    PRint(type(soup))    print(soup.prettify())   # 按照标准的缩进格式的结构输出    print(soup.p)    # 输出源码中第一个p标签    print(soup.p.name)  # 输出标签的名字p    print(soup.title.string)  # 输出标签的内容    # 获得标签属性内容的第一种方法    print(soup.a['href'])    # 获得标签属性内容的第二种方法    img = soup.img    print(img.get('src'))    # find_all找到所有的img标签，并返回一个列表    print(soup.find_all('img'))    # 结合上两步，获得所有img标签中的src属性内容    imgList = soup.find_all('img')    for i in imgList:        print(i.get('src'))        print(type(i.get('src')))  # get返回的是字符串三，结合urllib和bs4来完成爬虫程序
import urllib.requestfrom bs4 import BeautifulSoupdef getHtmlCode(url):  # 该方法传入url，返回url的html的源码    headers = {        'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Mobile Safari/537.36'    }    url1 = urllib.request.Request(url, headers=headers) # Request函数将url添加头部，模拟浏览器访问    page = urllib.request.urlopen(url1).read()  # 将url页面的源代码保存成字符串    page = page.decode('UTF-8')  # 字符串转码    return pagedef getImg(page,localPath):  # 该方法传入html的源码，经过截取其中的img标签，将图片保存到本机    soup = BeautifulSoup(page,'html.parser') # 按照html格式解析页面    imgList = soup.find_all('img')  # 返回包含所有img标签的列表    x = 0    for imgUrl in imgList:  # 列表循环        print('正在下载：%s'%imgUrl.get('src'))        # urlretrieve(url,local)方法根据图片的url将图片保存到本机        urllib.request.urlretrieve(imgUrl.get('src'),localPath+'%d.jpg'%x)        x+=1if __name__ == '__main__':    url = 'http://www.zhangzishi.cc/20160928gx.html'    localPath = 'e:/pythonSpiderFile/img3/'    page = getHtmlCode(url)    getImg(page,localPath)