python爬取各类文档方法归类汇总

HTML文档是互联网上的主要文档类型，但还存在如TXT、WORD、Excel、PDF、csv等多种类型的文档。网络爬虫不仅需要能够抓取HTML中的敏感信息，也需要有抓取其他类型文档的能力。下面简要记录一些个人已知的基于python3的抓取方法，以备查阅。

1.抓取TXT文档

在python3下，常用方法是使用urllib.request.urlopen方法直接获取。之后利用正则表达式等方式进行敏感词检索。

### Reading TXT doc ###from urllib.request import urlopenfrom urllib.error import URLError,HTTPErrorimport retry: textPage = urlopen("http://www.pythonscraping.com/pages/warandpeace/chapter1.txt")except (URLError,HTTPError) as e: print("Errors:/n") print(e)#print(textPage.read())text = str(textPage.read())#下面方法用正则匹配含1805的句子pattern = re.compile("/..*1805(/w|,|/s|-)*(/.)")#不完美，简单示例match = pattern.search(text)if match is not None: print(match.group())#下面方法不用正则。先用.将句集分片，之后就可遍历了。ss = text.split('.')key_words = "1805"words_list = [x.lower() for x in key_words.split()]for item in ss: if all([word in item.lower() and True or False for word in words_list]):  print(item)

上面的方法是已知目标网页为txt文本时的抓取。事实上，在自动抓取网页时，必须考虑目标网页是否为纯文本，用何种编码等问题。

如果只是编码问题，可以简单使用print(textPage.read(),'utf-8')等python字符处理方法来解决，如果抓取的是某个HTML，最好先分析，例如：

from urllib.request import urlopenfrom urllib.error import URLError,HTTPErrorfrom bs4 import BeautifulSouptry: html = urlopen("https://en.wikipedia.org/wiki/Python_(programming_language)")except (URLError,HTTPError) as e: print(e)try: bsObj = BeautifulSoup(html,"html.parser") content = bsObj.find("div",{"id":"mw-content-text"}).get_text()except AttributeError as e: print(e)meta = bsObj.find("meta")#print(bsObj)if meta.attrs['charset'] == 'UTF-8': content = bytes(content,"UTF-8") print("-----------------UTF-8--------------") print(content.decode("UTF-8"))if meta.attrs['charset'] == 'iso-8859-1': content = bytes(content,"iso-8859-1") print("--------------iso-8859-1------------") print(content.decode("iso-8859-1"))

2.抓取CSV文档

CSV文件是一种常见的数据存档文件，与TXT文档基本类似，但在内容组织上有一定格式，文件的首行为标题列，之后的文件中的每一行表示一个数据记录。这就像一个二维数据表或excel表格一样。 python3中包含一个csv解析库，可用于读写csv文件，但其读取目标一般要求是在本地，要读取远程网络上的csv文件需要用urllib.request.urlopen先获取。例如：

#csv远程获取，内存加载读取from urllib.request import urlopenimport csvfrom io import StringIO#在内存中读写str，如果要操作二进制数据，就需要使用BytesIOtry: data = urlopen("http://pythonscraping.com/files/MontyPythonAlbums.csv").read().decode("ascii","ignore")except (URLError,HTTPError) as e: print("Errors:/n") print(e)dataFile = StringIO(data)csvReader = csv.reader(dataFile)count = 0for row in csvReader: if count < 10:  print(row) else:  print(".../n...")  break count += 1 #将数据写入本地csv文件with open("./localtmp.csv","wt",newline='',encoding='utf-8') as localcsvfile: writer = csv.writer(localcsvfile) count = 0  try:  for row in csvReader:   if count < 10:    writer.writerow(row)   else:    break   count += 1 finally:  localcsvfile.close()