urllib和BeautifulSoup爬取维基百科的词条简单实例

#引入开发包from urllib.request import urlopenfrom bs4 import BeautifulSoupimport re#请求URL并把结果用UTF-8编码resp=urlopen("https://zh.wikipedia.org/wiki/Wikipedia:%E9%A6%96%E9%A1%B5").read().decode("utf-8")#使用BeautifulSoup去解析soup=BeautifulSoup(resp,"html.parser")#print(soup)#获取所有以/wiki/开头的a标签的href属性listUrl=soup.findAll("a",href=re.compile("^/wiki/"))#输出所有词条对应的名称和URLfor link in listUrl:  if not re.search("/.(jpg|JPG)$",link["href"]):    print(link.get_text(),"<----->","https://zh.wikipedia.org"+link["href"])