python爬虫爬取某站上海租房图片

import requestsheader={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}res=requests.get('http://sh.58.com/zufang/',headers=header)try:  print(res.text);except ConnectionError:  print('访问被拒绝！！！')

#headers的一些属性：#Accept:指定客户端能够接收的内容类型，内容类型的先后次序表示客户都接收的先后次序#Accept-Lanuage:指定HTTP客户端浏览器用来展示返回信息优先选择的语言#Accept-Encoding指定客户端浏览器可以支持的web服务器返回内容压缩编码类型。表示允许服务器在将输出内容发送到客户端以前进行压缩，以节约带宽。而这里设置的就是客户端浏览器所能够支持的返回压缩格式。#Accept-Charset:HTTP客户端浏览器可以接受的字符编码集# User-Agent : 有些服务器或 Proxy 会通过该值来判断是否是浏览器发出的请求# Content-Type : 在使用 REST 接口时，服务器会检查该值，用来确定 HTTP Body 中的内容该怎样解析。# application/xml ： 在 XML RPC，如 RESTful/SOAP 调用时使用# application/json ： 在 JSON RPC 调用时使用# application/x-www-form-urlencoded ： 浏览器提交 Web 表单时使用# 在使用服务器提供的 RESTful 或 SOAP 服务时， Content-Type 设置错误会导致服务器拒绝服务

# 选择所有div标签soup.select("div")# 选择所有p标签中的第三个标签soup.select("p:nth-of-type(3)")相当于soup.select(p)[2]# 选择div标签下的所有img标签soup.select("div img")# 选择div标签下的直接a子标签soup.select("div > a")# 选择id=link1后的所有兄弟节点标签soup.select("#link1 ~ .mybro")# 选择id=link1后的下一个兄弟节点标签soup.select("#link1 + .mybro")# 选择a标签，其类属性为className的标签soup.select("a .className")# 选择a标签，其id属性为idName的标签soup.select("a #idName")# 选择a标签，其属性中存在attrName的所有标签soup.select("a[attrName]")# 选择a标签，其属性href=http://wangyanling.com的所有标签soup.select("a[href='http://wangyanling.com']")# 选择a标签，其href属性以http开头soup.select('a[href^="http"]')# 选择a标签，其href属性以lacie结尾soup.select('a[href$="lacie"]')# 选择a标签，其href属性包含.comsoup.select('a[href*=".com"]')# 从html中排除某标签，此时soup中不再有script标签[s.extract() for s in soup('script')]# 如果想排除多个呢[s.extract() for s in soup(['script','fram']

import requestsfrom bs4 import BeautifulSoupheader={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}res=requests.get('http://cd.58.com/zufang/',headers=header)soup=BeautifulSoup(res.text,'html.parser')print(soup.prettify())

import requestsimport urllib.requestimport osimport timefrom bs4 import BeautifulSoupheader={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36'}url=['http://sh.58.com/zufang/pn{}/?ClickID=2'.format(number) for number in range(6,51)]#分页抓取adminCout=6for arurl in url:  adminCout=adminCout+1  res=requests.get(arurl,headers=header)  soup=BeautifulSoup(res.text,'html.parser')  arryImg=soup.select('.img_list img')  print(arryImg)  count = 0;  for img in arryImg:    print(img['lazy_src'])    _url = img['lazy_src']    pathName = "E://2333//" + str(adminCout)+"_"+str(count) + ".jpg" # 设置路径和文件名    result = urllib.request.urlopen(_url) # 打开链接，和python2.x不同请注意了    data = result.read() # 否则开始下载到本地    with open(pathName, "wb") as code:      code.write(data)      code.close()      count = count + 1 # 计数+1      print("正在下载第：", count)    time.sleep(30)