Python requests模块基础使用方法实例及高级应用(自动登陆,抓取网

1、Python requests模块说明

requests是使用Apache2 licensed 许可证的HTTP库。

用python编写。

比urllib2模块更简洁。

Request支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动响应内容的编码，支持国际化的URL和POST数据自动编码。

在python内置模块的基础上进行了高度的封装，从而使得python进行网络请求时，变得人性化，使用Requests可以轻而易举的完成浏览器可有的任何操作。

现代，国际化，友好。

requests会自动实现持久连接keep-alive

2、Python requests模块基础入门

1）导入模块

import requests

2）发送请求的简洁

示例代码：获取一个网页（个人github）

import requestsr = requests.get('https://github.com/Ranxf')    # 最基本的不带参数的get请求r1 = requests.get(url='http://dict.baidu.com/s', params={'wd': 'python'})   # 带参数的get请求

我们还可以使用requests模块其它请求方法

1   requests.get(‘https://github.com/timeline.json')                                # GET请求

2   requests.post(“http://httpbin.org/post”)                                        # POST请求

3   requests.put(“http://httpbin.org/put”)                                          # PUT请求

4   requests.delete(“http://httpbin.org/delete”)                                    # DELETE请求

5   requests.head(“http://httpbin.org/get”)                                         # HEAD请求

6   requests.options(“http://httpbin.org/get” )                                     # OPTIONS请求

3）为url传递参数

>>> url_params = {'key':'value'}    #  字典传递参数，如果值为None的键不会被添加到url中>>> r = requests.get('your url',params = url_params)>>> print(r.url)　　your url?key=value

4）响应的内容

r.encoding                       #获取当前的编码

r.encoding = 'utf-8'             #设置编码

r.text                           #以encoding解析返回内容。字符串方式的响应体，会自动根据响应头部的字符编码进行解码。