网站相关:
1、builtwith模块,第三方模块,可以用pip直接安装。作用:返回网站所用前后端框架,后台语言,服务器 操作系统,等网站信息。
2、whois模块,第三方模块,可以pip安装。作用:返回域名的所有者,email,注册地址等等whois信息。
3、urllib、urllib2、request模块,标准库。作用:与网站服务器进行访问、回馈等交互操作。
4、urlparse模块,标准库,作用:对网址字符串进行解析、分割、组装等操作。
内容提取:
1、re模块,标准库,纯C编写,效率高。作用:用正则表达式方式提取信息。
2、beautiful模块,第三方模块,作用:提取网页标签方面作用强大而简单,比正则提取网页灵活。
3、lxml模块,第三方模块,作用与beautifulsoup一致,简洁强大,支持xpath、find和CSS选择器等方式定 位元素,c语言写的,安装麻烦,效率高。
4、json模块,作用解析json格式的内容。
系统方面:
1、os模块,标准库
2、sys模块,标准库
未分类:
1、itertools
2、datetime
3、random
4、time
5、pyaotogui(模拟键鼠,类似按键精灵)
新闻热点
疑难解答