Python学习笔记

Python 英文意思：大蟒蛇： 使用python可以做哪些用途？ 1、 网站的开发，利用django，flask框架搭建网站。 2、 用爬虫实现数据挖掘、批量处理，例如：微博私信机器人，美剧批量下载，运行投资策略、刷便宜机票，爬合适房源、系统管理员脚本。 3、 再包装其他语言程序。 关于Python的库： 首先是python内置的标准库，然后在此基础上，如果想要相应的扩展，可以下载并且导入第三方库 爬虫部分： 首先，我们先看下什么是爬虫呢？ 爬虫的英文翻译叫spider，即网络爬虫，可以理解为在互联网络上爬行的一只蜘蛛，当这只蜘蛛遇到资源的时候，它就会抓取下来，至于抓取什么内容，就由控制爬虫的代码来完成了。 一些爬虫的基本概念： URL：就是一种资源定位符，简单来说就是我们通常说的网址。这边需要注意的就是，互联网上的每一个文件都有唯一的一个URL，它包含的信息就是指出文件的位置以及浏览器怎么处理它。 URL的组成： 1、协议，也叫服务方式 2、存有该资源的主机ip，或者端口号 3、主机资源的具体地址，比如目录

Scrapy 框架学习： 基本介绍： Scrapy的基本组件 Spider：是一个类，它定义了怎么样爬取一个网站，包括怎么跟踪链接，怎样提取数据 Scrapy.spider的属性： Name：spider的名称 Allowed_domains()：