模块名称 

课程内容 

Python基础和网络程序基础 

1.      Python语言简介 

2.      Python开发环境搭建和选择 

3.      IO编程 

4.      进程和多线程基础知识 

5.      网络编程和TCP协议

Web前端基础 

1.      Web程序的结构 

2.      Web前端的内容 

3.      HTML 

4.      CSS 

5.      JavaScript 

6.      XPath 

7.      Json 

8.      HTTP协议标准 

9.      HTTP头和主体 

10.   Cookie信息 

网络爬虫基础 

1.      网络爬虫概述

2.      网络爬虫及其应用

3.      3网络爬虫结构 

4.      HTTP请求的Python实现

5.      urllib2/urllib实现

6.      httplib/urllib实现

7.      更人性化的Requests

HTML解析 

1.      初识Firebug

2.      安装和配置Firebug

3.      正则表达式

4.      基本语法与使用

5.      Python中使用正则表达式 

6.      BeautifulSoup概述 

7.      安装和配置BeautifulSoup

8.      BeautifulSoup的使用 

9.      lxml的XPath解析 

数据抽取和存储 

1.      HTML正文抽取

2.      存储为JSON

3.      存储为CSV

4.      多媒体文件抽取

5.      Email提醒

基本的爬虫程序开发 

1.      基础爬虫架构及运行流程

2.      URL管理器

3.      HTML下载器

4.      HTML解析器

5.      数据存储器

6.      爬虫调度器 

动态网站抓取 

1.      Ajax和动态HTML

2.      动态爬虫实例1：爬取影评信息

3.      PhantomJS

4.      安装PhantomJS

5.      快速入门 

6.      屏幕捕获

7.      网络监控

8.      页面自动化

9.      常用模块和方法

10.   Selenium 

11.   安装Selenium

12.   快速入门 

13.   元素选取

14.   页面操作

15.   等待

16.   动态爬虫实例2：爬取航班和酒店信息 

协议分析 

1.      Web端协议分析 

2.      网页登录POST分析

3.      隐藏表单分析

4.      加密数据分析

5.      验证码问题

6.      IP代理

7.      Cookie登录

8.      传统验证码识别

9.      人工打码

10.   滑动验证码

11.   PC客户端抓包分析

12.   HTTP Analyzer简介

13.   虾米音乐PC端API实战分析

14.   App抓包分析

15.   Wireshark简介

16.   酷我听书App端API实战分析

17.   API爬虫：爬取mp3资源信息

Scrapy爬虫框架 

1.      Scrapy爬虫架构

2.      安装Scrapy 

3.      创建cnblogs项目

4.      创建爬虫模块 

5.      定义Item 

6.      翻页功能

7.      构建Item Pipeline 

8.      内置数据存储 

9.      启动爬虫

10.   强化爬虫

11.   调试方法 

12.   异常

13.   控制运行状态

14.   Item Loader

15.   Item与Item Loader

16.   输入与输出处理器

17.   Item Loader Context  

18.   请求与响应

19.   下载器中间件

20.   Spider中间件 

21.   扩展

22.   突破反爬虫

增量式与分布式爬虫 

1.      去重方案

2.       BloomFilter算法 

3.       BloomFilter原理

4.       Python实现BloomFilter

5.      Scrapy和BloomFilter

6.      Redis基础

7.      Redis的安装和配置

8.      Redis数据类型与操作

9.      Python和Redis

10.   Python操作Redis

11.   Scrapy集成Redis

12.   MongoDB集群 

PySpider爬虫框架 

1.      PySpider与Scrapy

2.      选择器

3.      PyQuery的用法

4.       解析数据

5.      Ajax和HTTP请求

6.       Ajax爬取

7.      HTTP请求实现 

8.       PySpider和PhantomJS

9.      使用PhantomJS

10.   运行JavaScript

11.   数据存储

12.   PySpider爬虫架构