模块名称 

课程内容 

Python基础和数据科学基础 

1.      Python语言和开发环境简介 

2.      数据科学概述 

3.      数据分析流程和步骤 

4.      数据获取路径 

5.      法律法规

6.      Python语言和数据科学

7.      理解基本的字符串函数

8.      选择合适的数据结构

9.      通过列表推导式理解列表

10.   使用计数器，使用文件和网络

11.   使用正则表达式实现模式匹配 

12.   globbing文件名与其他字符串

13.   Pickling和Unpickling数据

14.   文本数据的处理

15.   数据库数据的处理

16.   通用函数和各类聚合函数

Python数据分析基础 

1.      搭建Python开发平台 

2.      所要考虑的问题 

3.      基础平台的搭建 

4.      Python使用入门 

5.      运行方式 

6.      基本命令 

7.      数据结构 

8.      库的导入与添加 

9.      Python数据分析工具 

10.    Numpy 

11.    Scipy 

12.    Matplotlib 

13.    Pandas 

14.    StatsModels 

15.    Scikit-Learn 

16.    Keras 

17.    Gensim 

数据探索 

1.      数据质量分析 

2.      缺失值分析 

3.      异常值分析 

4.      一致性分析 

5.      数据特征分析 

6.      分布分析 

7.      对比分析 

8.      统计量分析 

9.      周期性分析 

10.   贡献度分析 

11.   相关性分析 

12.   Python主要数据探索函数 

13.   基本统计特征函数 

14.   拓展统计特征函数 

15.   统计作图函数 

数据预处理 

1.      数据清洗60 

2.      缺失值处理60 

3.      异常值处理64 

4.      数据集成64 

5.      实体识别64 

6.      冗余属性识别65 

7.      数据变换65 

8.      简单函数变换65 

9.      规范化66 

10.   连续属性离散化68 

11.   属性构造70 

12.   小波变换71 

13.   数据规约74 

14.   属性规约74 

15.   数值规约77 

16.   Python主要数据预处理函数80 

数据挖掘建模 

1.      分类与预测83 

2.      实现过程83 

3.      常用的分类与预测算法84 

4.      回归分析85 

5.      决策树89 

6.      人工神经网络95 

7.      5.1.6 分类与预测算法评价100 

8.      5.1.7 Python分类预测模型特点103 

9.      5.2 聚类分析104 

10.   5.2.1 常用聚类分析算法104 

11.   5.2.2 K-Means聚类算法105 

12.   5.2.3 聚类分析算法评价111 

13.   5.2.4 Python主要聚类分析算法111 

14.   5.3 关联规则113 

15.   5.3.1 常用关联规则算法114 

16.   5.3.2 Apriori算法114 

17.   5.4 时序模式119 

18.   5.4.1 时间序列算法120 

19.   5.4.2 时间序列的预处理120 

20.   5.4.3 平稳时间序列分析122 

21.   5.4.4 非平稳时间序列分析124 

22.   5.4.5 Python主要时序模式算法132 

23.   5.5 离群点检测134 

24.   5.5.1 离群点检测方法135 

25.   5.5.2 基于模型的离群点检测方法136 

26.   5.5.3 基于聚类的离群点检测方法138 

数据挖掘实战项目一—客户价值分析 

1.      背景与挖掘目标164 

2.      7.2 分析方法与过程166 

3.      7.2.1 数据抽取168 

4.      7.2.2 数据探索分析168 

5.      7.2.3 数据预处理169 

6.      7.2.4 模型构建173 

数据挖掘实战项目二--电子商务网站用户行为分析及服务推荐 

1.      背景与挖掘目标238 

2.      12.2 分析方法与过程240 

3.      12.2.1 数据抽取242 

4.      12.2.2 数据探索分析244 

5.      12.2.3 数据预处理251 

6.      12.2.4 模型构建256 

协议分析 

1.      Web端协议分析 

2.      网页登录POST分析

3.      隐藏表单分析

4.      加密数据分析

5.      验证码问题

6.      IP代理

7.      Cookie登录

8.      传统验证码识别

9.      人工打码

10.   滑动验证码

11.   PC客户端抓包分析

12.   HTTP Analyzer简介

13.   虾米音乐PC端API实战分析

14.   App抓包分析

15.   Wireshark简介

16.   酷我听书App端API实战分析

17.   API爬虫：爬取mp3资源信息

Scrapy爬虫框架 

1.      Scrapy爬虫架构

2.      安装Scrapy 

3.      创建cnblogs项目

4.      创建爬虫模块 

5.      定义Item 

6.      翻页功能

7.      构建Item Pipeline 

8.      内置数据存储 

9.      启动爬虫

10.   强化爬虫

11.   调试方法 

12.   异常

13.   控制运行状态

14.   Item Loader

15.   Item与Item Loader

16.   输入与输出处理器

17.   Item Loader Context  

18.   请求与响应

19.   下载器中间件

20.   Spider中间件 

21.   扩展

22.   突破反爬虫

增量式与分布式爬虫 

1.      去重方案

2.       BloomFilter算法 

3.       BloomFilter原理

4.       Python实现BloomFilter

5.      Scrapy和BloomFilter

6.      Redis基础

7.      Redis的安装和配置

8.      Redis数据类型与操作

9.      Python和Redis

10.   Python操作Redis

11.   Scrapy集成Redis

12.   MongoDB集群 

PySpider爬虫框架 

1.      PySpider与Scrapy

2.      选择器

3.      PyQuery的用法

4.       解析数据

5.      Ajax和HTTP请求

6.       Ajax爬取

7.      HTTP请求实现 

8.       PySpider和PhantomJS

9.      使用PhantomJS

10.   运行JavaScript

11.   数据存储

12.   PySpider爬虫架构