(区域包邮)Python 3爬虫、数据清洗与可视化实战 +Python金融衍生品大数据分析:建模、模

(区域包邮)Python 3爬虫、数据清洗与可视化实战 +Python金融衍生品大数据分析:建模、模 pdf epub mobi txt 电子书 下载 2025

[德] Yves Hilpisch 著
图书标签:
  • Python爬虫
  • 数据清洗
  • 数据可视化
  • 金融大数据
  • Python
  • 金融衍生品
  • 建模
  • 实战
  • 区域包邮
  • 编程
想要找书就要到 新城书站
立刻按 ctrl+D收藏本页
你会得到大惊喜!!
店铺: 京文联发专营店
出版社: 电子工业出版社
ISBN:9787121313363
商品编码:26989503031

具体描述

9787121313363 Python金融衍生品大数据分析:建模、模拟、校准与对冲 99.00

9787121333590 Python 3爬虫、数据清洗与可视化实战   49.00

Python金融衍生品大数据分析:建模、模拟、校准与对冲

目 录

第 1 章 快速导览 1

1.1 基于市场的估价 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.2 本书的结构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.3 为什么选择 Python . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1.4 深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

第 1 部分 市场 6

第 2 章 什么是基于市场的定价 6

2.1 期权及其价值 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

2.2 普通金融工具与奇异金融工具 . . . . . . . . . . . . . . . . . . . . . . . . . . 10

2.3 影响股权衍生工具的风险 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

2.3.1 市场风险 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

2.3.2 其他风险 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

2.4 对冲 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

2.5 基于市场的定价过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

第 3 章 市场典型事实 15

3.1 简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

3.2 波动率、相关性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

3.3 基本案例:正态收益率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

3.4 指数和股票 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

3.4.1 典型事实 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

3.4.2 DAX 指数收益率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

3.5 期权市场 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

3.5.1 买卖价差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

3.5.2 隐含波动率曲面 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

3.6 短期利率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

3.7 结论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

3.8 Python 脚本 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

3.8.1 GBM 分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

3.8.2 DAX 分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

3.8.3 BSM 隐含波动率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

3.8.4 EURO STOXX 50 隐含波动率 . . . . . . . . . . . . . . . . . . . . . 38

3.8.5 EURIBOR 分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

第 2 部分 理论定价 42

第 4 章 风险中性定价 42

4.1 简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

4.2 离散时间不确定性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

4.3 离散市场模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

4.3.1 基本元素 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

4.3.2 基础定义 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

4.4 离散时间模型的主要结果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

4.5 连续时间模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53

4.6 总结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58

4.7 证明 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59

4.7.1 引理 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59

4.7.2 命题 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59

4.7.3 定理 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

第 5 章 完全市场模型 62

5.1 简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

5.2 Black-Scholes-Merton 模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

5.2.1 市场模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

5.2.2 基本 PDE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

5.2.3 欧式期权 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

5.3 BSM 模型的 Greeks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

5.4 Cox-Ross-Rubinstein 模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71

5.5 总结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74

5.6 证明及 Python 脚本 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74

5.6.1 伊藤引理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74

5.6.2 BSM 期权定价的脚本 . . . . . . . . . . . . . . . . . . . . . . . . . . 74

5.6.3 BSM 看涨期权 Greeks 脚本 . . . . . . . . . . . . . . . . . . . . . . . 78

5.6.4 CRR 期权定价脚本 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81

第 6 章 基于傅里叶的期权定价 84

6.1 概述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84

6.2 定价问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85

6.3 傅里叶变换 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85

6.4 基于傅里叶的期权定价 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87

6.4.1 Lewis(2001) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87

6.4.2 Carr-Madan(1999) . . . . . . . . . . . . . . . . . . . . . . . . . . 89

6.5 数值计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91

6.5.1 傅里叶级数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91

6.5.2 快速傅里叶变换 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94

6.6 应用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94

6.6.1 Black-Scholes-Merton(1973)模型 . . . . . . . . . . . . . . . . . . . 94

6.6.2 Merton(1976)模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . 97

6.6.3 离散市场模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97

6.7 总结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101

6.8 Python 脚本 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101

6.8.1 使用傅里叶方法的 BSM 看涨期权定价 . . . . . . . . . . . . . . . . . 101

6.8.2 傅里叶级数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106

6.8.3 单位根 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108

6.8.4 卷积 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108

6.8.5 参数模块 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109

6.8.6 卷积计算看涨期权价值 . . . . . . . . . . . . . . . . . . . . . . . . . . 110

6.8.7 卷积期权定价 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111

6.8.8 DFT 期权定价 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111

6.8.9 DFT 速度检验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112

第 7 章 利用模拟的美式期权定价 114

7.1 概述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114

7.2 金融模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114

7.3 美式期权定价 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115

7.3.1 问题形式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115

7.3.2 定价算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117

7.4 数值结果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118

7.4.1 美式看跌期权 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118

7.4.2 美式空头秃鹰式价差 . . . . . . . . . . . . . . . . . . . . . . . . . . . 122

7.5 总结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122

7.6 Python 脚本 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123

7.6.1 二项定价 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123

7.6.2 LSM 蒙特卡罗定价 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125

7.6.3 原始算法和对偶算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . 126

第 3 部分 基于市场的定价 132

第 8 章 基于市场定价的第一个例子 132

8.1 概述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132

8.2 市场模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132

8.3 定价 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133

8.4 校准 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133

8.5 模拟 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134

8.6 总结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140

8.7 Python 脚本 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140

8.7.1 数值积分定价 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140

8.7.2 FFT 定价 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142

8.7.3 根据三种到期日的期权报价校准模型 . . . . . . . . . . . . . . . . . . 145

8.7.4 根据到期时间较短的期权报价校准模型 . . . . . . . . . . . . . . . . . 147

8.7.5 MCS 定价 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150

第 9 章 一般市场模型 154

9.1 概述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154

9.2 框架 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154

9.3 框架的特征 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156

9.4 零息债券定价 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157

9.5 欧式期权定价 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158

9.5.1 PDE 方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158

9.5.2 变换方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160

9.5.3 蒙特卡罗模拟 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161

9.6 总结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162

9.7 证明和 Python 脚本 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162

9.7.1 伊藤引理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162

9.7.2 债券定价的 Python 脚本 . . . . . . . . . . . . . . . . . . . . . . . . . 163

9.7.3 欧式看涨期权定价的 Python 脚本 . . . . . . . . . . . . . . . . . . . 164

第 10 章 蒙特卡罗模拟 171

10.1 概述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171

10.2 零息债券定价 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171

10.3 欧式期权定价 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175

10.4 美式期权定价 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180

10.4.1 数值结果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182

10.4.2 高准确性与低速度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185

10.5 总结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187

10.6 Python 脚本 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188

10.6.1 一般零息债券定价 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188

10.6.2 CIR85 模拟和定价 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190

10.6.3 通过蒙特卡罗模拟对欧式期权自动定价 . . . . . . . . . . . . . . . . . 193

10.6.4 通过蒙特卡罗模拟对美式看跌期权自动定价 . . . . . . . . . . . . . . 194

第 11 章 模型校准 202

11.1 概述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202

11.2 一般考量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202

11.2.1 为什么校准 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202

11.2.2 模型的不同部分分别是什么角色 . . . . . . . . . . . . . . . . . . . . 204

11.2.3 什么是目标函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205

11.2.4 什么是市场数据 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207

11.2.5 什么是最优化算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208

11.3 短期利率部分的校准 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208

11.3.1 理论基础 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208

11.3.2 根据 Euribor 校准模型 . . . . . . . . . . . . . . . . . . . . . . . . . . 209

11.4 股权部分的校准 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212

11.4.1 傅里叶变换方法定价 . . . . . . . . . . . . . . . . . . . . . . . . . . . 212

11.4.2 根据 EURO STOXX 50 期权的报价进行校准 . . . . . . . . . . . . . 213

11.4.3 H93 模型校准 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214

11.4.4 跳跃部分校准 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214

11.4.5 BCC97 模型的完全校准 . . . . . . . . . . . . . . . . . . . . . . . . . 217

11.4.6 根据隐含波动率校准 . . . . . . . . . . . . . . . . . . . . . . . . . . . 218

11.5 总结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220

11.6 COX-INGERSOLL-ROSS 模型的 PYTHON 脚本 . . . . . . . . . . . . . . . 222

11.6.1 CIR85 模型校准 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222

11.6.2 H93 随机波动率模型校准 . . . . . . . . . . . . . . . . . . . . . . . . 225

11.6.3 隐含波动率的比较 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228

11.6.4 模型跳跃扩散部分的校准 . . . . . . . . . . . . . . . . . . . . . . . . 230

11.6.5 BCC97 完全模型的校准 . . . . . . . . . . . . . . . . . . . . . . . . . 233

11.6.6 根据隐含波动率校准 BCC97 模型 . . . . . . . . . . . . . . . . . . . 236

第 12 章 一般模型框架下的模拟与定价 240

12.1 概述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240

12.2 模拟 BCC97 模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240

12.3 股权期权定价 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242

12.3.1 欧式期权 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242

12.3.2 美式期权 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244

12.4 总结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245

12.5 Python 脚本 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245

12.5.1 模拟 BCC97 模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245

12.5.2 MCS 法对欧式看涨期权定价 . . . . . . . . . . . . . . . . . . . . . . 251

12.5.3 MCS 法对美式看涨期权定价 . . . . . . . . . . . . . . . . . . . . . . 252

第 13 章 动态对冲 256

13.1 概述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256

13.2 BSM 模型对冲研究 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257

13.3 BCC97 模型对冲研究 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262

13.4 总结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265

13.5 Python 脚本 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265

13.5.1 BSM 的 LSM Delta 对冲(单一路径) . . . . . . . . . . . . . . . . . 265

13.5.2 BSM 的 LSM Delta 对冲(多条路径) . . . . . . . . . . . . . . . . . 269

13.5.3 BCC97 中美式看跌期权的 LSM 算法 . . . . . . . . . . . . . . . . . . 271

13.5.4 BCC97 的 LSM Delta 对冲(单一路径) . . . . . . . . . . . . . . . 277

第 14 章 摘要 280

附录 A 果壳里的 Python 281

A.1 Python 基础 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281

A.1.1 安装 Python 包 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281

A.1.2 Python 第一步 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282

A.1.3 数组操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286

A.1.4 随机数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289

A.1.5 绘图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289

A.2 欧式期权定价 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291

A.2.1 Black-Scholes-Merton 方法 . . . . . . . . . . . . . . . . . . . . . . . 292

A.2.2 Cox-Ross-Rubinstein 方法 . . . . . . . . . . . . . . . . . . . . . . . . 294

A.2.3 蒙特卡罗方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299

A.3 金融选题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301

A.3.1 近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301

A.3.2 最优化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303

A.3.3 数值积分 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304

A.4 Python 进阶 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305

A.4.1 类和对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305

A.4.2 基本的输入输出 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308

A.4.3 与电子表格交互 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309

A.5 快速金融工程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311


Python 3爬虫、数据清洗与可视化实战 

第1 章 Python 基础 ..................................................................................... 1

1.1 安装Python 环境.............................................................................................................. 1

1.1.1 Python 3.6.2 安装与配置 .......................................................................................... 1

1.1.2 使用IDE 工具——PyCharm .................................................................................... 4

1.1.3 使用IDE 工具——Anaconda ................................................................................... 4

1.2 Python 操作入门 .............................................................................................................. 6

1.2.1 编写第一个Python 代码 .......................................................................................... 6

1.2.2 Python 基本操作 ....................................................................................................... 9

1.2.3 变量 .......................................................................................................................... 10

1.3 Python 数据类型 ............................................................................................................ 10

1.3.1 数字 .......................................................................................................................... 10

1.3.2 字符串 .......................................................................................................................11

1.3.3 列表 .......................................................................................................................... 13

1.3.4 元组 .......................................................................................................................... 14

1.3.5 集合 .......................................................................................................................... 15

1.3.6 字典 .......................................................................................................................... 15

1.4 Python 语句与函数 ......................................................................................................... 16

1.4.1 条件语句 .................................................................................................................. 16

1.4.2 循环语句 .................................................................................................................. 16

1.4.3 函数 .......................................................................................................................... 17

第2 章 写一个简单的爬虫 .......................................................................... 18

2.1 关于爬虫的合法性 ......................................................................................................... 18

2.2 了解网页 ......................................................................................................................... 20

2.2.1 认识网页结构 .......................................................................................................... 21

2.2.2 写一个简单的HTML ............................................................................................. 21

2.3 使用requests 库请求网站 .............................................................................................. 23

Python 3 爬虫、数据清洗与可视化实战


2.3.1 安装requests 库 ....................................................................................................... 23

2.3.2 爬虫的基本原理 ...................................................................................................... 25

2.3.3 使用GET 方式抓取数据 ........................................................................................ 26

2.3.4 使用POST 方式抓取数据 ...................................................................................... 27

2.4 使用Beautiful Soup 解析网页 ....................................................................................... 30

2.5 清洗和组织数据 ............................................................................................................. 34

2.6 爬虫攻防战 ..................................................................................................................... 35

第3 章 用API 爬取天气预报数据 ............................................................... 38

3.1 注册免费API 和阅读技术文档 ..................................................................................... 38

3.2 获取API 数据 ................................................................................................................ 40

3.3 存储数据到MongoDB ................................................................................................... 45

3.3.1 下载并安装MongoDB ............................................................................................ 45

3.3.2 在PyCharm 中安装Mongo Plugin ......................................................................... 46

3.3.3 将数据存入MongoDB ............................................................................................ 49

3.4 MongoDB 数据库查询 ................................................................................................... 52

第4 章 大型爬虫案例:抓取某电商网站的商品数据 ................................... 55

4.1 观察页面特征和解析数据 ............................................................................................. 55

4.2 工作流程分析 ................................................................................................................. 64

4.3 构建类目树 ..................................................................................................................... 65

4.4 获取产品列表 ................................................................................................................. 68

4.5 代码优化 ......................................................................................................................... 70

4.6 爬虫效率优化 ................................................................................................................. 74

4.7 容错处理 ......................................................................................................................... 77

第5 章 Scrapy 爬虫 ................................................................................... 78

5.1 Scrapy 简介 ..................................................................................................................... 78

5.2 Scrapy 安装 ..................................................................................................................... 79

5.3 案例:用Scrapy 抓取股票行情 .................................................................................... 80

第6 章 Selenium爬虫 ................................................................................ 88

6.1 Selenium 简介 ................................................................................................................. 88

6.2 案例:用Selenium 抓取电商网站数据 ........................................................................ 90


第7 章 数据库连接和查询 ........................................................................ 100

7.1 使用PyMySQL ............................................................................................................ 100

7.1.1 连接数据库 ............................................................................................................ 100

7.1.2 案例:某电商网站女装行业TOP100 销量数据 ................................................. 102

7.2 使用SQLAlchemy ........................................................................................................ 104

7.2.1 SQLAlchemy 基本介绍 ......................................................................................... 104

7.2.2 SQLAlchemy 基本语法 ......................................................................................... 105

7.3 MongoDB ...................................................................................................................... 107

7.3.1 MongoDB 基本语法 .............................................................................................. 107

7.3.2 案例:在某电商网站搜索“连衣裙”的商品数据 ............................................ 107

第8 章 NumPy ......................................................................................... 109

8.1 NumPy 简介 .................................................................................................................. 109

8.2 一维数组 ........................................................................................................................110

8.2.1 数组与列表的异同 .................................................................................................110

8.2.2 数组的创建 ............................................................................................................. 111

8.3 多维数组 ........................................................................................................................ 111

8.3.1 多维数组的高效性能 .............................................................................................112

8.3.2 多维数组的索引与切片 .........................................................................................113

8.3.3 多维数组的属性 .....................................................................................................113

8.4 数组的运算 ....................................................................................................................115

第9 章 pandas 数据清洗 .......................................................................... 117

9.1 数据读写、选择、整理和描述 ....................................................................................117

9.1.1 从CSV 中读取数据 ...............................................................................................119

9.1.2 向CSV 写入数据 .................................................................................................. 120

9.1.3 数据选择 ................................................................................................................ 120

9.1.4 数据整理 ................................................................................................................ 122

9.1.5 数据描述 ................................................................................................................ 123

9.2 数据分组、分割、合并和变形 ................................................................................... 124

9.2.1 数据分组 ................................................................................................................ 124

9.2.2 数据分割 ................................................................................................................ 127

9.2.3 数据合并 ................................................................................................................ 128

9.2.4 数据变形 ................................................................................................................ 134

9.2.5 案例:旅游数据的分析与变形 ............................................................................ 136

Python 3 爬虫、数据清洗与可视化实战


9.3 缺失值、异常值和重复值处理 ................................................................................... 140

9.3.1 缺失值处理 ............................................................................................................ 140

9.3.2 检测和过滤异常值 ................................................................................................ 144

9.3.3 移除重复数据 ........................................................................................................ 147

9.3.4 案例:旅游数据的值检查与处理 ........................................................................ 149

9.4 时序数据处理 ............................................................................................................... 152

9.4.1 日期/时间数据转换 ............................................................................................... 152

9.4.2 时序数据基础操作 ................................................................................................ 153

9.4.3 案例:天气数据分析与处理 ................................................................................ 155

9.5 数据类型转换 ............................................................................................................... 158

9.6 正则表达式 ................................................................................................................... 160

9.6.1 元字符与限定符 .................................................................................................... 161

9.6.2 案例:用正则表达式提取网页文本信息 ............................................................ 162

第10 章 综合应用实例 ............................................................................. 164

10.1 按性价比给用户推荐旅游产品 ................................................................................. 164

10.1.1 数据采集 .............................................................................................................. 165

10.1.2 数据清洗、建模 .................................................................................................. 169

10.2 通过热力图分析为用户提供出行建议 ..................................................................... 172

10.2.1 某旅游网站热门景点爬虫代码(qunaer_sights.py) ....................................... 175

10.2.2 提取CSV 文件中经纬度和销量信息 ................................................................ 178

10.2.3 创建景点门票销量热力地图HTML 文件 ......................................................... 179

第11 章 数据可视化 ................................................................................. 182

11.1 matplotlib .................................................................................................................... 183

11.1.1 画出各省份平均价格、各省份平均成交量柱状图 .......................................... 183

11.1.2 画出各省份平均成交量折线图、柱状图、箱形图和饼图 .............................. 184

11.1.3 画出价格与成交量的散点图 .............................................................................. 185

11.2 pyecharts ...................................................................................................................... 186

11.2.1 Echarts 简介 ......................................................................................................... 186

11.2.2 pyecharts 简介 ..................................................................................................... 187

11.2.3 初识pyecharts,玫瑰相送 .................................................................................. 187

11.2.4 pyecharts 基本语法 .............................................................................................. 188

11.2.5 基于商业分析的pyecharts 图表绘制 ................................................................. 190

11.2.6 使用pyecharts 绘制其他图表 ............................................................................. 199

11.2.7 pyecharts 和Jupyter ............................................................................................. 203


用户评价

评分

评分

评分

评分

评分

评分

评分

评分

评分

相关图书

本站所有内容均为互联网搜索引擎提供的公开搜索信息,本站不存储任何数据与内容,任何内容与数据均与本站无关,如有需要请联系相关搜索引擎包括但不限于百度google,bing,sogou

© 2025 book.cndgn.com All Rights Reserved. 新城书站 版权所有