数据科学概论/数据科学与大数据技术丛书 pdf epub mobi txt 电子书 下载 2025

简体网页||繁体网页

☆☆☆☆☆

覃雄派 著

图书标签:

• 数据科学
• 大数据
• 机器学习
• Python
• R语言
• 统计学
• 数据分析
• 数据挖掘
• 人工智能
• 商业分析

出版社： 中国人民大学出版社

ISBN：9787300252926

版次：1

商品编码：12318863

包装：平装

丛书名： 数据科学与大数据技术丛书

开本：16开

出版时间：2018-01-01

用纸：胶版纸

页数：576

内容简介

　　数据科学是一门正在兴起的学科，国内外各个大学开始开设数据科学课程或类似课程，并且编写配套教材。我们的教材在内容上按照四大模块进行组织，分别是数据科学基础、数据以及数据上的计算(分析)、数据处理基础设施/平台和工具、以及大数据的案例和实践。我们认为这样的组织，使得内容体系相对完整。

作者简介

　　覃雄派（1971?），男，博士，中国人民大学信息学院讲师、硕士生导师，目前主要从事高性能数据库、大数据分析、信息检索等方面的研究工作，主持1项国家自然科学基金面上项目，参与多项国家“863”计划、“973”计划及国家自然科学基金项目，在国内外期刊和会议上发表论文20余篇。
　　陈跃国（1978?），男，博士，中国人民大学信息学院副教授、博士生导师，中国计算机学会高级会员，数据库专家委员会委员，大数据专家委员会通信委员，FrontiersofComputerScience青年编委，主要研究方向为大数据分析系统和语义搜索。主持国家自然科学基金项目2项，广东省科技应用重大专项1项，参与多项国家核高基（核心电子器件、高端通用芯片及基础软件产品）、“973”计划、“863”计划项目，近年来在SIGMOD、SIGIR、ICDE、AAAI、IEEETKDE、WWW等国际重要期刊和会议上发表论文30余篇
　　杜小勇（1963?），男，博士，中国人民大学信息学院教授，博士生导师，教育部数据工程与知识工程重点实验室主任，中国计算机学会会士，《大数据》期刊编委会副主任。主要研究方向为智能信息检索、高性能数据库、知识工程。主持和参与多项国家核高基（核心电子器件、高端通用芯片及基础软件产品）、“973”计划、“863”计划、国家自然科学基金项目，近年来在SIGMOD、VLDB、AAAI、IEEETKDE等国际重要期刊和会议上发表论文百余篇。

目录

理论篇//

1 数据科学概论

1.1 数据科学的定义

1.2 数据科学的定位

1.2.1 数据科学与数据库、大数据分析的关系

1.2.2 数据科学与基于数据的决策的关系

1.3 数据科学家

1.3.1 数据科学家的技能

1.4 数据科学的基本原则(Principle)

1.4.1 原则1：数据分析可以划分成一系列明确的阶段

1.4.2 原则2：描述性分析与预测性分析

1.4.3 原则3：实体的相似度

1.4.4 原则4：模型的泛化能力

1.4.5 原则5：分析结果的评估与特定应用场景有关

1.4.6 原则6：相关性不同于因果关系

1.4.7 原则7：通过并行处理提高数据处理(分析)速度

1.5 数据处理流程：时间维度的纵向视角

1.6 数据处理系统的架构：系统维度的计算视角

1.6.1 数据处理系统的层次架构

1.6.2 数据处理系统的Lambda架构

1.7 数据的多样性：数据类型维度的横向视角

1.8 数据价值的挖掘：价值维度的价值提升视角

1.9 思考题

2 OLTP与数据服务

2.1 面向OLTP应用的RDBMS数据库技术

2.1.1 关系数据库技术与SQL查询语言

2.1.2 利用索引加快数据访问

2.1.3 数据库的事务处理、恢复技术与安全保证

2.1.4 并行数据库与分布式数据库

2.2 面向数据服务的NoSQL数据库技术

2.2.1 NoSQL数据库技术

2.2.2 CAP理论

2.2.3 Key-Value数据库

2.2.4 Column Family数据库

2.2.5 Document数据库

2.2.6 Graph数据库

2.3 NewSQL数据库技术

2.3.1 VoltDB数据库

2.3.2 Google Spanner数据库

2.4 思考题

3 OLAP与结构化数据分析

3.1 联机分析处理(OLAP)与结构化数据分析

3.1.1 从操作型的业务数据库向数据仓库抽取、转换和装载数据

3.1.2 数据仓库与星型模型

3.1.3 联机分析处理OLAP

3.1.4 三种类型的OLAP系统

3.2 高性能OLAP系统的关键技术

3.2.1 列存储技术

3.2.2 位图索引技术

3.2.3 内存数据库技术

3.2.4 MPP并行数据库

3.3 结构化数据分析工具介绍

3.3.1 MPP(Shared-Nothing)数据库、基于列存储的关系数据库

3.3.2 SQL on Hadoop系统

3.3.3 性能比较

3.4 思考题

......

机器学习的基石：从统计学视角理解核心算法 本书旨在为读者深入剖析机器学习的统计学根基，剥离表面繁复的算法实现，直击其背后蕴含的数学原理与统计思想。我们不局限于介绍各种算法的“是什么”和“怎么用”，而是着重探讨“为什么”它们能有效工作，以及在不同场景下选择何种算法的深层逻辑。通过理解这些统计学原理，读者将能够更自信地应对各种数据挑战，构建更鲁棒、更具洞察力的模型。 第一章：概率论与数理统计：机器学习的语言 在开启机器学习之旅前，扎实的概率论与数理统计基础是必不可少的。本章将从机器学习的视角，重新审视这些经典学科的核心概念。 随机变量与概率分布： 我们将介绍离散型和连续型随机变量的概念，以及概率质量函数（PMF）和概率密度函数（PDF）的作用。重点将放在理解常用的概率分布，如二项分布、泊松分布、正态分布、指数分布等，并阐述它们在描述现实世界数据中的意义。例如，泊松分布可以用来模拟单位时间内事件发生的次数，如网站访问量；正态分布则广泛应用于描述自然现象和测量误差。理解这些分布的形状、参数（均值、方差、标准差）如何影响数据的特征，是构建有效模型的起点。 期望、方差与协方差： 期望代表了随机变量的平均值，是衡量数据中心趋势的重要指标。方差和标准差则量化了数据的离散程度，即数据点围绕均值的波动范围。我们将深入探讨协方差的意义，它如何揭示两个随机变量之间的线性关系，以及正协方差、负协方差和零协方差所代表的不同含义。这些概念不仅有助于理解数据的分布特性，也是后续模型评估和特征工程的关键。 条件概率与贝叶斯定理： 条件概率是理解“在已知某些事件发生的情况下，另一事件发生的概率”的关键。我们将通过生动的例子，如疾病诊断、垃圾邮件过滤等，来阐释条件概率的应用。贝叶斯定理是概率论中的皇冠，它提供了一种更新信念（概率）的方式，即在观察到新的证据后，如何修正我们对某个事件发生概率的估计。这在许多机器学习算法中扮演着核心角色，尤其是在分类和推断问题上。 统计推断：参数估计与假设检验： 统计推断是利用样本数据来推断总体特征的过程。本章将介绍点估计和区间估计，理解如何根据样本来估计总体的均值、方差等参数。我们将重点讲解最大似然估计（MLE）和矩估计等常用方法，并分析它们的优缺点。此外，假设检验是验证我们对总体特征的猜想是否成立的有力工具。我们将介绍零假设、备择假设、p值、显著性水平等概念，并演示如何通过假设检验来做出决策，例如判断某个新特征是否显著提升了模型的预测精度。 第二章：线性回归：从数据拟合到因果推断的桥梁 线性回归是机器学习中最基础但也是最强大的模型之一。本章将从统计学角度深入剖析其原理，并揭示其在数据分析和预测中的广泛应用。 模型假设与目标函数： 我们将详细阐述线性回归模型的核心假设，例如线性关系、误差项的独立同分布（i.i.d.）且服从正态分布、方差齐性等。理解这些假设的重要性，有助于我们判断线性回归是否适用于特定数据集，以及如何诊断和处理模型失效的情况。我们将介绍最小二乘法（OLS）作为目标函数，解释它如何通过最小化预测值与真实值之间的残差平方和来找到最佳拟合直线。 参数估计：OLS与MLE： 我们将推导OLS估计量的解析解，并说明其在满足模型假设下的最优性（高斯-马尔可夫定理）。此外，我们还会从最大似然估计的角度来理解线性回归的参数估计，并展示OLS与MLE在正态分布假设下的等价性。 模型评估与诊断： 仅有参数估计是不够的，我们需要评估模型的表现。本章将介绍决定系数（R-squared）如何衡量模型对数据变异的解释程度。我们还将深入讲解残差分析，通过可视化残差图来检查模型假设是否被违反，例如是否存在异方差、非线性关系或异常值。此外，F检验和t检验将帮助我们评估模型的整体显著性和单个解释变量的重要性。 正则化：L1与L2： 为了解决过拟合问题，我们引入正则化技术。L1正则化（Lasso）通过引入L1范数惩罚项，能够使得部分模型参数趋于零，从而实现特征选择。L2正则化（Ridge）通过引入L2范数惩罚项，能够收缩模型参数，降低模型复杂度，提高模型的泛化能力。我们将详细解释正则化项如何影响损失函数，以及它们在实际应用中的作用。 多元线性回归与交互项： 在实际问题中，通常需要考虑多个解释变量。我们将扩展线性回归模型，讨论多元线性回归的原理和参数估计。特别地，我们将重点讲解交互项（interaction terms）的引入，它们如何捕捉两个变量联合作用的效果，以及在何种情况下需要使用交互项来获得更精确的建模。 第三章：逻辑回归：从概率模型到分类决策 逻辑回归虽然名字中有“回归”，但它实际上是一种强大的分类算法。本章将从统计学角度揭示其工作原理，以及它在二分类和多分类问题中的应用。 概率模型与Sigmoid函数： 与线性回归直接预测数值不同，逻辑回归的目标是预测一个事件发生的概率。我们将介绍逻辑回归如何通过Sigmoid（或Logistic）函数将线性模型的输出映射到0到1之间的概率值。Sigmoid函数 $ sigma(z) = frac{1}{1 + e^{-z}} $ 的关键作用在于将任意实数值转化为概率，同时保持了其单调性。 似然函数与交叉熵损失： 我们将推导逻辑回归的似然函数，并解释为什么交叉熵（Cross-Entropy）是其最常用的损失函数。交叉熵衡量了模型预测的概率分布与真实标签分布之间的差异，最小化交叉熵等价于最大化模型预测的准确性。 梯度下降与参数更新： 由于逻辑回归的损失函数是非线性的，我们通常使用梯度下降算法来求解最优参数。本章将详细介绍梯度下降算法的原理，包括学习率的选择、批量梯度下降、随机梯度下降（SGD）及其变种（如Adam、RMSprop）的优缺点，以及它们如何逐步逼近损失函数的最小值。 决策边界与类别判断： 理解逻辑回归的决策边界是如何形成的至关重要。我们将展示Sigmoid函数如何通过一个阈值（通常是0.5）来划分不同的类别。例如，当 $ sigma(z) > 0.5 $ 时，预测为正类；反之，则预测为负类。我们将探讨线性决策边界的几何意义。 多项逻辑回归： 对于多分类问题，我们将介绍多项逻辑回归（Multinomial Logistic Regression）或称为Softmax回归。它通过Softmax函数将模型的输出转化为多个类别的概率分布，并采用one-vs-rest或softmax的目标函数进行训练。 第四章：决策树与集成学习：模型融合的智慧 决策树作为一种直观易懂的模型，是许多复杂算法的基础。本章将深入探讨决策树的构建原理，并在此基础上介绍强大的集成学习方法。 决策树的构建：信息增益与基尼不纯度： 我们将详细阐述决策树如何通过递归地划分数据集来构建模型。核心在于如何选择最优的划分特征和分裂点。本章将重点介绍信息增益（Information Gain）和基尼不纯度（Gini Impurity）作为衡量节点纯度的指标，以及它们如何指导树的生长。我们将分析信息增益的计算方法，以及它在选择最佳分裂点时的作用。 过拟合与剪枝： 决策树容易过拟合，即模型在训练集上表现良好，但在测试集上表现较差。我们将介绍预剪枝（Pre-pruning）和后剪枝（Post-pruning）技术，以及它们如何控制树的复杂度，提高模型的泛化能力。 集成学习：Bagging与Boosting： 集成学习的思想是通过组合多个弱学习器来构建一个强学习器。我们将详细介绍Bagging（装袋）方法，如随机森林（Random Forest），它通过自助采样（Bootstrap Aggregating）和随机特征选择来构建多个独立的决策树，并投票决定最终预测结果。 Boosting系列算法：AdaBoost与Gradient Boosting： Boosting方法则是一种顺序学习方法，它关注前一个弱学习器的错误，并将其作为下一个弱学习器的学习重点。我们将深入讲解AdaBoost（自适应增强）的原理，以及它如何通过调整样本权重来提升错误分类样本的重要性。随后，我们将介绍Gradient Boosting（梯度提升），例如XGBoost、LightGBM等，它们通过优化损失函数的梯度来逐步逼近最优模型，是当前最为流行的集成学习算法之一。我们将分析Gradient Boosting如何通过引入残差来减小模型误差。 第五章：支持向量机（SVM）：最大化间隔的几何视角 支持向量机（SVM）是一种强大且广泛应用的监督学习算法，尤其在处理非线性可分数据方面表现出色。本章将从几何和统计学的角度深入理解SVM的工作原理。 线性SVM：最大间隔分类器： 我们将详细介绍线性SVM的核心思想：找到一个最优超平面，使得不同类别的数据点到该超平面的距离（间隔）最大化。我们将解释间隔的概念，以及为什么最大化间隔能够提升模型的泛化能力。我们将介绍拉格朗日乘子法和对偶问题，推导出求解最优超平面的支持向量。 核技巧：处理非线性可分数据： 对于线性不可分的数据，SVM通过核技巧（Kernel Trick）将其映射到更高维度的特征空间，使其在该空间内线性可分。我们将介绍常用的核函数，如多项式核、径向基函数（RBF）核，并解释它们如何在不显式计算高维映射的情况下，计算高维空间中的内积。 软间隔SVM：容忍噪声与异常值： 在实际应用中，数据往往存在噪声和异常值。我们将介绍软间隔SVM，它通过引入松弛变量（slack variables）和惩罚项来允许少量样本误分类，从而提高模型的鲁棒性。 SVM的优缺点与应用场景： 我们将总结SVM的优势，如在小样本、高维度问题上的良好表现，以及其在文本分类、图像识别等领域的成功应用。同时，也会讨论SVM的计算复杂度等局限性。 第六章：无监督学习：揭示数据内在结构 本章将转向无监督学习，探讨如何在没有标签的情况下，从数据中发现有价值的模式和结构。 聚类分析：K-Means与层次聚类： 我们将介绍K-Means算法，它是一种迭代式的聚类方法，旨在将数据点划分为K个簇，使得簇内方差最小化。我们将讨论K值的选择、初始化策略以及算法的优缺点。此外，我们将介绍层次聚类（Hierarchical Clustering），包括凝聚型（Agglomerative）和分裂型（Divisive）两种方法，并理解其如何构建一个聚类树（dendrogram）。 降维技术：主成分分析（PCA）： 降维是无监督学习中的重要任务，旨在减少数据的维度，同时保留尽可能多的信息。我们将详细介绍主成分分析（PCA）的原理，它通过寻找数据方差最大的方向（主成分）来对数据进行线性变换，从而达到降维的目的。我们将讨论PCA在可视化、特征提取和噪声去除方面的应用。 降维技术：t-SNE： 对于可视化高维数据，t-SNE（t-Distributed Stochastic Neighbor Embedding）是一种非常有效的非线性降维技术。我们将介绍t-SNE如何通过保留数据点之间的局部相似性来在高维空间和低维空间之间建立映射，从而生成直观的可视化结果。 关联规则挖掘：Apriori算法： 关联规则挖掘旨在发现数据项之间的有趣关系，例如“购买啤酒的顾客也倾向于购买尿布”。我们将介绍Apriori算法，它是一种经典的关联规则挖掘算法，通过频繁项集（frequent itemsets）的生成和规则的推导来发现项之间的关联性。 第七章：模型评估与选择：建立可靠的预测体系 一个优秀的机器学习模型不仅仅在于其算法的复杂性，更在于其科学的评估和严谨的选择。本章将聚焦于如何有效地评估模型性能，以及如何根据评估结果做出最佳模型选择。 交叉验证：提升模型评估的鲁棒性： 我们将详细介绍K折交叉验证（K-Fold Cross-Validation）等方法，它通过将数据集划分成多个子集，轮流用其中一部分作为测试集，其余作为训练集，来获得对模型性能更可靠的估计。这将有效避免因数据划分的偶然性而导致的评估偏差。 分类模型评估指标：准确率、精确率、召回率、F1分数与ROC曲线： 对于分类模型，我们将深入理解各种评估指标的含义。准确率（Accuracy）简单直观，但当类别不平衡时可能具有误导性。精确率（Precision）和召回率（Recall）则从不同角度衡量模型的性能。F1分数结合了精确率和召回率，提供了一个综合的度量。ROC曲线（Receiver Operating Characteristic curve）和AUC（Area Under the Curve）则提供了一种更全面的评估方法，能够展示模型在不同阈值下的性能表现。 回归模型评估指标：均方误差（MSE）、均方根误差（RMSE）、平均绝对误差（MAE）与R-squared： 对于回归模型，我们将回顾并深入理解均方误差（MSE）、均方根误差（RMSE）、平均绝对误差（MAE）等指标，它们分别衡量了预测值与真实值之间的误差大小。R-squared（决定系数）则从模型解释力的角度评估其性能。 模型选择与调参： 我们将讨论如何综合运用各种评估指标，以及交叉验证的结果，来选择最优的模型。此外，超参数调优（Hyperparameter Tuning）的重要性也将被强调，例如网格搜索（Grid Search）和随机搜索（Random Search）等技术，以及它们如何帮助我们找到模型的最佳配置。 贯穿全书的统计学思维 本书始终强调从统计学视角理解机器学习。这意味着我们不仅仅关注算法的实现，更侧重于理解其背后的数学原理、概率假设和统计推断。通过学习本书，读者将能够： 建立对数据分布的深刻理解： 能够识别不同数据分布的特征，并选择合适的模型。 掌握模型假设的意义： 了解模型做出预测的前提条件，以及违反假设可能带来的后果。 学会诊断模型问题： 能够通过残差分析、误差分析等手段，识别模型中的潜在问题，并进行针对性优化。 具备严谨的模型评估能力： 能够选择合适的评估指标，并利用交叉验证等方法，客观公正地评价模型性能。 提升模型的解释能力： 能够更清晰地解释模型为何做出某个预测，以及哪些因素对预测结果影响最大。 本书旨在为读者构建一个坚实的机器学习理论基础，让读者在面对实际数据问题时，能够做到知其然，更知其所以然，从而成为一名更优秀的机器学习实践者。

评分☆☆☆☆☆

读完这本书，我感觉自己像是从迷雾中走入了清晰的景象，对于如何从海量数据中挖掘出有价值的洞见，有了前所未有的理解。书中对于数据挖掘的各种算法和技术介绍得相当详尽，从基础的分类、聚类算法，到更高级的关联规则挖掘、异常检测，都进行了深入浅出的讲解。我尤其欣赏书中对不同算法适用场景的分析，以及它们各自的优缺点。例如，在讲解决策树算法时，书中不仅描述了如何构建决策树，还强调了剪枝的重要性，以避免过拟合，这让我对模型的鲁棒性有了更深的理解。而对于聚类算法，书中介绍了K-Means、DBSCAN等多种方法，并比较了它们在处理不同形状和密度的簇时的表现，这让我明白，没有放之四海而皆准的算法，选择合适的工具才是关键。书中还穿插了许多经典的案例，比如如何通过分析用户行为数据来预测购买意愿，或者如何通过社交网络数据来发现潜在的影响者。这些案例让我看到了数据挖掘的强大力量，它不仅仅是理论，更是解决实际问题的利器。这本书极大地激发了我用数据去解决问题的热情。

评分☆☆☆☆☆

这本书的出现，对于我这样希望深入理解大数据技术底层逻辑的读者来说，无疑是一场及时雨。我长期以来一直对海量数据如何在分布式系统中被高效处理和分析感到好奇，而这本书恰恰满足了我这一需求。它并没有停留在“大数据”这个概念的表面，而是深入探讨了大数据处理的核心技术，例如分布式文件系统（HDFS）、MapReduce编程模型及其演进、Spark的内存计算机制等。书中对MapReduce的讲解尤为细致，它不仅介绍了Map和Reduce两个核心操作，还详细阐述了Shuffle、Combiner等中间过程，让我对批处理的原理有了更清晰的认识。当我了解到Spark如何通过RDD（弹性分布式数据集）和DAG（有向无环图）来优化计算时，我惊叹于其设计的精妙。书中还提到了流式计算框架，如Storm和Flink，虽然篇幅不长，但足以让我窥见实时数据处理的魅力。阅读过程中，我一边看一边在脑海中构建这些技术的运行流程，仿佛置身于一个庞大的数据处理流水线上。这本书让我对大数据的技术栈有了系统性的认知，也为我未来学习和应用这些技术奠定了坚实的基础，让我不再满足于仅仅停留在“知道有这么回事”的层面。

评分☆☆☆☆☆

这本书为我构建了一个关于“数据科学”的宏观视野，让我理解了它如何渗透到我们生活的方方面面，并且正在重塑各个行业。它不仅仅是关于算法和技术，更是关于如何利用数据来驱动决策，创造价值。书中对数据科学在金融、医疗、零售、互联网等领域的应用进行了广泛的介绍，让我看到了数据科学的无限可能性。我印象最深刻的是关于“数据驱动的决策”的论述，它让我明白，在信息爆炸的时代，仅仅依靠直觉和经验已经不足以做出明智的决策，我们需要依靠数据来验证假设，发现趋势，预测未来。书中还探讨了数据科学的伦理和社会影响，比如数据隐私、算法偏见等问题，这让我意识到，在追求技术进步的同时，我们也必须关注其潜在的负面影响，并努力找到解决方案。这本书为我提供了一个更广阔的视角，让我从宏观层面理解数据科学的价值和意义，激发了我将所学知识应用到实际工作中，为企业和社会创造更多价值的决心。

评分☆☆☆☆☆

对于有志于在机器学习领域有所建树的读者而言，这本书绝对是不可多得的宝藏。它系统地梳理了机器学习的核心理论，并辅以大量的实践指导。书中从监督学习、无监督学习到强化学习，都进行了详尽的阐述。我特别喜欢书中关于模型评估和选择的章节，它深入讲解了各种评估指标，如准确率、召回率、F1分数、AUC等，并强调了交叉验证的重要性，这对于构建一个泛化能力强的模型至关重要。书中还详细介绍了多种经典的机器学习算法，如线性回归、逻辑回归、支持向量机（SVM）、随机森林、梯度提升树（Gradient Boosting）等，并深入剖析了它们的数学原理和实现细节。当我看到书中如何一步步推导出SVM的核函数变换时，我感觉自己对算法的理解提升了一个层次。此外，书中还提到了深度学习的基础概念，为我打开了通往更前沿领域的大门。这本书不仅传授了知识，更教会了我如何批判性地思考和评估机器学习模型，让我受益匪浅。

评分☆☆☆☆☆

这本书简直是打开了我对数据科学世界的大门！在此之前，我对“数据科学”这个词的理解仅限于一些零散的概念，觉得它高深莫测，遥不可及。但自从捧读了这本书，我才发现，原来数据科学并非如此神秘，它更像是一门充满魅力的艺术，一种解决现实问题的强大工具。书中从最基础的概念讲起，循序渐进地介绍了数据科学的各个环节，包括数据收集、数据清洗、数据探索性分析、模型构建以及结果解读。让我印象深刻的是，作者并没有仅仅罗列理论，而是通过大量生动形象的案例，将抽象的概念具象化，比如在讲解数据可视化时，书中展示了如何通过图表清晰地揭示隐藏在海量数据背后的规律，这让我豁然开朗。我特别喜欢书中关于“特征工程”的论述，它让我意识到，数据本身并非最终答案，如何从原始数据中提取有价值的“特征”，才是决定模型成败的关键。书中提供的多种特征工程方法，并结合实际场景进行了深入剖析，这对我今后在工作中处理数据提供了宝贵的指导。总而言之，这本书为我构建了一个扎实的数据科学知识体系，让我对未来在数据领域探索充满信心。