具体描述
产品特色
编辑推荐
作者团队由来自中国*大的独立第三方移动数据服务平台TalkingData的十余位一线技术专家组成，不仅能确保内容的专业性、系统性，而且能结合国内先进的大数据公司的实战经验，帮助大数据从业人员熟悉大数据相关的知识和工具，助力企业的管理者建立数据驱动文化并构建大数据团队。
通过此书，企业管理者能够建立起智能企业的定位，业内专业人士能够有更清晰的战略全景和逻辑脉络。此书将成为大数据从业人员、大数据企业管理人员以及大数据领域的投资者、监管者的必备参考书籍。
内容简介
大数据这个概念自诞生以来，已经经历了几次飞跃。当今社会，对传统大数据中的量的需求已经很容易达到，大数据的竞争转向了数据质量。只有将深入在各种行业情景中、非结构化的、与业务流程直接相关的高价值数据挖掘出来，企业才有可能基于自己的业务进行分析甚至预测。因此，大数据时代进入了一个新的纪元——智能数据时代。
本书作者团队来着大数据行业的领军企业TalkingData，他们站在企业管理者的角度上，系统全面地剖析了企业如何转型以适应当今智能数据时代。全书以大数据相关的知识和工具为起点，重点介绍了企业大数据实施的三个方面——数据管理、数据工程和数据科学，并结合一线的大数据实战经验，帮助读者更深刻地理解如何构筑数据驱动型企业。
作者简介
TalkingData（北京腾云天下科技有限公司）成立于2011年，是中国*大的独立第三方移动数据服务平台。TalkingData一直致力于数据的深耕与数据价值的挖掘，从数据的采集、处理到数据的分析，再到数据的应用与咨询。TalkingData已经形成了一套以“智能数据平台”（SmartDP）为主的完整数据应用体系，并构筑了一套以数据商业化平台、数据服务平台及数据合作平台为核心的数据生态。目前，TalkingData的平均月活跃用户为6.5亿，为超过12万款移动应用以及10万应用开发者提供服务。覆盖的客户主要为金融、地产、快消、零售、出行、政府等行业中的领军企业，连续三年实现业务的三倍快速增长。
精彩书评
作为大数据领域的先峰，TalkingData的发展速度有目共睹，而他们服务企业的能力更令人刮目相看。数字经济是一个综合课题，涉及对商业的理解、大数据治理、分析洞察、机器学习等。其实大数据并非一个新的话题，在它真正产生巨大价值之前，新旧经济将产生冲突然后相互融通。企业开始明白不能错过这个前所未有的智能变革的时机，但却轻叹路在何方。本书是TalkingData多年的经验总结，向读者分享一个较完整的数字化的框架设计。虽然面对不同的环境不存在必胜的方法，但在让人眼花缭乱的智能数据年代，本书的出现正如一盏明灯，为企业指明了大数据战略方向。
——车品觉，前阿里巴巴集团副总裁/数据委员会会长，红杉资本合伙人
在智能时代，数据的价值毋庸置疑，但数据就像埋在石头里的矿物，必须经过挖掘与提炼才能变成有价值的东西。近几年，不少大数据相关的工具应运而生，对海量数据的实时记录与分析，可用数据的选择，合理数据的筛选，给大数据工程师带来新的要求。大数据也推动了云服务的发展，越来越多的企业通过云来打通数据孤岛，让多维度的数据可以在安全的环境下整合分析，从而提高了营销效率，提升了用户体验，新应用场景与价值不断出现。本书针对不同类型的数据场景，深入浅出地介绍了常用的工具，也给出不少实操的技巧，给大数据工程师提供了全面的指导。
——汤道生，腾讯公司社交网络事业群总裁，集团高级执行副总裁
企业在数字化转型时期，需要构建和优化企业大数据管理平台，不断挖掘应用机会。本书既指明方向，又提供方法，相信能很好指导企业向智能数据时代演进。
——朱战备，万达首席信息官
数据作为一种资源，已经成为包括AI在内几乎所有行业的基础，如何把数据分析和洞察结果应用到业务中已是刚需。本书为我们展示了如何通过对海量数据的挖掘和运用，使企业融入新一波的生产力发展浪潮。其中总结的经验值得所有大数据与相关领域从业人员学习。
——简仁贤，竹间智能创始人及CEO
大数据的海量及庞杂对它的管理及应用带来了极大的挑战。本书的作者们对大数据的实践现状做了阶段性的总结，分享了宝贵的实战经验，给未来数据的智能化提供了丰富的扩展空间。
——吕云山，美国PetuumInc首席架构师
目录
前言
第一篇 大数据基础知识
第1章 大数据的基本定义 / 2
1.1 大数据分析的出现 / 3
1.2 大数据如何发掘价值 / 3
1.3 大数据处理的关键——数据类型 / 5
1.4 大数据处理的微妙之处 / 6
1.5 大数据环境下的处理分析工具 / 7
1.6 智能数据时代到来 / 10
第2章 数据的艺术 / 12
2.1 评估可能性的艺术 / 12
2.2 了解现状 / 13
2.3 自我评估、完善度、信息架构 / 14
2.4 愿景部署 / 19
2.5 现在和将来的数据仓库 / 20
2.6 实时建议和操作 / 25
2.7 验证提出的愿景 / 26
第3章 大数据：有所为有所不为 / 28
3.1 大数据分析最佳实践 / 28
3.2 从小做起 / 29
3.3 关注大局 / 30
3.4 避免最差实践 / 30
3.5 步步为营 / 32
3.6 学会利用异常数据 / 34
3.7 速度与精度的抉择 / 35
3.8 内存计算 / 36
第二篇 大数据工具和技术
第4章 分布式世界中的设计 / 42
4.1 可见性 / 43
4.2 保持简单的重要性 / 44
4.3 组合 / 44
4.4 分布式状态 / 49
4.5 CAP原则 / 51
4.6 松耦合系统 / 53
4.7 速度 / 55
4.8 总结 / 58
第5章 大数据分析工具 / 59
5.1 Apache Hadoop / 59
5.2 Apache Spark / 69
5.3 NoSQL数据库 / 73
5.4 MongoDB / 89
第三篇 数据管理
第6章 大数据的类型 / 108
6.1 定义结构化数据 / 109
6.2 探秘结构化数据来源 / 109
6.3 关系数据库在大数据中扮演的角色 / 110
6.4 非结构化数据 / 111
6.5 内容管理系统在大数据管理中的作用 / 112
6.6 实时和非实时条件 / 113
6.7 大数据集成 / 114
第7章 大数据的新范式：我们想要从大数据系统中获得什么 / 116
7.1 稳定性和容错性 / 116
7.2 横向扩容 / 117
7.3 可扩展性 / 117
7.4 即席查询 / 117
7.5 最小化维护 / 117
7.6 可调试性 / 118
7.7 完全增量式架构 / 118
7.8 操作复杂性 / 119
7.9 极其复杂地实现最终一致性 / 119
7.10 人为容错的缺陷 / 121
7.11 Lambda架构 / 121
第8章 数据管理 / 125
8.1 数据管理成熟度评估 / 125
8.2 元数据管理 / 128
8.3 数据治理 / 130
8.4 数据质量管理 / 134
8.5 参考数据与主数据管理 / 137
第四篇 数据工程
第9章 理解数据业务流程 / 142
9.1 理解商业动机 / 142
9.2 调查计划 / 146
9.3 初步研究 / 146
9.4 专家咨询 / 146
9.5 识别关键成功因素 / 147
9.6 优先考虑早期路线图的执行 / 150
9.7 战略图谱 / 154
第10章 大数据和云计算 / 163
10.1 云计算的定义 / 163
10.2 私有云与公有云计算 / 165
10.3 IaaS典型平台——亚马逊云平台AWS / 165
10.4 PaaS典型平台 / 172
10.5 SaaS典型平台 / 176
第11章 数据收集 / 179
11.1 收集一切 / 179
11.2 为数据源设置优先级 / 181
11.3 关联单独的数据 / 182
11.4 如何收集数据 / 184
11.5 数据采购 / 186
11.6 数据保留 / 190
第12章 数据质量和数据预处理 / 191
12.1 数据质量：为什么要对数据做预处理 / 191
12.2 数据预处理的主要工作 / 192
第13章 数据安全和隐私 / 195
13.1 数据收集：了解隐私的最前沿 / 195
13.2 策略考虑因素 / 196
13.3 实施考虑因素 / 200
13.4 总结 / 201
第五篇 数据科学
第14章 数据分析 / 204
14.1 什么是分析 / 205
14.2 分析的类型 / 206
第15章 数据探索 / 221
15.1 概要 / 221
15.2 数据探索的目标 / 222
15.3 数据集 / 222
15.4 描述性统计 / 225
15.5 数据可视化 / 229
15.6 数据探索路线图 / 240
第16章 大数据、数据科学和数据挖掘 / 242
16.1 先验知识 / 244
16.2 数据准备 / 246
16.3 建模 / 249
16.4 应用 / 253
16.5 总结 / 255
第六篇 构筑数据驱动型企业
第17章 建立数据驱动文化 / 258
17.1 数据收集 / 260
17.2 报告 / 261
17.3 警报 / 262
17.4 从报告到警报再到分析 / 263
17.5 数据驱动的标志 / 265
17.6 分析成熟度 / 267
第18章 构建大数据团队 / 271
18.1 数据科学家 / 271
18.2 团队挑战 / 272
18.3 不同的团队，不同的目标 / 272
18.4 别忘了数据 / 273
18.5 更多挑战 / 274
18.6 团队与文化 / 274
18.7 量化成就 / 275
第七篇 大数据实战
第19章 大数据使用实例 / 278
19.1 大数据的使用与意义 / 279
19.2 案例：大数据在金融领域的应用 / 283
19.3 案例：大数据在地产领域的应用 / 298
第20章 大数据分析和数据驱动决策的思维实战 / 309
20.1 无处不在的数据机会 / 309
20.2 数据科学、数据工程和数据驱动决策 / 312
20.3 数据处理和大数据 / 314
20.4 从大数据1.0到大数据2.0 / 314
20.5 数据和数据科学能力作为战略资产 / 315
20.6 数据分析思维 / 317
20.7 具备数据分析技能的管理者 / 318
20.8 数据挖掘与数据科学 / 319
20.9 化学反应不只限于试管：数据科学与数据科学家的工作 / 320
20.10 总结 / 321
第21章 结语
21.1 全面解读 / 322
21.2 通往大数据之路 / 323
21.3 思索大数据的真实一面 / 324
21.4 大数据实践 / 325
21.5 深度解读大数据处理流程 / 325
21.6 大数据可视化 / 329
21.7 大数据隐私 / 330
前言/序言
大数据这个概念自诞生以来，已经经历了几次飞跃。时至今日，大数据这个名词频繁地与人工智能、DT、预测等词汇放在一起，看上去数据的发展已经成为与科技发展甚至整个社会发展平行的存在——?一切的颠覆都离不开数据。大数据是一种赋能工具，它的作用是帮助行业加速价值的流通，减少信息不对称，提高交易效率。
市面上大数据行业相关的书籍已经汗牛充栋，然而还没有这样一本书——全面地解析大数据、企业和人之间的关系，站在企业管理者的角度解答如何利用大数据加速发展、攫取更多的价值；更没有人全面告诉企业的管理者，如果想转型以适应当今智能数据时代，应该储备何种知识和人才。TalkingData作为大数据行业的领军企业，决定写这样一本书。
竞争环境：行业快速发展，传统行业加速转型
根据IDC的数据显示，到2020年，全球大数据技术和服务市场预计将达到589亿美元，其中大数据基础设施占277亿美元，大数据软件占159亿美元，大数据服务占（包括专业和支持服务）153亿美元。相比于北美等发达地区，中国大数据产业虽然年轻，但是处于快速发展期。根据DT大数据产业创新研究院（DTiii）的预测，从现在到2025年，大数据产业的经济总量将呈指数级增长（如下图），覆盖的行业包括政府、金融、电信、交通、工业、能源、房地产、教育、商业服务、医疗、文娱、农业等。
2015—2025年中国大数据产业增长趋势图
注：数据来源于DT大数据产业创新研究院（DTiii，2016）。
除了飞速发展的整个行业总量之外，大数据行业本身也带有快速颠覆迭代的特征。当今社会，对传统大数据中量的需求已经很容易达到，大数据的竞争转向了数据质量。那些深入在各种行业情境中、非结构化的、与业务流程直接相关的数据，成为高价值的数据类型。只有将这部分数据挖掘出来，企业才有可能基于自己的业务进行分析甚至预测。因此，大数据时代进入了一个新的纪元——智能数据时代。
数据和人工智能是智能数据时代的鲜明特征，但是只有数据和人工智能依然不足，还需要人类智慧的参与。数据、人工智能和人类智慧，成为智能数据时代的三大要素。
数据的积累可以为人类提供更多更细的洞察分析，人类经验得以增强，人类智慧得以增长。比如，通过更多来自于手机的用户行为分析，企业可以对自己的用户有更多了解，包括他们的生活喜好、消费习惯等，以此产生更多的营销机会。人工智能本身也需要人类智慧的介入，以引导人工智能的方向，提高人工智能的效率。比如，AlphaGo也需要不断地与人类围棋高手对战，依靠人类智慧的辅助，才能持续提升棋力。
缺乏人类智慧的持续介入，人工智能对数据的加成作用会随着数据的变化逐步弱化甚至失效；缺乏人工智能，人类无法依靠自身处理如此复杂而且快速变化的数据；缺乏数据，人工智能无法存在，人类智慧的积累也会放缓。数据、人工智能和人类智慧互相促进，组成一个正向的循环。比如情景感知领域，基于手机上体现姿态动作的传感器数据，经过人工智能的算法，可以判断手机用户的动作和姿态（包括走路、骑车、驾驶等）。如果判断不够准确，就需要人工介入，对数据再进行整理和增强、对算法进行优化，直到结果达到可用的程度。同时，具有情景感知能力的手机，可以给应用开发者提供更多的应用场景和体验，比如运动健身、金融风控、物流管理、娱乐体验等，相应地也会产生更多的数据——这些新的数据让人类智慧更快积累，也让人工智能更加强大。比如，通过情景感知数据，发现绝大部分用户在使用App的时候手机都是处于手持状态，那么非手持状态的使用场景是否意味着更大的金融风险？
人工智能和人类智慧，让数据岂止“大”？智能数据时代的三大要素聚合裂变，已经产生难以想象的价值。
现实差距：人才缺口
很多企业在智能数据时代举步维艰，但是也有一些新的企业脱颖而出，利用数据来增强自己的竞争力，在各个领域对传统企业形成巨大的冲击。据A16Z的2016移动互联网报告，以GAFA（谷歌、亚马逊、Facebook、苹果）为代表的数据巨头，已经在数据和技术领域建立起牢固的优势，在年收入规模上比Wintel同盟要大3倍。反过来，它们也在通过数据和技术改变传统行业的形态和模式，包括零售、媒体发行、汽车等。
这些新的数据和技术的先锋具有一些共同的特征：实现了业务数据化和数据资产化，能够用数据来驱动场景化的应用，高效地探索和转化商业价值。这样的企业，已经拥有数据驱动的文化，我们叫做智能企业（SmartEnterprise）：
1.具有灵活的技术平台和数据科学能力，能支撑足够大的数据量级、足够多的数据维度、足够复杂的数据类型、足够灵活的数据格式、足够低的数据洞察延时等，提高各种数据应用场景的交付效率。
2.具有统一的数据管理策略，以管理跨企业的、一致的数据视图，能高效地汇聚数据（包括自有数据和第三方数据），也能高效地输出数据和数据服务。
3.具有端到端的数据工程能力，以支撑业务线的可管理的数据运营，形成数据闭环和持续的业务优化。
若要转型为智能企业，人的智慧尤为重要，因此对于无论是大数据企业还是亟待转型的传统企业来说，都提出了人才的类型、数量和知识结构的严苛挑战。但是一个严酷的现实是，现在的人才储备是远远跟不上行业需求的。从下图我们可以看出，在搭建大数据平台应用来应对转型的企业所遇到的痛点中，有一半多的原因是卡在了人才不足这个关口上。根据DT大数据产业创新研究院（DTiii）资料显示，到2025年，中国的大数据人才缺口将高达200万。这不仅仅是在中国，在美国问题同样严重。McKinsey预测：至2018年，美国将有60%的组织设置首席数据官（CDO)，需要400万名具备大数据分析能力的经理和分析师，人才缺口将达到150万；未来八年将有19%的大数据人才需求增长。
塔建大数据平台应用方式中遇到的主要困难
注：资料来源于CSDN《2015年中国软件开发者白皮书》。
从上面的数字我们可以看出，仅仅靠大学设立相关学位专业和社会上多开几个专家培训课程是无法弥补如此大的人才缺口的。智能数据时代大数据人才的培训，需要严谨的知识架构设计、先进的技术工具辅助以及前沿的行业最佳实践的熏陶。这个时候，仅仅靠学术界和社会培训的努力是不够的，身为一线离炮火最近的组织，大数据企业本身应当积极投入到为社会进行人才建设和储备的事业中去。
智能数据时代人才的知识架构
在智能数据时代，对于人才的知识储备的要求是综合的。如下图所示，TalkingData认为智能企业所需的人才应当具备行业领域知识、IT技能和数据科学知识。团队内部的人才组合必须能够合理覆盖这三个知识领域，艰巨的任务才能迎刃而解。
智能企业所需人才的知识结构
TalkingData认为，一家企业如果要向智能企业转型，必须具有以下几种类型的人才：
1.数据架构师。负责制定数据构架管理政策及指南，解决数据管理组织之间的争议问题；制定数据标准、应用标准、运维标准，设计模型管理流程，整理数据需求并为其他类型的数据人员提供支持。
2.数据工程师。大数据工程解决的是海量数据（起码在T级别以上）的设计、部署、存储和计算需求等方面的问题。在当今，大数据工程师要设计和部署的系统往往都是消费者和内部工作人员直接使用的应用程序。简而言之，大数据工程涉及系统的设计、部署和实施。
3.数据分析师/数据科学家。大数据分析则是处理大数据工程师设计的系统上的大量数据，它涉及分析趋势、模式以及开发各种分类和预测系统。简而言之，大数据分析涉及大数据的高级计算（统计、建模预测等）。
4.数据产品经理。能评估和洞察数据价值、分析问题并快速制定落地策略，基于数据设计商业化逻辑以及关键指标，能灵活使用各类数据工具并同时熟知项目的流程管理、体系管理、人员激励等。
本书将从一个管理者的视角，从大数据的基本概念开始，循序渐进地介绍相关工具、企业数据工程的主要活动、数据团队建设以及相关的管理支持。TalkingData的十余位一线员工根据自己所在岗位的经验知识，参与了全书的编写工作，他们是（排名不分先后）：何香萍，马斋，李正伟，杨慧，王俊，何坤，孔元明，姜伟，王福胜，潘松柏，卢健，张学敏，曾晓春，张宁，徐岷峰，周海鹏，吕博卿。他们不仅贡献了专业的要点知识，也融入了工作中的实战经验，知识点与案例反复穿插，增加了本书的实践价值。希望通过此书，管理者能够建立起智能企业的定位，业内专业人士能够有更清晰的战略全景和逻辑脉络。
TalkingData，致力于帮助企业转型为数据驱动型企业，用数据的心智去超越未来。
杨慧
2017年4月2日于北京
（TalkingDataCEO助理，中国人民大学商学院博士，
香港中文大学管理学系博士后）
用户评价
读完这本书，我感觉自己好像拥有了一双“数据之眼”，能够更敏锐地洞察商业世界中的机会与挑战。作者在书中花了相当大的篇幅介绍企业如何构建全景式的数据能力，从数据基础设施的建设，到数据团队的组建，再到数据产品的创新，勾勒出了一个完整的蓝图。我特别欣赏作者对于“数据资产化”的探讨，这让我开始重新思考数据在企业中的价值定位，它不仅仅是一种工具，更是一种可以被有效管理、增值并带来长期回报的战略性资产。书中对于不同类型的数据资产，如客户数据、运营数据、市场数据等，如何进行价值挖掘的案例分析，让我对如何盘活企业沉睡的数据有了新的思路。它让我意识到，在这个智能数据时代，谁能更好地掌握和运用数据，谁就能在激烈的竞争中占据主动。
评分我一直对数据分析背后的逻辑非常好奇，而这本书恰恰满足了我的求知欲。它没有枯燥的公式堆砌，而是通过一系列清晰的步骤，引导读者理解数据分析的整个过程。从数据的预处理，到特征工程，再到模型选择和评估，每一步都讲解得条理分明。更重要的是，书中强调了“业务理解”在数据分析中的核心地位。作者反复强调，再高级的模型，如果脱离了业务场景，其价值也会大打折扣。这让我茅塞顿开，意识到数据分析师不仅仅是技术人员，更需要具备深刻的业务洞察力。书中还提供了许多关于可视化呈现的技巧，如何将复杂的分析结果以直观、易懂的方式传达给非技术人员，这对于我这样的职场人士来说，简直是福音。它教会我如何讲好数据故事，如何让数据真正发挥其说服力和影响力。
评分这本书最让我惊喜的是它对企业数据战略的深度剖析。作者并没有停留在技术层面，而是从企业整体发展的角度出发，系统性地阐述了大数据战略的重要性、构建要素以及实施路径。我印象最深刻的是关于“数据治理”和“数据文化”的章节，这往往是许多企业在推进大数据项目时容易忽略的关键环节。书中详细解释了为什么需要建立清晰的数据标准、明确数据责任，以及如何培养全员的数据意识，让数据成为企业内部沟通和决策的通用语言。这不仅仅是IT部门的任务，而是需要CEO、各业务部门负责人乃至一线员工共同参与的系统工程。作者还提出了一些非常实用的建议，比如如何从小处着手，逐步构建数据能力，避免“大跃进”式的投入。这本书让我明白了，在大数据时代，技术固然重要，但更重要的是如何将数据转化为企业核心竞争力，如何让数据真正赋能业务增长，而不是仅仅停留在数据收集和存储的层面。
评分这本书最让我印象深刻的是其“实战”二字的分量。作者在文中分享了大量来自企业一线的真实案例，这些案例既有成功的经验，也有失败的教训，都极具参考价值。我特别喜欢书中关于“数据驱动的MVP（最小可行产品）”的理念，这让我在思考数据项目时，能够更加务实和聚焦。与其追求大而全的完美方案，不如先从一个小切口入手，快速验证数据的价值，并在此基础上进行迭代优化。书中还详细阐述了如何衡量数据项目的ROI（投资回报率），这对于那些希望将大数据投入转化为实际效益的企业管理者来说，无疑是提供了重要的决策依据。总而言之，这本书的内容非常落地，可操作性强，真正做到了理论与实践相结合，能够帮助读者在纷繁复杂的大数据领域中找到清晰的前进方向。
评分这本书简直打开了我对大数据认识的新维度！以前总觉得大数据是个高高在上的概念，离我一个普通职场人有点远，但读了这本书，我才发现它其实渗透在我们工作的方方面面。书中用非常生动易懂的案例，拆解了大数据如何从概念走向实践，让我这个非技术背景的读者也能清晰地理解其中的逻辑。尤其是关于数据采集、清洗和分析的章节，虽然描述得专业，但作者巧妙地融入了许多实际工作中可能遇到的痛点和解决方法，仿佛是我的数据顾问在耳边细语。书中提出的“数据驱动决策”不再是空洞的口号，而是变成了我可以具体去思考和尝试的方向。我特别喜欢作者对于不同行业数据应用场景的分析，比如零售业如何利用用户画像提升转化率，制造业如何通过预测性维护降低成本，这些都让我看到了大数据在现实世界中真正的价值和力量。它不仅仅是一本书，更像是一份企业拥抱智能数据时代的行动指南，让我对未来工作中的数据应用充满了期待。
评分好
评分开卷有益，信赖京东。
评分京东的东西，还是可以的。
评分非常好刚刚古古怪怪
评分好好阅读好好阅读好好阅读好好阅读好好阅读
评分还行吧，没啥特别想说的！
评分不错的书
评分薄膜没有，貌似发给我的是本旧书
评分这么晚干嘛呀……这样可以避免使用
相关图书
本站所有内容均为互联网搜索引擎提供的公开搜索信息，本站不存储任何数据与内容，任何内容与数据均与本站无关，如有需要请联系相关搜索引擎包括但不限于百度，google,bing,sogou 等
© 2025 book.cndgn.com All Rights Reserved. 新城书站 版权所有