出版社： 机械工业出版社
ISBN：9787111572169
版次：1
商品编码：12227728
品牌：机工出版
包装：平装
丛书名： 数据科学与工程技术丛书
开本：16开
出版时间：2017-08-01
用纸：胶版纸
页数：202
具体描述
内容简介
当大数据资源变得越发复杂时，仅靠更强大的计算机系统已无法解决问题。本书带我们重新审视数据准备环节，重点讨论了其中至关重要但又常常被忽略的主题——标识符、不变性、内省和数据索引。此外，书中也涵盖常见的与大数据设计、架构、操作和分析相关的内容，以及涉及法律、社会和伦理问题的非技术性章节。全书视角独特，涉猎广博，尤以医学大数据分析见长，强调基本原理，不关注编程细节和数学公式，适合企业决策者、技术专家以及计算机相关专业的学生阅读。作者简介
Jules J. Berman 本科毕业于麻省理工学院，在获得了该校的两个科学学士学位（数学、地球与行星科学）后，他又获得了天普大学的哲学博士学位以及迈阿密大学的医学博士学位。他的博士研究工作是在天普大学的费尔斯癌症研究所和位于纽约瓦尔哈拉的美国健康基金会完成的。Berman博士在美国国家健康研究院完成了他的博士后研究工作，并曾在华盛顿特区的乔治·华盛顿大学医学中心实习过一段时间。Berman博士曾在马里兰州巴尔的摩市退伍军人管理局医疗中心担任解剖病理学、外科病理学和细胞病理学的首席专家，在那里他被任命为马里兰大学医学中心和约翰·霍普金斯医学研究机构的主任。1998年，他在美国国家癌症研究所癌症诊断计划中任病理信息学项目主管，在那里他从事大数据项目工作。2006年，Berman博士成为病理信息学协会主席。2011年，他获得了病理信息学协会终身成就奖。他是数百部科学出版物的作者之一。如今，Berman博士是一名自由作家，专注于信息科学、计算机程序设计和病理学三个专业领域的书籍写作。目录
译者序前言
作者简介
第0章 引言1
0.1 大数据的定义2
0.2 大数据VS小数据2
0.3 大数据在哪里4
0.4 大数据最常见的目的是产生小数据5
0.5 机会6
0.6 大数据成为信息宇宙的中心6
第1章 为非结构化数据提供结构8
1.1 背景8
1.2 机器翻译9
1.3 自动编码11
1.4 索引14
1.5 术语提取16
第2章 标识、去标识和重标识19
2.1 背景19
2.2 标识符系统的特征20
2.3 注册唯一对象标识符21
2.4 糟糕的标识方法24
2.5 在标识符中嵌入信息：不推荐25
2.6 单向哈希函数26
2.7 案例：医院登记27
2.8 去标识化28
2.9 数据清洗29
2.10 重标识30
2.11 经验教训31
第3章 本体论和语义学32
3.1 背景32
3.2 分类：最简单的本体32
3.3 本体：有多个父类的类34
3.4 分类模型选择35
3.5 资源描述框架模式简介38
3.6 本体开发的常见陷阱40
第4章 内省42
4.1 背景42
4.2 自我认知42
4.3 可扩展标记语言44
4.4 meaning简介45
4.5 命名空间与有意义的声明集合体46
4.6 资源描述框架三元组47
4.7 映射49
4.8 案例：可信时间戳50
4.9 总结50
第5章 数据集成和软件互操作性52
5.1 背景52
5.2 调查标准委员会53
5.3 标准轨迹53
5.4 规范与标准56
5.5 版本控制58
5.6 合规问题60
5.7 大数据资源接口60
第6章 不变性和永久性62
6.1 背景62
6.2 不变性和标识符63
6.3 数据对象64
6.4 遗留数据65
6.5 数据产生数据67
6.6 跨机构协调标识符67
6.7 零知识协调68
6.8 管理者的负担69
第7章 测量70
7.1 背景70
7.2 计数70
7.3 基因计数72
7.4 处理否定73
7.5 理解控制74
7.6 测量的实践意义75
7.7 强迫症：伟大数据管理员的标志76
第8章 简单有效的大数据技术77
8.1 背景77
8.2 观察数据78
8.3 数据范围85
8.4 分母87
8.5 频率分布89
8.6 均值和标准差92
8.7 估计分析94
8.8 案例：用谷歌Ngram发现数据趋势95
8.9 案例：预测观众的电影偏好97
第9章 分析99
9.1 背景99
9.2 分析任务99
9.3 聚类、分类、推荐和建模100
9.3.1 聚类算法100
9.3.2 分类算法101
9.3.3 推荐算法101
9.3.4 建模算法101
9.4 数据约简103
9.5 数据标准化和调整105
9.6 大数据软件：速度和可扩展性107
9.7 寻找关系而非相似之处108
第10章 大数据分析中的特殊注意事项111
10.1 背景111
10.2 数据搜索理论111
10.3 理论搜索中的数据112
10.4 过度拟合113
10.5 巨大的偏差113
10.6 数据太多116
10.7 数据修复116
10.8 大数据的数据子集：不可加和不传递117
10.9 其他大数据缺陷117
第11章 逐步走进大数据分析120
11.1 背景120
11.2 步骤1：制定一个问题120
11.3 步骤2：资源评价121
11.4 步骤3：重新制定一个问题121
11.5 步骤4：查询输出充分性122
11.6 步骤5：数据描述122
11.7 步骤6：数据约简123
11.8 步骤7：必要时选择算法123
11.9 步骤8：结果评估和结论断言124
11.10 步骤9：结论审查和验证125
第12章 失败127
12.1 背景127
12.2 失败很常见128
12.3 失败的标准128
12.4 复杂性131
12.5 复杂性何时起作用132
12.6 冗余失败的情况132
12.7 保护钱，不保护无害信息133
12.8 失败之后134
12.9 案例：癌症生物医学信息学网格—遥远的桥135
第13章 合法性140
13.1 背景140
13.2 对数据的准确性和合法性负责140
13.3 创建、使用和共享资源的权利141
13.4 因使用标准而招致的版权和专利侵权行为143
13.5 对个人的保护144
13.6 许可问题145
13.7 未经许可的数据148
13.8 好政策是有力保障150
13.9 案例：哈瓦苏派的故事151
第14章 社会问题153
14.1 背景153
14.2 大数据感知153
14.3 数据共享155
14.4 用大数据降低成本和提高生产效率158
14.5 公众的疑虑160
14.6 从自己做起161
14.7 傲慢和夸张162
第15章 未来164
15.1 背景164
15.1.1 大数据计算复杂，需要新一代超级计算机？165
15.1.2 大数据的复杂程度将超出我们完全理解或信任的能力范围？166
15.1.3 我们需要用超级计算中的最新技术训练出一支计算机科学家组成的团队吗？166
15.1.4 大数据会创建出那些目前没有训练程序的新型数据专业人员吗？166
15.1.5 是否有将数据表示方法通过统一的标准规范化，从而支持跨网络大数据资源的数据集成和软件互操作性的可能？169
15.1.6 大数据将向公众开放？169
15.1.7 大数据弊大于利？170
15.1.8 我们可以预测大数据灾难会破坏至关重要的服务、削弱国家经济、破坏世界政治的稳定吗？171
15.1.9 大数据可以回答那些其他办法不能解决的问题吗？171
15.2 后记171
术语表172
参考文献188
索引196
精彩书摘
《大数据原理：复杂信息的准备、共享和分析》：考虑试图协调个人记录（如银行记录、医疗记录、约会服务记录、信用卡信息）的两家机构的共同问题。如果这两个机构的资源都使用相同的标识符，那么协调是比较简单的。如果一个授权的搜索查询访问这两个机构的信息系统，那么在一个标识符上搜索将检索到所有相关联的标识符信息。然而，多机构或通用标识符系统是罕见的。如果任何机构缺乏足够的标识系统，那么来自系统的数据不能被合理协调。属于个人的数据可以不附加任何标识符，或者附加上一个或一个以上的不同标识符，或混入了别人的个人记录。这意味着合并过程将失败。
假设这两个机构有足够的标识符，那么这两个机构必须制定一种创建新标识符的方法。对于每个记录，这将与在其他机构为同一个人的记录创造的新标识符相同。例如，假设每个机构都存储生物特征数据（例如，视网膜扫描、DNA序列、指纹），那么机构可能会同意创建一个新的标识符来验证这些唯独标识的方法。通过一些测试，他们可以确定新标识是否按规定工作（即任何机构对于同一个人总是会产生相同的标识，且标识符将永远不会适用于任何其他个人）。一旦测试完成，新的标识符可用于跨机构搜索。
由于个人缺乏唯独的生物特征，机构之间的协调是可行的，但是非常困难。标识符的某些组合（例如，出生日期、社会安全号码、姓名）可以被开发出来。从不完善属性的组合产生一个标识符有其局限性（如在第2章所讨论的），但它的优点是，如果满足标识符的所有先决条件，错误率将会很低（即两个记录具有相同的标识符将属于同一人）。对于这种情况，这两个机构将需要决定如果在其他机构没有找到匹配的标识符时，将如何处理这些记录。他们可能假设有些人在这两个机构中都有记录，但是他们的记录没有通过新标识符成功协调。他们也可能假设不匹配的组包含实际上在其他机构中没有记录的个人。处理未取得一致的记录是一个严重的事情。在大多数情况下，需要一个管理者对个人记录进行一番处理，按照需求对记录进行调整，要么使用一些附加数据，要么补充一些新的数据。
6.7零知识协调
跨机构对记录进行协调总是困难的，如果没有直接比较的记录而必须盲目地完成任务，那么任务会变得异常艰巨。每当必须检查来自不同机构的机密数据记录，看看他们是否属于同一个人时，这种尴尬的情况就会出现。在这种情况下，不允许任何机构了解记录在其他机构的内容。如果需要进行协调，必须实现一个零知识协议，该协议不传达有关记录的知识。
……
前言/序言
我们不能用导致问题的方法去解决问题。——Albert Einstein数以百万计的电脑每时每刻都有数据注入。在全球范围内，所有计算机上存储的数据总量约为3000EB（约3000亿GB），并正以每年28%的速度增加。尽管如此，与未被存储的数据量相比，存储下来的数据量仍是微不足道的。据统计，每年约有1.9ZB的数据传输量（约19 000亿GB；见术语表，Binary sizes）1。日益纷繁复杂的数字化信息将引发新一代数据资源的涌现。
现在，我们有能力从各类资源中得到众多不同类型的数据对象，也能够获取来自未来或遥远过去的数据，这要求我们找到能够准确描述每个数据片段的方法，这样就不至于将数据项混淆，进而能够在需要的时候搜索和追踪对应的数据项。精明的信息学专家明白一个道理：如果要在我们的星球上精确地描述每一件事，必然需要一个“辅助星球”来掌控所有信息，同时后者也必然要比我们的物理星球大很多。
急于获取和分析数据时，往往容易忽视数据的准备工作。如果大数据资源中的数据没有得到有效的组织、综合和准确的描述，那么这些数据资源将毫无价值。本书的首要目标是解释大数据资源建立的原理。大数据资源中的所有数据必须具备某种形式以支持搜索、检索和分析，分析方法必须可再现，分析结果必须可验证。
大数据潜在的最大益处也许是它能够连接一些看似无关的学科，从而开发和测试那些无法通过单个学科领域知识完成的假设性想法。
大数据到底是什么？大数据的特征可以通过三个V来描述：Volume（数据体量大）、Variety（数据类型多）和Velocity（处理速度快）2。大数据相关人士常常也会提出其他V，例如Vision（有目的和计划）、Verification（确保数据符合规范）和Validation（核实目标已完成；见术语表，Validation）。
在有关元数据的文献中已对很多大数据的基本原理进行了描述。这类文献讨论了数据描述形式（即如何描述数据）、数据描述语法（例如各种标记语言，如XML等）、语义（即如何用计算机可理解的陈述方式传达数据的含义）、语义的表达语法（例如架构规范，如资源描述框架（RDF）和Web本体语言（OWL））、包含数据价值和自描述信息的数据对象的建立、本体的调度以及以数据对象为成员的类层次体系（见术语表，Specification，Semantics，Ontology，RDF，XML）。
对于在数据密集型领域已经取得成功的专家而言，研究元数据似乎是在浪费时间，因为他们对元数据的形式化没有诉求。许多计算机科学家、统计学家、数据库管理员和网络专家可以毫不费力地处理大量的数据，也许他们不认为有必要为大数据资源创造一个“奇怪”的新数据模型。他们觉得自己真正需要的是更大的存储容量和更强大的分布式计算机系统，凭借这些，他们就能存储、检索和分析体量越来越大的数据。然而，这种想法只有在系统使用的数据相对简单或者具有统一标准格式时才适用。一旦大数据资源中的数据变得非常复杂多样，元数据的重要性就会凸显。我们将重点讨论元数据中与大数据息息相关的思想和概念，并重点解释这些思想和概念的必要性以及它们之间的相关性，但不会过于深究细节。
当数据的来源不同，形成许多不同的形式，大小还在增长，价值也在改变，那么当时间延伸到过去和未来时，这场比赛将从数据计算领域转移到数据管理领域。希望本书能说服读者，更快、更强大的计算机是很不错，但这些设备不能弥补在数据准备工作中的不足之处。可以预见，大学、联邦机构和公司将投入大量资金、时间和人力来尝试研究大数据。但如果忽视基础层面的事情，那么他们的项目很可能失败。相反，如果重视大数据的基础知识，则会发现大数据分析能够在普通的计算机上较容易地执行。简单来说，数据本身胜于计算，这也是整本书不断重复的观点。
在其他书籍中，一般会忽略与数据准备过程相关的三个至关重要的主题：标识符、不变性和内省。
完善的标识符系统可以确保属于某个特定数据对象的所有数据能够通过标识符被正确地赋给该对象，而不是其他对象。这看起来很简单，事实也确实如此，但多数大数据资源总是杂乱无章地分配标识符，致使与某个特定对象相关的信息分散在数据源的各个角落，甚至直接被错误地附加到其他对象中，于是当我们需要追踪这些数据的时候已无能为力。对象标识的概念最为重要，因为在面对复杂的大数据资源时，该资源需要被有效地假设为一个唯一标识符集合。本书第2章讨论了数据的标识符。
不变性是指被收集到大数据资源中的数据是永久的、不能被篡改的。乍一看，不变性是一个荒诞的和不可能的限制条件。在现实世界中，常有错误发生，信息会发生改变，而且描述信息改变的方法也会发生变化。但一个精明的数据管理员总是知道如何向数据对象中增加信息而不改变当前存在的数据，这些方法在本书第6章进行了详细描述。
内省这个词借用了面向对象的程序设计用语，在大数据的相关文献中并不常见。它是指当数据对象被访问时其自我描述的能力。借助内省，大数据资源的使用者能够快速确定数据对象的内容和该对象的层次结构。内省允许使用者查看那些可被分析的数据关系类型，并弄清楚不同数据资源之间是如何交互的。本书第4章对内省进行了详细讲解。
本书的另一个主题是数据索引，这也是在大数据相关文献中常被忽视的内容。尽管有很多书籍是基于所谓的书后索引编写而成的，但是为大而杂的数据资源准备索引却需要花费大量精力。因此，多数大数据资源根本没有正式的索引。也许会有一个网页来链接解释性文件，又或者有一个简短且粗糙的“帮助”索引，但很少能找到一个包含完善的、更新过的词条列表和链接的大数据资源。在没有合理索引的情况下，除了少部分行家外，大部分大数据资源对我们根本毫无用处。我很奇怪，有组织愿意花费数亿美元在大数据资源上，却不愿意投资数千美元来建立合理的索引。
在现有的关于大数据的文献中很难找到上述四个主题，除此之外，本书也涵盖了常见的与大数据设计、架构、操作和分析相关的其他主题，包括数据质量、数据标识、数据标准和互操作性问题、遗留数据、数据简化和交换、数据分析和软件问题等。针对这些主题，本书将重点讨论其背后的基本原理，而并不关注编程和数学公式。本书给出了一个全面的术语表，涵盖了书中出现的所有技术词汇和专有词汇。该术语表对与大数据实际相关的词条进行了解释说明，读者可以视该术语表为一个独立的文档。
最后4个章节是非技术性的，当然内容上仍与我们讨论的大数据资源的开发一致。这4个章节涉及法律、社会和伦理问题。本书最后以我个人对大数据未来及其对世界的影响的观点作为结束。在准备本书时，我在想这4个章节放在本书的最前面是不是更合适，因为也许这样能够激发读者对其他技术章节的兴趣。最终，考虑到有些读者不熟悉这些章节的技术语言和概念，因此我将它们放在了接近尾声的地方。具有较强信息学背景的读者从本书第12章开始阅读也许更能体会到乐趣。
读者也许会注意到本书中所描述的多数案例来自医学信息学。当前，讨论这一领域的时机已经成熟，因为每一个读者在经济和个人层面都深受来自医学领域所产生的大数据政策和行为的影响。除此之外，关于医疗健康的大数据项目的文献十分丰富，但其中很多文献的成果存在争议，我认为选择那些我可以引证的、可靠的素材是非常重要的。因此，本书参考文献非常多，有超过200篇来自期刊、报纸以及书籍的文章，多数文章可从网上下载。
谁应该读这本书？本书是为那些管理大数据资源的专业人士和计算机及信息学领域的学生而写的。专业人士包括：企业和投资机构的领导者，他们必须为项目投入资源；项目主管，他们必须制定一系列可行的目标并管理一个团队，这个团队中的每个人都有一些技能和任务，包括网络专家、元数据专家、软件程序员、标准专家、互操作专家、数据统计分析师以及来自预期用户社区的代表等。来自信息学、计算机科学以及统计学专业的学生会发现，在大学课程中很少讨论大数据面临的挑战，而这些挑战往往是令人惊讶的，有时甚至称得上是令人震惊的。
通过掌握大数据设计、维护、增长和验证的基础知识，读者可以学会如何简化大数据产生的无穷无尽的任务。如果数据准备合理，经验老到的分析师就能够发现不同大数据资源中数据对象之间的关系。读者会找到整合大数据资源的方法，这比独立的数据库能够提供的好处多得多。
致谢感谢Roger Day、Paul Lewis为书稿的每一章给出了深刻和有价值的评论。感谢Stuart Kramer在本书写作初期对文字内容和组织结构给出的宝贵建议。特别感谢Denise Penrose在Elsevier工作到最后一天以使这本书得以顺利发行。感谢Andrea Dierna、Heather Scherer以及Morgan Kaufmann所有为本书的出版和营销做出努力的员工们。
《数据驱动的未来：从海量信息中洞察商业价值》 在一个信息爆炸的时代，数据的价值日益凸显，它不再仅仅是冰冷的数字，而是驱动商业决策、创新产品和优化服务的核心引擎。本书《数据驱动的未来：从海量信息中洞察商业价值》并非是探讨大数据技术本身如何实现的宏大叙事，也不是对复杂算法的深入剖析，而是聚焦于如何 有效地利用海量信息，将其转化为可执行的商业洞察，最终实现价值增长。我们将一同探索，在海量数据面前，企业如何构建一套系统性的方法论，以应对信息洪流，从中提炼出关键的决策依据，并将其转化为切实的竞争优势。 本书的出发点，源于一个普遍的认知：拥有数据，并不等同于拥有洞察。许多企业面临着数据孤岛、信息冗余、分析能力不足等挑战，导致宝贵的数据资源被闲置，错失了潜在的商业机遇。因此，我们更关注于 “如何准备、共享和分析” 数据的 “过程” 和 “能力建设”，而不是技术细节。我们将深入探讨，在商业实践中，如何对纷繁复杂的信息进行有针对性的 “准备”，如何搭建高效的 “共享” 机制，以及如何运用恰当的 “分析” 方法，从而真正地 “洞察商业价值”。 第一篇：信息准备——夯实数据基石 在信息时代，数据的质量直接影响着分析的准确性和决策的可靠性。本书的开篇，将围绕 “信息的准备” 展开，这不仅仅是数据的收集，更包含了对数据质量、数据治理和数据整合的全面考量。 理解业务需求，明确信息焦点： 在着手收集任何数据之前，最关键的是要 明确业务目标。是希望提升客户满意度？优化营销活动？预测销售趋势？还是降低运营成本？不同的业务需求，决定了我们需要关注哪些类型的信息，以及数据的粒度和维度。我们将引导读者思考，如何将模糊的业务问题转化为具体的信息需求，避免盲目收集，事倍功半。这部分内容将通过大量案例分析，展示不同行业、不同规模的企业如何通过精准的业务理解，锁定关键信息，为后续的分析奠定坚实基础。 数据质量的生命周期管理： 我们将深入探讨 “数据质量” 的重要性，并介绍一套完整的 “数据质量管理生命周期”。这包括： 数据采集质量： 如何设计有效的采集机制，确保数据的准确性、完整性和及时性。例如，在用户行为跟踪中，如何避免采样偏差，如何处理设备离线时的信息丢失。 数据清洗与预处理： 识别和处理数据中的错误、缺失值、异常值和不一致性。我们将介绍一些实用的数据清洗技术，例如基于规则的校验、统计学方法、甚至一些启发式算法，并强调在清洗过程中，业务逻辑的介入至关重要。 数据标准化与规范化： 统一数据格式、单位和编码，消除数据之间的差异性，确保数据的一致性和可比性。我们将探讨不同场景下的标准化策略，例如地理位置信息的统一、时间戳格式的规范。 数据验证与监控： 建立持续的数据质量监控机制，及时发现和纠正数据质量问题，形成良性循环。我们将介绍一些自动化监控工具和流程，以及如何建立数据质量报告体系。 构建统一的数据视图——数据整合的艺术： 在现代企业中，信息往往分散在不同的系统、部门和应用中，形成 “数据孤岛”。本书将重点阐述 “数据整合” 的策略和方法，以打破信息壁垒，构建统一、全面的数据视图。 ETL (Extract, Transform, Load) 的精髓： 不仅是技术的讲解，更侧重于如何根据业务需求，设计合理的ETL流程。我们将分享在实际项目中，如何应对源数据格式多样、数据量庞大、数据质量参差不齐等挑战，以及如何通过高效的转换逻辑，将原始数据转化为可用于分析的结构化信息。 数据仓库与数据集市： 介绍如何构建支持业务分析的数据仓库，以及根据不同业务部门需求构建数据集市。我们将探讨数据建模的原则，例如星型模型、雪花模型，以及如何确保数据的一致性和可追溯性。 主数据管理 (MDM) 的价值： 强调建立可信的、统一的 “主数据”（如客户、产品、供应商等核心实体信息）的重要性。我们将探讨MDM如何解决数据不一致、重复等问题，为企业提供可靠的决策基础。 数据的安全与合规性： 在信息准备阶段，数据安全与合规性 是不可忽视的环节。我们将探讨如何在数据的采集、存储、处理和共享过程中，遵守相关的法律法规（如GDPR、CCPA等），保护用户隐私，防止数据泄露。这部分内容将侧重于建立合规的流程和策略，而非具体的加密算法。 第二篇：信息共享——打破孤岛，赋能协作 高质量的数据准备是基础，但如果信息无法在需要的时候、传递给需要的人，其价值将大打折扣。本书的第二篇，将聚焦于 “信息的共享”，旨在打破企业内部的信息壁垒，促进数据的流动与协作。 构建共享的数据文化： 技术的实现离不开 “人的因素”。我们将探讨如何 培养一种开放、协作的数据共享文化。这包括： 打破部门壁垒： 鼓励跨部门的数据交流与合作，建立共享的数据意识。 数据素养的提升： 培训员工理解和使用数据的能力，让他们意识到数据在自身工作中的价值。 激励机制的设计： 建立有效的激励机制，鼓励员工主动分享数据和分析成果。 高效的数据访问与分发机制： 数据目录与元数据管理： 建立清晰、易于搜索的 “数据目录”，详细记录数据的来源、含义、质量、权限等 “元数据”。这将帮助用户快速找到所需数据，并了解其背景信息。我们将分享构建有效数据目录的实践经验。 数据服务化： 将数据封装成易于调用的 “数据服务”，允许其他应用程序通过API接口进行访问。这将极大提升数据的可用性和灵活性。我们将探讨服务化设计中的关键考虑因素，例如接口的标准化、性能优化。 自助式数据访问平台： 推广 “自助式数据访问” 的理念，通过提供易于使用的工具，让非技术人员也能访问和分析数据。我们将介绍这类平台的构成要素和使用场景。 数据治理与权限管理： 在共享数据的同时，数据治理 和 权限管理 是保障数据安全和合规性的关键。 角色与权限模型： 设计精细化的用户角色和数据访问权限模型，确保只有授权人员才能访问敏感数据。 数据所有权与责任： 明确数据的 “所有者” 和 “管理者”，建立清晰的责任体系。 数据生命周期管理： 规范数据的存储、归档和销毁流程，符合合规性要求。 跨组织的数据共享与合作： 在数字经济时代，企业之间的 “合作与生态” 越来越重要。本书也将探讨如何安全、合规地与外部伙伴进行 “数据共享”。 建立信任机制： 通过法律协议、技术手段等方式，建立合作伙伴之间的信任。 匿名化与去标识化技术： 在共享敏感数据时，采用匿名化和去标识化技术，保护个人隐私。 联合分析与数据协作平台： 探索通过联合分析等方式，实现多方数据融合，共同发现洞察，而无需暴露原始数据。 第三篇：信息分析——洞察价值，驱动决策 准备和共享了高质量的数据后，如何将其 “分析” 出有价值的 “洞察”，并驱动 “商业决策”，将是本书的核心议题。这部分内容将侧重于 “分析的思维” 和 “分析的应用”，而非具体的算法模型。 从数据到洞察——可视化分析的魔力： 数据可视化原则： 介绍有效的数据可视化原则，如何选择合适的图表类型，如何清晰、准确地传达信息，避免误导。我们将深入探讨不同可视化工具的应用场景。 仪表盘 (Dashboard) 设计： 如何设计能够实时反映业务状态、关键绩效指标 (KPI) 的仪表盘，帮助管理者快速掌握全局。 故事化叙事： 如何将分析结果以 “故事” 的形式呈现，引发共鸣，更容易被理解和接受。 不同层面的分析方法论： 描述性分析： 回答 “发生了什么？”。通过对历史数据的汇总、统计和可视化，了解业务现状。例如，销售报告、用户活跃度分析。 诊断性分析： 回答 “为什么会发生？”。深入挖掘数据背后的原因，找出问题的根源。例如，用户流失原因分析、营销活动效果不佳的原因。 预测性分析： 回答 “将来会发生什么？”。利用历史数据预测未来趋势，例如销售预测、客户流失预测。我们将侧重于解释预测模型的 “含义” 和 “应用”，而非复杂的建模过程。 规范性分析： 回答 “我们应该做什么？”。基于分析结果，提出具体的行动建议，优化决策。例如，根据用户行为推荐个性化产品，优化库存管理。 将分析结果转化为可执行的商业行动： 决策支持系统： 如何将分析平台与决策支持系统相结合，将洞察直接转化为行动指令。 A/B 测试与实验设计： 在实施新的策略或产品之前，如何通过A/B测试来验证其效果，用数据指导决策。 持续的反馈与优化循环： 分析是一个持续的过程，需要不断地收集反馈，优化分析模型和决策策略。 数据驱动的组织变革： 建立数据驱动的决策流程： 如何将数据分析的结果融入到日常的决策过程中，让数据成为决策的 “第一依据”。 赋能业务部门： 如何通过提供易于理解的分析工具和洞察，赋能业务部门自主地利用数据解决问题。 衡量与改进： 如何建立一套衡量数据驱动能力的指标体系，持续改进数据分析和应用的效果。 结语：数据价值的永恒追求 《数据驱动的未来：从海量信息中洞察商业价值》并非提供一个静态的解决方案，而是一种 持续演进的思维模式和实践框架。在瞬息万变的商业环境中，数据的价值只会越来越高，掌握如何有效地准备、共享和分析信息，将是企业在未来竞争中立于不败之地的关键。本书旨在为读者提供一条清晰的路径，帮助他们从海量信息中 “洞察商业价值”，最终实现可持续的增长和创新。本书的探讨，始终围绕着 “商业目标” 和 “价值实现”，致力于让数据真正成为企业发展的强大驱动力。
用户评价
评分
这本书给我带来的，不仅仅是知识的增长，更是思维方式的转变。我之前总以为大数据分析就是一些复杂的算法和模型，但这本书却让我看到了其背后的宏大图景。作者从信息的准备、共享到分析，层层递进，构建了一个完整的知识体系。最让我印象深刻的是“信息准备”这一部分，作者对数据质量的强调，让我开始重新审视自己过去处理数据的方式。书中关于异常值检测和数据去重的详细讲解，以及不同场景下选择不同策略的建议，都非常有启发性。我尤其欣赏作者对于数据标准化的论述，这让我认识到，统一的数据标准是实现有效数据共享和分析的前提。很多时候，我们都急于开始分析，却忽略了最基础的数据治理工作。这本书让我明白了，磨刀不误砍柴工，扎实的数据准备是大数据成功的关键。此外，对数据共享的探讨，也让我看到了大数据在促进协作和创新方面的巨大潜力。作者提出的几种数据共享模式，都非常具有实践价值。
评分这本书我还没来得及细读，但仅仅是翻阅，就能感受到作者深厚的功底和严谨的治学态度。它不是那种随随便便就能一览无余的速成指南，而是需要静下心来，反复品味，才能逐步领略其中奥妙的经典之作。我尤其欣赏其中对“信息准备”这一环节的细致探讨。在如今大数据泛滥的时代，数据的质量直接决定了分析的有效性。作者从数据采集的源头开始，深入剖析了数据清洗、去重、格式转换等一系列关键步骤，并辅以大量详实的案例，让我对如何构建可靠的数据基础有了全新的认识。例如，书中关于缺失值处理的几种策略，从简单填充到更复杂的插补方法，都提供了清晰的逻辑框架和实际操作的指导，远超我之前接触过的任何资料。此外，对于数据共享部分的讲解，也让我看到了作者对整个数据生命周期的全面考量。如何打破数据孤岛，如何确保数据安全与隐私，如何在不同部门、不同组织之间高效地流通数据，这些都是实际工作中经常遇到的难题，而这本书似乎为我们提供了一条可行的路径。尽管我还没有深入研究分析部分，但仅凭前期的铺垫，我就对接下来的内容充满了期待。
评分初读这本书，我便被其宏大的叙事和深刻的洞察力所折服。作者似乎拥有穿透表象直达本质的能力，将大数据这一复杂的主题，分解成易于理解的组成部分。我特别喜欢书中关于“信息准备”的论述，它不同于市面上许多简单罗列工具的书籍，而是深入挖掘了信息准备背后的逻辑和策略。作者以一种系统化的方式，引导读者理解数据采集、清洗、转换、集成等环节的精髓，并且提供了丰富多样的实践案例。例如，在处理高维稀疏数据时，作者提出的降维技术和特征选择方法，让我对如何有效地管理和利用海量特征有了更深的理解。更重要的是，作者强调了“质量”和“一致性”的重要性，这在我看来，是许多大数据项目失败的根源。这本书让我意识到，没有高质量的数据准备，后续再精妙的分析模型也可能成为无源之水。这种对基础环节的重视，也体现在对数据共享的讨论上，作者不仅探讨了共享的必要性，更深入分析了如何构建安全、高效的共享机制。
评分这是一本真正具有前瞻性和指导意义的著作。它没有过多地陷入技术细节的泥淖，而是从更宏观的视角，勾勒出了大数据生态系统的全貌。我认为，对于任何想要在这个领域有所建树的人来说，这本书都是必不可少的启蒙读物。书中关于信息准备的论述，我认为是其最大的亮点之一。作者清晰地阐述了为什么数据质量是大数据分析的基石，并详细介绍了各种应对数据噪声、不一致性和不完整性的技术手段。我尤其赞赏其中对数据治理和数据标准的强调，这在我看来，是确保大数据长期价值的关键。很多时候，我们只关注如何利用大数据，却忽略了如何管理好它。而这本书，恰恰弥补了这一认知上的空白。此外，关于数据共享部分的讨论，也让我受益匪浅。作者提出了构建开放、安全的数据共享平台的多种模式，这对于促进跨部门协作和产业协同具有重要的意义。在我看来，大数据真正的力量在于其共享和流通，而这本书则为我们指明了实现这一目标的具体方向。
评分读完这本书，我感觉自己的思维模式被彻底颠覆了。在接触这本书之前，我对“大数据”的理解还停留在一些模糊的概念和表面的技术堆砌上，总觉得它遥不可及，或者只是某些技术大牛才能玩转的领域。但这本书却用一种极其平实的语言，将大数据背后的核心原理娓娓道来，仿佛是把我带进了一个全新的世界。我最深刻的体会是，大数据之所以“大”，并不仅仅是数据量的庞大，更重要的是它所蕴含的“复杂性”。作者通过对信息准备、共享和分析三个环节的深入剖析，让我看到了这种复杂性是如何被层层剥离，最终转化为 actionable insights 的。特别是信息准备部分，我以前总觉得数据分析师的工作就是拿到数据直接开始建模，但这本书让我明白，前期的数据准备才是整个流程中最具挑战，也最耗费精力的部分。书中关于数据集成和转换的论述，让我对如何将分散、异构的数据源整合起来，形成一个统一、干净的数据集有了系统性的认识。我甚至开始反思自己过去的一些数据处理经验，发现很多时候因为对数据准备的忽视，导致了分析结果的偏差。
相关图书
本站所有内容均为互联网搜索引擎提供的公开搜索信息，本站不存储任何数据与内容，任何内容与数据均与本站无关，如有需要请联系相关搜索引擎包括但不限于百度，google,bing,sogou 等
© 2025 book.cndgn.com All Rights Reserved. 新城书站 版权所有