简体网页||繁体网页

☆☆☆☆☆

张良均 等 著 著

图书标签:

• Hadoop
• 大数据
• 数据挖掘
• 大数据分析
• 实战
• Java
• MapReduce
• HDFS
• Spark
• Hive

店铺： 蓝墨水图书专营店

出版社： 机械工业出版社

ISBN：9787111567875

商品编码：12800266015

开本：1

页数：1

字数：1

YL6573  9787111567875 9787111522652

Hadoop与大数据挖掘

这是一本适合教学和零基础自学的Hadoop与大数据挖掘的教程，即便你完全没有Hadoop编程基础和大数据挖掘基础，根据本书中的理论知识和上机实践，也能迅速掌握如何使用Hadoop进行大数据挖掘。全书主要分为两篇：基础篇（1-7章），首先从宏观上介绍了大数据相关概念和技术，然后逐一对Hadoop、Hive、HBase、Pig、Spark、Oozie等一系列大数据技术的概念、原理、架构，以及企业应用方法进行了详细介绍，同时配有大量的案例。掌握了这些内容，就具备了大数据技术的基础；挖掘实战篇（第8章），主要是一个企业级大数据应用项目——电子商务智能推荐系统。通过分析应用背景、构建系统，使读者了解针对系统的每一层应用使用什么大数据技术来解决问题。涉及的流程有数据采集、数据预处理、模型构建等，在每一个流程中会进行大数据相关技术实践，运用实际数据来进行分析，使读者切身感受到利用大数据技术解决问题的魅力。

前言 
篇　基础篇
第1章　浅谈大数据2
1.1　大数据概述3
1.2　大数据平台4
1.3　本章小结5
第2章　大数据存储与运算利器—Hadoop6
2.1　Hadoop概述6
2.1.1　Hadoop简介6
2.1.2　Hadoop存储—HDFS8
2.1.3　Hadoop计算—MapReduce11
2.1.4　Hadoop资源管理—YARN13
2.1.5　Hadoop生态系统14
2.2　Hadoop配置及IDE配置17
2.2.1　准备工作17
2.2.2　环境配置18
2.2.3　集群启动关闭与监控24
2.2.4　动手实践：一键式Hadoop集群启动关闭25
2.2.5　动手实践：Hadoop IDE配置26
2.3　Hadoop集群命令28

2.3.1　HDFS常用命令hdfs dfs30
2.3.2　动手实践：hdfs dfs命令实战31
2.3.3　MapReduce常用命令mapred job32
2.3.4　YARN常用命令yarn jar32
2.3.5　动手实践：运行MapReduce任务33
2.4　Hadoop编程开发33
2.4.1　HDFS Java API操作33
2.4.2　MapReduce原理35
2.4.3　动手实践：编写Word Count程序并打包运行44
2.4.4　MapReduce组件分析与编程实践46
2.5　K-Means算法原理及HadoopMapReduce实现53
2.5.1　K-Means算法原理53
2.5.2　动手实践：K-Means算法实现55
2.5.3　Hadoop K-Means算法实现思路55
2.5.4　Hadoop K-Means编程实现57
2.6　TF-IDF算法原理及HadoopMapReduce实现67
2.6.1　TF-IDF算法原理67
2.6.2　Hadoop TF-IDF编程思路67
2.6.3　Hadoop TF-IDF编程实现68
2.7　本章小结79
第3章　大数据查询—Hive81
3.1　Hive概述81
3.1.1　Hive体系架构82
3.1.2　Hive数据类型86
3.1.3　Hive安装87
3.1.4　动手实践：Hive安装配置91
3.1.5　动手实践：HiveQL基础—SQL91
3.2　HiveQL语句93
3.2.1　数据库操作94
3.2.2　Hive表定义94
3.2.3　数据导入100
3.2.4　数据导出103
3.2.5　HiveQL查询104
3.3　动手实践：基于Hive的学生信息查询108
3.4　基于Hive的航空公司客户价值数据预处理及分析109
3.4.1　背景与挖掘目标109
3.4.2　分析方法与过程111
3.5　本章小结115
第4章　大数据快速读写—HBase116
4.1　HBase概述116
4.2　配置HBase集群118
4.2.1　Zookeeper简介及配置118
4.2.2　配置HBase121
4.2.3　动手实践：HBase安装及运行122
4.2.4　动手实践：ZooKeeper获取HBase状态122
4.3　HBase原理与架构组件123
4.3.1　HBase架构与组件123
4.3.2　HBase数据模型127
4.3.3　读取/写入HBase数据128
4.3.4　RowKey设计原则129
4.3.5　动手实践：HBase数据模型验证131
4.4　HBase Shell操作132
4.4.1　HBase常用Shell命令132
4.4.2　动手实践：HBase Shell操作136
4.5　Java API &MapReduce;与HBase交互137
4.5.1　搭建HBase开发环境137
4.5.2　使用Java API操作HBase表144
4.5.3　动手实践：HBase Java API使用147
4.5.4　MapReduce与HBase交互147
4.5.5　动手实践：HBase表导入导出150
4.6　基于HBase的冠字号查询系统151
4.6.1　案例背景151
4.6.2　功能指标151
4.6.3　系统设计152
4.6.4　动手实践：构建基于HBase的冠字号查询系统162
4.7　本章小结175.........

Hadoop大数据分析与挖掘实战

本书充满了从多年投资与信贷业务中获得的深刻的洞察，讨论了广泛的议题，包括：现金CDO违约相关性贷款与贷款担保证券CDO权益级结构化产品CDO和担保品概览CDO套利新兴市场和市值型CDO及合成型CDO以及更多相关的议题CDO为那些能够理解其复杂性的人们提供了激动人心的机会。借助本书第2版的指导，读者能够理解并且利用这一变化的市场及其相关产品。 
前　言 
基　础　篇 
第1章　数据挖掘基础2
1.1　某知名连锁餐饮企业的困惑2
1.2　从餐饮服务到数据挖掘3
1.3　数据挖掘的基本任务4
1.4　数据挖掘建模过程4
1.4.1　定义挖掘目标4
1.4.2　数据取样5
1.4.3　数据探索6
1.4.4　数据预处理12
1.4.5　挖掘建模14
1.4.6　模型评价14
1.5　餐饮服务中的大数据应用15
1.6　小结15
第2章　Hadoop基础16
2.1　概述16
2.1.1　Hadoop简介16
2.1.2　Hadoop生态系统17
2.2　安装与配置19
2.3　Hadoop原理26
2.3.1　Hadoop HDFS原理26
2.3.2　Hadoop MapReduce原理27
2.3.3　Hadoop YARN原理28
2.4　动手实践30
2.5　小结33
第3章　Hadoop生态系统：Hive34
3.1　概述34
3.1.1　Hive简介34
3.1.2　Hive安装与配置35
3.2　Hive原理38
3.2.1　Hive架构38
3.2.2　Hive的数据模型40
3.3　动手实践41
3.4　小结45
第4章　Hadoop生态系统：HBase46
4.1　概述46
4.1.1　HBase简介46
4.1.2　HBase安装与配置47
4.2　HBase原理50
4.2.1　HBase架构50
4.2.2　HBase与RDBMS51
4.2.3　HBase访问接口52
4.2.4　HBase数据模型53
4.3　动手实践54
4.4　小结61
第5章　大数据挖掘建模平台62
5.1　常用的大数据平台62
5.2　TipDM-HB大数据挖掘建模平台63
5.2.1　TipDM-HB大数据挖掘建模平台的功能63
5.2.2　TipDM-HB大数据挖掘建模平台操作流程及实例65
5.2.3　TipDM-HB大数据挖掘建模平台的特点67
5.3　小结68
第6章　挖掘建模69
6.1　分类与预测69
6.1.1　实现过程69
6.1.2　常用的分类与预测算法70
6.1.3　决策树71
6.1.4　Mahout中Random Forests算法的实现原理75
6.1.5　动手实践79
6.2　聚类分析83
6.2.1　常用聚类分析算法83
6.2.2　K-Means聚类算法84
6.2.3　Mahout中K-Means算法的实现原理88
6.2.4　动手实践90
6.3　关联规则93
6.3.1　常用的关联规则算法93
6.3.2　FP-Growth关联规则算法94
6.3.3　Mahout中Parallel Frequent Pattern Mining算法的实现原理98
6.3.4　动手实践100
6.4　协同过滤102
6.4.1　常用的协同过滤算法102
6.4.2　基于项目的协同过滤算法简介102
6.4.3　Mahout中Itembased Collaborative Filtering算法的实现原理103
6.4.4　动手实践106
6.5　小结109
实　战　篇
第7章　法律咨询数据分析与服务推荐112
7.1　背景与挖掘目标112
7.2　分析方法与过程114
7.2.1　数据抽取120
7.2.2　数据探索分析120
7.2.3　数据预处理125
7.2.4　模型构建130
7.3　上机实验139
7.4　拓展思考140
7.5　小结145........

《图解大数据：从入门到精通》 内容简介： 大数据时代已然来临，海量数据的涌现与分析需求，使得大数据技术成为驱动企业创新与发展的核心引擎。然而，对于许多初学者而言，大数据技术体系庞杂，概念抽象，如何快速有效地掌握其精髓，并将其应用于实际工作，成为亟待解决的难题。《图解大数据：从入门到精通》正是为填补这一空白而创作。本书以直观易懂的图解方式，系统地梳理了大数据技术的各个环节，从基础概念的普及，到核心技术原理的剖析，再到实际应用的落地，层层递进，力求让读者在轻松愉快的阅读体验中，搭建起扎实的大数据知识体系。 本书共分为四个部分： 第一部分：大数据启蒙与基础认知 在本部分，我们将带领读者从宏观层面认识大数据。首先，我们会深入浅出地阐述“大数据”究竟是什么，它为何如此重要，以及它将如何改变我们的生活和工作。通过生动形象的比喻和案例，我们将大数据蕴含的“4V”特征（Volume、Velocity、Variety、Value）进行可视化解读，帮助读者建立起对大数据最直观的理解。 接着，我们将介绍大数据技术发展的历史脉络，以及其在不同领域的应用场景。从互联网的兴起到物联网的普及，再到人工智能的浪潮，我们将梳理大数据技术是如何一步步演进并渗透到各行各业的。读者将了解到大数据在金融风控、精准营销、智能医疗、智慧城市等领域的实际应用案例，从而激发学习的兴趣和动力。 此外，本部分还将对构建大数据技术栈所需的关键技术进行初步介绍，包括数据存储、数据处理、数据分析以及数据可视化等。我们会简要提及一些主流的大数据技术名词，例如分布式文件系统、分布式计算框架、数据库等，但不会深入讲解其技术细节，旨在为后续更深入的学习打下铺垫。 第二部分：核心技术剖析与原理揭秘 进入第二部分，我们将深入大数据技术的核心。本部分是本书的重头戏，我们将聚焦于大数据领域最重要、最核心的技术栈，并以大量的图解来阐释其工作原理。 首先，我们将详细讲解分布式文件系统（DFS），以 Apache Hadoop 的 HDFS 为例，通过清晰的架构图和流程图，剖析其主从架构、数据块的存储与副本机制、 Namenode 和 Datanode 的职责、以及读写数据的整个流程。我们会用生动的比喻来解释文件如何被切分成块，如何在多个节点上冗余存储，以及 namenode 如何管理元数据，确保数据的可靠性和高可用性。 紧接着，我们将重点介绍分布式计算框架，同样以 Apache Hadoop MapReduce 和 Apache Spark 为主要内容。对于 MapReduce，我们将通过图示演示其 Map 和 Reduce 阶段的工作流程，解释数据是如何被分割、处理、聚合的。对于 Spark，我们将着重讲解其内存计算的优势，RDD（弹性分布式数据集）的概念，以及 Spark SQL、Spark Streaming、MLlib 等组件的功能和应用。我们将用形象的图示来展示 Spark 的 DAG（有向无环图）调度机制，以及它如何通过迭代计算大幅提升性能。 此外，我们还将对数据仓库与数据湖的概念进行区分和讲解。通过图解，读者将理解数据仓库的结构化特点和OLAP分析能力，以及数据湖的灵活性和对半结构化、非结构化数据的支持。我们会解释它们在企业数据战略中的不同作用。 本部分还将涉及NoSQL数据库的入门介绍，如 HBase、Cassandra 等，阐述它们与传统关系型数据库的区别，以及在应对大数据场景下的优势，例如其高可扩展性和灵活的数据模型。 第三部分：数据处理与分析实战 掌握了核心技术之后，第三部分将带领读者将这些技术转化为实际的生产力。本部分将侧重于数据处理和分析的实操层面，通过一系列的实例和流程图，指导读者如何进行实际的数据应用。 我们将详细讲解数据抽取、转换和加载（ETL）的流程。通过图解，读者将了解如何从各种数据源（如数据库、日志文件、API 等）抽取数据，如何对数据进行清洗、去重、格式化等转换操作，以及如何将处理后的数据加载到目标存储系统中。我们会介绍常用的 ETL 工具和技术。 在数据分析方面，本部分将涵盖数据挖掘的基本概念和常用算法。我们会以图解的方式解释诸如分类（如决策树、支持向量机）、聚类（如 K-Means）、关联规则挖掘（如 Apriori 算法）等经典算法的原理和应用场景。读者将理解这些算法是如何从海量数据中发现有价值的模式和规律的。 此外，我们还将介绍数据可视化的重要性，并通过图示展示如何使用 Tableau、Power BI 等工具，将分析结果以直观的图表形式呈现出来，帮助决策者快速理解数据，做出明智的决策。我们将展示不同类型图表的选择和最佳实践。 本部分还会提及流式数据处理的概念，介绍 Apache Storm、Apache Flink 等实时计算框架，以及它们在实时推荐、异常检测等场景的应用。 第四部分：大数据生态与未来展望 在本书的最后一部分，我们将带领读者跳出单个技术的束缚，放眼整个大数据生态系统，并展望未来的发展趋势。 本部分将介绍大数据生态系统的构成，包括存储、计算、分析、管理、安全等各个环节的关键技术和项目，例如 Apache Hadoop 生态中的 HDFS、MapReduce、YARN，以及 Spark、Kafka、Hive、HBase、ZooKeeper 等一系列项目。我们将通过一张概览图，清晰地展示它们之间的关系和协作方式。 我们将深入探讨云时代的大数据。通过图解，读者将了解公有云、私有云、混合云在大数据架构中的作用，以及 AWS、Azure、GCP 等云厂商提供的大数据服务。我们将解释如何在云平台上弹性地部署和扩展大数据解决方案。 最后，我们将对大数据技术的未来发展趋势进行展望。我们将讨论人工智能与大数据的深度融合，边缘计算带来的新的数据处理模式，以及数据隐私和安全在新兴技术中的挑战。我们会预测大数据技术将如何继续赋能各行各业，驱动下一轮的科技革命。 本书特色： 图解至上： 全书运用大量的图表、流程图、架构图，将抽象的技术概念可视化，让学习过程更轻松、更高效。 循序渐进： 从基础概念到核心技术，再到实战应用，内容安排逻辑清晰，难度逐步提升，适合不同层次的读者。 全面覆盖： 涵盖了大数据领域最核心和最常用的技术栈，为读者构建起一套完整的知识体系。 理论与实践结合： 在讲解技术原理的同时，融入了大量的实际应用场景和案例分析，帮助读者将理论知识转化为实践能力。 语言通俗易懂： 避免使用过于专业的术语，用简洁明了的语言解释复杂的技术概念。 《图解大数据：从入门到精通》不仅仅是一本技术书籍，更是一张通往大数据世界的大门票。无论您是想转行进入大数据领域，还是希望提升现有工作中的数据处理与分析能力，本书都将是您不可或缺的学习伴侣。翻开本书，开启您的精彩大数据之旅！

评分☆☆☆☆☆

这本书的逻辑结构非常清晰，让我能够循序渐进地掌握大数据挖掘的精髓。 我一直认为，学习任何一门技术，清晰的逻辑和循序渐进的讲解是最重要的。这套《Hadoop大数据分析与挖掘实战》系列就做到了这一点。它不是将各种零散的知识点堆砌在一起，而是将大数据挖掘的整个流程，从数据采集、存储、处理，到分析、建模、应用，都进行了系统性的梳理和讲解。书中每一章的内容都紧密衔接，层层递进，让我能够很容易地理解不同技术和工具之间的关系。我尤其喜欢书中对不同数据挖掘算法的讲解，它不仅介绍了算法的原理，还详细讲解了如何在 Hadoop 和 Spark 环境下实现这些算法，并且提供了具体的代码示例。这让我能够真正地将理论知识转化为实践能力。我尝试着书中提供的模型，并在真实的数据集上进行了验证，效果非常好。这本书让我明白，大数据挖掘并不是什么神秘的技术，而是可以通过系统性的学习和大量的实践来掌握的。它让我对大数据技术产生了浓厚的兴趣，也让我对未来的学习方向更加明确。

评分☆☆☆☆☆

绝对的“干货”满满，适合有一定基础的进阶学习者！ 我之前已经对 Hadoop 有了一些初步的了解，学习了一些基础的 MapReduce 编程，但总感觉理论和实践之间存在一道鸿沟，很多实际应用中的问题还是束手无策。这套书恰好填补了我这方面的知识空白。它没有花太多篇幅去讲那些已经被广泛传播的基础知识，而是直接切入了大数据挖掘的核心技术和实战应用。书中对 Spark、Hive、HBase 等主流大数据组件的讲解非常深入，并且结合了大量的实际案例，比如如何利用 Spark 进行实时数据流处理，如何用 Hive 构建数据仓库进行复杂分析，以及如何用 HBase 实现海量数据的快速查询。我特别欣赏的是书中的案例分析，不仅仅是简单地给出代码，还会详细解释背后的原理和设计思路，让我能够理解为什么这样做，以及在不同场景下如何灵活运用。我尝试着书中提供的代码，并在自己的实验环境中运行，发现效果非常好，解决了我之前遇到的不少技术难题。对于已经熟悉 Hadoop 基础，想要在数据挖掘和分析领域更进一步的读者来说，这套书绝对是不可多得的宝藏。它让我看到了大数据技术更广阔的应用前景，也让我对未来的职业发展有了更清晰的规划。

评分☆☆☆☆☆

这套书简直是大数据学习者的“启蒙圣经”！ 作为一个刚接触大数据领域的小白，我之前总是被各种专业术语和复杂的概念弄得头晕脑胀，感觉自己像个无头苍蝇，不知道从何下手。直到我遇到了这套《Hadoop大数据分析与挖掘实战》和《包邮 Hadoop与大数据挖掘》，我才真正找到了学习的方向。书中从 Hadoop 的基础概念讲起，一步步深入到实际应用，就像一位耐心的老师，把我从最基础的 Hadoop 安装配置，到 MapReduce 的原理，再到 HDFS 的文件系统操作，都讲得明明白白。我最喜欢的是它的实战部分，提供了很多贴近实际业务场景的案例，比如如何利用 Hadoop 对海量用户日志进行分析，如何构建推荐系统等等。我跟着书里的步骤一步步操作，从最初的困惑到最后的豁然开朗，那种成就感真的无与伦比。而且，书中的代码示例清晰易懂，让我能够快速上手，并且在实践中不断巩固和加深理解。以前觉得大数据高不可攀，现在觉得它其实就在我们身边，触手可及。这套书不仅仅是知识的传授，更是让我看到了大数据技术在解决实际问题中的强大力量，极大地激发了我深入学习的兴趣和动力。

评分☆☆☆☆☆

这本书的深度和广度都让我惊叹，真正做到了“实战”二字！ 作为一名资深的数据挖掘工程师，我一直在寻找能够真正提升我实战技能的书籍，而不是那些停留在理论层面的教材。这套《Hadoop大数据分析与挖掘实战》系列，在我看来，就是为我们这类从业者量身打造的。它不仅仅是简单地介绍 Hadoop 的生态系统，而是深入探讨了如何将 Hadoop 与各种先进的数据挖掘算法相结合，解决实际业务问题。书中关于机器学习算法在 HDFS 上的实现，以及如何利用 Spark MLlib 进行大规模模型训练的章节，对我来说是最大的亮点。我尝试了书中提到的特征工程、模型选择和调优的各种方法，发现它们在实际项目中都取得了非常显著的效果。而且，书中的案例涵盖了金融风控、电商用户画像、社交网络分析等多个领域，让我能够触类旁通，将学到的知识应用到我自己的工作中。我尤其喜欢书中对大数据架构设计的讨论，以及如何在复杂的数据环境中保证数据质量和分析效率。这套书让我对大数据分析和挖掘的理解进入了一个新的层次，也让我更加自信地面对工作中遇到的各种挑战。

评分☆☆☆☆☆

性价比超高，内容更新及时，绝对是入门和进阶的“双保险”！ 以前购买技术书籍，最怕的就是内容滞后，学到的知识很快就过时了。但这套《Hadoop大数据分析与挖掘实战》系列，在内容上明显做了大量的更新，很多章节都涵盖了最新的技术发展和行业趋势，比如对云计算平台上的大数据解决方案的介绍，以及对数据湖、数据中台等新兴概念的探讨。这让我觉得物超所值。作为一个还在学习阶段的程序员，我最看重的是书籍的易读性和实践性。这本书在这两方面都做得非常出色。它的语言通俗易懂，即使是复杂的概念，也能通过生动的比喻和形象的图示变得容易理解。同时，书中提供了大量的代码示例和详细的操作步骤，让我可以边学边练，快速掌握相关的技术。而且，这本书的定价也非常合理，相比市面上其他同类书籍，它的内容更加丰富，质量也更高。我觉得无论是想要入门大数据领域的新手，还是希望提升自己技能的进阶学习者，都能在这套书中找到自己需要的东西。它就像一个全能的“学习伙伴”，能够陪伴我走过大数据学习的整个过程。