ELK Stack权威指南 第2版+深入理解ElasticSearch 实时数据分析

ELK Stack权威指南 第2版+深入理解ElasticSearch 实时数据分析 pdf epub mobi txt 电子书 下载 2025

图书标签:
  • ELK Stack
  • Elasticsearch
  • Logstash
  • Kibana
  • 数据分析
  • 实时数据
  • 搜索
  • 运维
  • 大数据
  • 开发
想要找书就要到 新城书站
立刻按 ctrl+D收藏本页
你会得到大惊喜!!
店铺: 蓝墨水图书专营店
出版社: 机械工业出版社
ISBN:9787111563297
商品编码:14505057565

具体描述

ELK Stack权威指南 第2版+深入理解ElasticSearch 

9787111563297  9787111524168

ELK Stack权威指南 第2版

 

     

    定价:¥79.00作者:
    • I S B N :978-7-111-56329-7
    • 条码书号:9787111563297
    • 上架日期:2017-5-2
    • 出版日期:2017-5-1
    • 版       次:2-1
    • 出 版 社:
    • 丛 书 名: 
    • 页     数:401    

    内容简介

    ELK是Elasticsearch、Logstash、Kibana三个开源软件的组合,是目前开源界流行的实时数据分析方案,成为实时日志处理领域开源界的第壹选择。然而,ELK也并不是实时数据分析界的灵丹妙药,使用不恰当,反而会事倍功半。本书对ELK的原理进行了解剖,不仅分享了大量实战案例和实现效果,而且分析了部分源代码,使读者不仅知其然还知其所以然。读者可通过本书的学习,快速掌握实时日志处理方法,并搭建符合自己需要的大数据分析系统。本书分为三大部分,第壹部分“Logstash”介绍Logstash的安装与配置、场景示例、性能与测试、扩展方案、源码解析、插件开发等,第二部分“Elasticsearch”介绍Elasticsearch的架构原理、数据接口用例、性能优化、测试和扩展方案、映射与模板的定制、监控方案等,第三部分“Kibana”介绍Kibana3和Kibana5的特点对比,Kibana的配置、案例与源代码解析。

    目 录Contents

    前 言

    ,部分 Logstash

    第1章 入门示例     3

    1.1 下载安装   3

    1.2 Hello World  4

    1.3 配置语法    8

    1.3.1 语法     8

    1.3.2 命令行参数    10

    1.3.3 设置文件示例    11

    1.4 插件安装   12

    1.5 长期运行方式    13

    第2章 插件配置    15

    2.1 输入插件    15

    2.1.1 标准输入    16

    2.1.2 文件输入    17

    2.1.3 TCP输入    18

    2.1.4 syslog输入    19

    2.1.5 http_poller抓取    21

    2.2 编解码配置    22

    2.2.1 JSON编解码    23

    2.2.2 多行事件编码    24

    2.2.3 网络流编码    26

    2.2.4 collectd输入    27

    2.3 过滤器配置    30

    2.3.1 date时间处理    30

    2.3.2 grok正则捕获    33

    2.3.3 dissect解析    35

    2.3.4 GeoIP地址查询    36

    2.3.5 JSON编解码    38

    2.3.6 key-value切分    38

    2.3.7 metrics数值统计    40

    2.3.8 mutate数据修改    41

    2.3.9 随心所欲的Ruby处理    45

    2.3.10 split拆分事件    47

    2.3.11 交叉日志合并    48

    2.4 输出插件    49

    2.4.1 输出到Elasticsearch    49

    2.4.2 发送email    54

    2.4.3 调用系统命令执行    54

    2.4.4 保存成文件  55

    2.4.5 报警发送到Nagios    56

    2.4.6 statsd    58

    2.4.7 标准输出stdout    61

    2.4.8 TCP发送数据    62

    2.4.9 输出到HDFS    62

    第3章 场景示例    64

    3.1 Nginx访问日志    64

    3.1.1 grok处理方式    64

    3.1.2 split处理方式    65

    3.1.3 JSON格式    68

    3.1.4 syslog方式发送    69

    3.2 Nginx错误日志    69

    3.3 Postfix日志      71

    3.4 Ossec日志    72

    3.4.1 配置所有Ossec agent采用syslog输出    72

    3.4.2 配置Logstash    72

    3.4.3 推荐Kibana仪表盘    73

    3.5 Windows系统日志    73

    3.5.1 采集端配置    73

    3.5.2 接收解析端配置    75

    3.6 Java日志    77

    3.6.1 Log4J配置    77

    3.6.2 Logstash配置    78

    3.6.3 异常堆栈测试验证    78

    3.6.4 JSON Event layout    79

    3.7 MySQL慢查询日志    80

    3.8 Docker日志    82

    3.8.1 记录到主机磁盘    82

    3.8.2 通过logspout收集    83

    第4章 性能与监控    85

    4.1 性能测试    85

    4.1.1 配置示例    85

    4.1.2 使用方式    86

    4.1.3 额外的话    87

    4.2 监控方案    87

    4.2.1 logstash-input-heartbeat心跳检测方式    88

    4.2.2 JMX启动参数方式    89

    4.2.3 API方式    90

    第5章 扩展方案    94

    5.1 通过Redis队列扩展    95

    5.1.1 读取Redis数据    95

    5.1.2 采用list类型扩展Logstash    96

    5.1.3 输出到Redis    97

    5.2 通过Kafka队列扩展    98

    5.2.1 Kafka基础概念    99

    5.2.2 Input配置    100

    5.2.3 Output配置    101

    5.2.4 性能    103

    5.3 logstash-forwarder    103

    5.3.1 Indexer端配置    104

    5.3.2 Shipper端配置    104

    5.3.3 AIX上的logstash-forwarder-java    106

    5.4 Rsyslog    107

    5.4.1 常用模块介绍    107

    5.4.2 与Logstash合作    109

    5.4.3 Mmexternal模块    109

    5.5 Nxlog    112

    5.6 Heka    114

    5.7 Fluentd    115

    5.7.1 配置示例    115

    5.7.2 Fluentd插件    117

    5.8 Message::Passing    117

    第6章 Logstash源码解析    119

    6.1 Pipeline    120

    6.2 Plugins    122

    第7章 插件开发    125

    7.1 插件格式    125

    7.2 插件的关键方法    126

    7.3 插件打包    127

    7.4 Filter插件开发示例    128

    7.4.1 mmdb数据库的生成方法    129

    7.4.2 LogStash::Filters::Mmdb实现    130

    7.4.3 logstash-filter-mmdb打包    131

    7.5 Input插件开发示例    132

    7.5.1 FileWatch模块原理    132

    7.5.2 LogStash::Inputs::Utmp实现    133

    7.6 Output插件开发示例    136

    第8章 Beats    138

    8.1 libbeat的通用配置    138

    8.1.1 过滤器配置    138

    8.1.2 输出配置    139

    8.1.3 shipper网络配置    142

    8.1.4 日志配置    142

    8.1.5 运行配置    142

    8.2 Filebeat    142

    8.2.1 安装部署    143

    8.2.2 配置    144

    8.2.3 生成的可用字段    145

    8.3 packetbeat抓包分析    145

    8.3.1 安装部署    146

    8.3.2 配置示例     146

    8.3.3 dashboard效果    147

    8.3.4 Kibana 3拓扑图    148

    8.4 metricbeat    150

    8.4.1 配置示例    152

    8.4.2 各模块输出指标示例    152

    8.4.3 采集Docker中的指标    164

    8.5 winlogbeat    164

    第二部分 Elasticsearch

    第9章 架构原理    169

    9.1 准实时索引的实现    169

    9.1.1 动态更新的Lucene索引    169

    9.1.2 利用磁盘缓存实现的准实时检索    170

    9.1.3 translog提供的磁盘同步控制    171

    9.2 segment merge的影响    172

    9.2.1 归并线程配置    173

    9.2.2 归并策略    174

    9.2.3 forcemerge接口    174

    9.3 routing和replica的读写过程    174

    9.3.1 路由计算     175

    9.3.2 副本一致性    175

    9.4 shard的allocate控制    176

    9.4.1 reroute接口    178

    9.4.2 分配失败原因    179

    9.4.3 节点下线    180

    9.4.4 冷热数据的读写分离    180

    9.5 自动发现的配置     181

    第10章 数据接口用例    183

    10.1 增删改查操作    183

    10.2 搜索请求    185

    10.2.1 全文搜索    185

    10.2.2 聚合请求    187

    10.2.3 pipeline聚合    189

    10.2.4 搜索请求参数    191

    10.3 脚本    192

    10.3.1 动态提交    192

    10.3.2 固定文件    193

    10.3.3 其他语言    194

    10.4 重建索引    194

    10.4.1 Perl客户端    194

    10.4.2 用Logstash重建索引    195

    10.4.3 新reindex接口的应用    195

    10.5 Spark Streaming交互    197

    第11章 性能优化    199

    11.1 bulk提交    199

    11.1.1 bulk大小    200

    11.1.2 UDP方式    200

    11.2 gateway配置    201

    11.3 集群状态维护    202

    11.4 缓存    206

    11.4.1 filter缓存    206

    11.4.2 shard reguest缓存    207

    11.4.3 field_stats 接口    208

    11.5 字段数据    209

    11.5.1 Circuit Breaker    209

    11.5.2 doc values    210

    11.6 curator工具    212

    11.6.1 参数介绍    213

    11.6.2 常用示例    214

    11.7 profiler调试接口    214

    第12章 测试和扩展方案    217

    12.1 测试方案    217

    12.2 多集群互联    220

    12.3 puppet-elasticsearch模块的使用   223

    12.3.1 安装和配置示例    223

    12.3.2 配置解释    224

    12.4 计划内停机升级的操作流程    224

    12.5 Shield权限管理    227

    12.5.1 Shield架构    227

    12.5.2 安装部署    227

    12.6 searchguard权限管理    229

    12.6.1 安装    229

    12.6.2 权限角色配置    231

    12.6.3 其他组件配置方式    233

    12.7 别名的应用    234

    12.7.1 索引更名时的无缝切换    234

    12.7.2 限制索引数据部分可读    236

    12.8 快照与恢复    237

    12.8.1 HDFS插件安装配置    237

    12.8.2 Hadoop配置    238

    12.8.3 备份操作    240

    12.9 rollover和shrink管理    240

    12.9.1 rollover管理    240

    12.9.2 shrink缩容    241

    12.10 ingest节点    243

    12.10.1 创建管道流    243

    12.10.2 测试管道流    243

    12.10.3 处理器    244

    第13章 映射与模板的定制    246

    13.1 映射的增删改查    246

    13.2 Elasticsearch的核心类型    248

    13.3 自定义字段映射    249

    13.3.1 精确索引    249

    13.3.2 时间格式    249

    13.3.3 多重索引    250

    13.4 特殊字段    250

    13.5 动态模板映射    251

    13.6 索引模板    252

    第14章 监 控 方 案    254

    14.1 监控相关接口    254

    14.1.1 集群健康状态    254

    14.1.2 节点状态    257

    14.1.3 热线程状态    264

    14.1.4 索引状态    265

    14.1.5 任务管理       266

    14.1.6 cat接口的命令行使用    268

    14.2 日志记录    271

    14.3 实时bigdesk方案    272

    14.4 cerebro    274

    14.5 Zabbix trapper方案    275

    14.5.1 安装配置    275

    14.5.2 模板应用    276

    第15章 Elasticsearch在运维监控领域的其他应用    278

    15.1 Percolator接口    278

    15.2 Watcher报警    281

    15.3 ElastAlert    284

    15.3.1 安装    284

    15.3.2 配置结构    284

    15.3.3 扩展    286

    15.4 时序数据库    288

    15.5 Etsy的Kale异常检测    290

    15.6 Grafana可视化    291

    15.6.1 安装    291

    15.6.2 配置数据源    292

    15.6.3 生成,个图表    293

    15.6.4 模板功能    295

    15.6.5 在线资源     300

    15.7 Juttle可视化    301

    15.7.1 安装部署    302

    15.7.2 命令行运行示例    302

    15.7.3 可视化界面    304

    15.7.4 可视化相关指令介绍    304

    第三部分 Kibana

    第16章 Kibana的产品对比    309

    16.1 Kibana 3的设计思路和功能    309

    16.2 Kibana 5的设计思路和功能    310

    16.3 与Hadoop体系的区别    310

    16.4 Splunk场景参考    311

    第17章 Kibana 5    312

    17.1 安装、配置和运行    313

    17.2 生产环境部署    314

    17.2.1 Nginx代理配置    316

    17.2.2 开启SSL    317

    17.3 Discover功能    318

    17.3.1 设置时间过滤器    318

    17.3.2 搜索数据    319

    17.3.3 按字段过滤    321

    17.3.4 过滤器的协同工作方式    321

    17.3.5 查看文档数据    323

    17.4 各种可视化功能    324

    17.4.1 area    326

    17.4.2 table    329

    17.4.3 line    330

    17.4.4 Markdown     331

    17.4.5 metric    331

    17.4.6 pie    332

    17.4.7 tile map    332

    17.4.8 vertical bar    334

    17.4.9 tagcloud    335


    基本信息
    商品名称:深入理解ElasticSearch
    作者:(美)酷奇开本: 
    定价:69页数: 
    现价:见顶部出版时间2016-01
    ISBN号:9787111524168印刷时间: 
    出版社:机械工业出版社版次: 
    商品类型:图书印次: 
    内容提要 作者简介About the Authors 作 者 简 介Rafa Ku是一个很有天资的团队领袖及软件开发人员,现任Sematext集团公司的咨询专家及软件工程师,专注于开源技术,如Apache Lucene、Solr、ElasticSearch和Hadoop stack等,拥有超过11年的软件研发经验,涉及领域广阔,从银行软件到电子商务产品。他主要侧重于Java平台,但对能提高研发效率的任何其他工具或编程语言都抱有极高的热情。同时他也是solr.pl网站的创始人之一,该网站致力于帮助人们解决Solr和Lucene的相关问题。他还是世界范围内各种会议热邀的演讲嘉宾,曾受邀出席过Lucene Eurocon、Berlin Buzzwords、ApacheCon、Lucene Revolution等会议。
    Rafa*早于2002年接触Lucene,一开始他并不喜欢这个开源产品,然而在2003年再次使用Lucene时,他改变了自己的看法,并看到了搜索技术的巨大潜力,随后Solr诞生了。Rafa于2010年开始使用ElasticSearch,目前主要关注Lucene、Solr、ElasticSearch和信息检索等方面。
    Rafa是《Solr 3.1 Cookbook》一书及其后续版本《Solr 4.0 Cookbook》的作者,同时也是Packt Publishing出版的所有版本的《ElasticSearch Server》的合著者之一。
    Marek Rogoziński是一个有着10多年经验的软件架构师和咨询师,专注基于开源搜索引擎(如Solr、ElasticSearch等)的解决方案和大数据分析技术(Hadoop、HBase、Twitter Storm等)。
    他是solr.pl网站的联合创始人之一,该网站致力于提供Solr和Lucene的相关资讯,同时他也是Packt Publishing出版的《ElasticSearch Server》的作者之一。
    Marek Rogoziński还是一家提供流式大数据处理和分析产品的公司的CTO。目录目 录 Contents
    译者序
    前言
    致谢
    作者简介
    评审者简介
    第1章 ElasticSearch简介1
    1.1 Apache Lucene简介1
    1.1.1 熟悉Lucene2
    1.1.2 Lucene的总体架构2
    1.1.3 分析你的数据3
    1.1.4 Lucene查询语言4
    1.2 ElasticSearch简介6
    1.2.1 ElasticSearch的基本概念7
    1.2.2 ElasticSearch架构背后的关键概念8
    1.2.3 ElasticSearch的工作流程9
    1.3 小结13
    第2章 查询DSL进阶14
    2.1 Apache Lucene默认评分公式解释14
    2.1.1 何时文档被匹配上15
    2.1.2 TF/IDF评分公式15
    2.1.3 ElasticSearch如何看评分16
    2.2 查询改写17
    2.2.1 前缀查询范例17
    2.2.2 回顾Apache Lucene19
    2.2.3 查询改写的属性20
    2.3 二次评分21
    2.3.1 理解二次评分21
    2.3.2 范例数据21
    2.3.3 查询22
    2.3.4 二次评分查询的结构22
    2.3.5 二次评分参数配置23
    2.3.6 小结24
    2.4 批量操作24
    2.4.1 批量取24
    2.4.2 批量查询26
    2.5 排序27
    2.5.1 基于多值字段的排序28
    2.5.2 基于多值geo字段的排序28
    2.5.3 基于嵌套对象的排序30
    2.6 数据更新API31
    2.6.1 简单字段更新31
    2.6.2 使用脚本按条件更新32
    2.6.3 使用更新 API创建或删除文档33
    2.7 使用过滤器优化查询33
    2.7.1 过滤器与缓存34
    2.7.2 词项查找过滤器36
    2.8 ElasticSearch切面机制中的过滤器与作用域40
    2.8.1 范例数据40
    2.8.2 切面计算和过滤41
    2.8.3 过滤器作为查询的一部分42
    2.8.4 切面过滤器44
    2.8.5 全局作用域45
    2.9 小结47
    第3章 底层索引控制48
    3.1 改变Apache Lucene的评分方式48
    3.1.1 可用的相似度模型49
    3.1.2 为每字段配置相似度模型49
    3.2 相似度模型配置50
    3.2.1 选择默认的相似度模型51
    3.2.2 配置被选用的相似度模型52
    3.3 使用编解码器53
    3.3.1 简单使用范例53
    3.3.2 工作原理解释54
    3.3.3 可用的倒排表格式55
    3.3.4 配置编解码器56
    3.4 准实时、提交、更新及事务日志58
    3.4.1 索引更新及更新提交59
    3.4.2 事务日志60
    3.4.3 准实时读取62
    3.5 深入理解数据处理62
    3.5.1 输入并不总是进行文本分析62
    3.5.2 范例的使用65
    3.5.3 索引期更换分词器67
    3.5.4 搜索时更换分析器68
    3.5.5 陷阱与默认分析68
    3.6 控制索引合并68
    3.6.1 选择正确的合并策略69
    3.6.2 合并策略配置70
    3.6.3 调度72
    3.7 小结73
    第4章 分布式索引架构74
    4.1 选择合适的分片和副本数74
    4.1.1 分片和过度分配75
    4.1.2 一个过度分配的正面例子75
    4.1.3 多分片与多索引76
    4.1.4 副本76
    4.2 路由76
    4.2.1 分片和数据77
    4.2.2 测试路由功能77
    4.2.3 索引时使用路由80
    4.2.4 别名83
    4.2.5 多个路由值83
    4.3 调整默认的分片分配行为84
    4.3.1 分片分配器简介84
    4.3.2 even_shard 分片分配器84
    4.3.3 balanced分片分配器85
    4.3.4 自定义分片分配器85
    4.3.5 裁决者86
    4.4 调整分片分配88
    4.4.1 部署意识89
    4.4.2 过滤91
    4.4.3 运行时更新分配策略92
    4.4.4 确定每个节点允许的总分片数93
    4.4.5 更多的分片分配属性96
    4.5 查询执行偏好97
    4.6 应用我们的知识99
    4.6.1 基本假定99
    4.6.2 配置100
    4.6.3 变化来了104
    4.7 小结105
    第5章 管理ElasticSearch106
    5.1 选择正确的目录实现-存储模块106
    5.2 发现模块的配置109
    5.2.1 Zen发现109
    5.2.2 亚马逊EC2发现111
    5.2.3 本地网关114
    5.2.4 恢复配置115
    5.3 索引段统计116
    5.3.1 segments API简介116
    5.3.2 索引段信息的可视化118
    5.4 理解ElasticSearch缓存119
    5.4.1 过滤器缓存119
    5.4.2 字段数据缓存121
    5.4.3 清除缓存126
    5.5 小结127
    第6章 故障处理129
    6.1 了解垃圾回收器129
    6.1.1 Java内存130
    6.1.2 处理垃圾回收问题131
    6.1.3 在类UNIX系统中避免内存交换135
    6.2 关于I/O调节136
    6.2.1 控制IO节流136
    6.2.2 配置136
    6.3 用预热器提升查询速度138
    6.3.1 为什么使用预热器138
    6.3.2 操作预热器138
    6.3.3 测试预热器141
    6.4 热点线程144
    6.4.1 澄清热点线程API的用法误区145
    6.4.2 热点线程API的响应信息145
    6.5 现实场景146
    6.5.1 越来越差的性能146
    6.5.2 混杂的环境和负载不平衡148
    6.5.3 我的服务器出故障了149
    6.6 小结150
    第7章 改善用户搜索体验151
    7.1 改正用户拼写错误151
    7.1.1 测试数据152
    7.1.2 深入技术细节152
    7.1.3 completion suggester168
    7.2 改善查询相关性172
    7.2.1 数据172
    7.2.2 改善相关性的探索之旅174
    7.3 小结188
    第8章 ElasticSearch Java API189
    8.1 ElasticSearch Java API简介189
    8.2 代码190
    8.3 连接到集群191
    8.3.1 成为ElasticSearch节点191
    8.3.2 使用传输机连接方式192
    8.3.3 选择合适的连接方式193
    8.4 API剖析194
    8.5 CRUD操作195
    8.5.1 读取文档195
    8.5.2 索引文档197

    用户评价

    评分

    评分

    评分

    评分

    评分

    评分

    评分

    评分

    评分

    相关图书

    本站所有内容均为互联网搜索引擎提供的公开搜索信息,本站不存储任何数据与内容,任何内容与数据均与本站无关,如有需要请联系相关搜索引擎包括但不限于百度google,bing,sogou

    © 2025 book.cndgn.com All Rights Reserved. 新城书站 版权所有