人工智能中的深度结构学习 pdf epub mobi txt 电子书 下载 2025

简体网页||繁体网页

☆☆☆☆☆

Yoshua Bengio 著，俞凯 译

图书标签:

• 人工智能
• 深度学习
• 结构学习
• 机器学习
• 神经网络
• 模式识别
• 算法
• Python
• 数据挖掘
• 模型构建

出版社： 机械工业出版社

ISBN：9787111569350

版次：1

商品编码：12229306

品牌：机工出版

包装：平装

开本：16开

出版时间：2017-08-01

用纸：胶版纸

页数：79

内容简介

以人工智能为代表的新技术正在给人们的生产和生活方式带来革命性变化。人工智能技术试图了解智能的本质，并产生一种新的能以人类智能相似的方式做出反应的智能机器。让计算机理解现实世界中诸如图像，语音和语言等数据所蕴含的高层次抽象信息，并加以利用，是该领域大的挑战之一。诸多理论和实践成果表明，以深度神经网络为代表的“深度结构”是解决该问题的重要工具之一。
本书详细论述了采用深度结构的动机、原理和理论依据，讨论了训练深度神经网络的难点，继而详尽的介绍了自动编码器、受限玻尔兹曼机以及深度置信网络的概念和理论，并进行了理论分析。本书是深入理解深度学习的动机和原理的经典之作。

精彩书评

Bengio教授的这部专著是深度学习的经典，是了解深度学习技术的必读书目。书中有许多亮点，比如，作者从统计效率的角度论述了深度神经网络的优点，揭示了深度学习强大学习能力的本质。俞凯教授将该书翻译成中文，一定能帮助国内读者更准确细致地了解其内容，推动深度学习知识的普及，实在是功不可没！

李航 华为诺亚方舟实验室主任，IEEE Fellow

深入理解深度学习的理论是高效运用具体算法的基础。Yoshua Bengio教授的这部力作是深入理解深度学习动机的经典之作。俞凯教授对此书的翻译行文清晰、概念严谨，将英文原著中的长段论述以符合中国人逻辑的方式进行意译，忠实而易懂地表达了原著。这对于促进国内学生或研究者深入理解深度学习本质，探索新的研究方向具有很大的价值。虽然这个英文单行版已有八年的历史且作者一年前出版了更新的关于深度学习的书, 俞教授翻译的这本中文版仍值得细读, 尤其对中国读者。

邓力 Citadel首席人工智能官，前微软人工智能首席科学家，IEEE Fellow

深度学习是人工智能的一个突破。这个突破的意义就是我们常说的“由量变到质变”的变化过程。Yoshua Bengio教授所著的“人工智能中的深度结构学习”这本书，通过俞凯教授的中文翻译，旨在阐述深度结构和学习效果之间的内在联系。此书分析透彻，解释清楚，给出了很多有用的实例。 不管是初涉深度学习的学生，还是在深入探索中的研究者，这本书都会提供非常好的帮助。 所以，我高度推荐这本书。

杨强 香港科技大学计算机系主任，IEEE Fellow、AAAI Fellow

目录

译者序
1　引言1
1.1　如何训练深度结构3
1.2　中间层表示：在不同的任务中共享特征和抽象4
1.3　学习人工智能的必经之路5
1.4　本书大纲6
2　深度结构的理论优势8
2.1　计算复杂性10
2.2　一些非正式的论证11
3　局部与非局部泛化性13
3.1　局部模板匹配的局限性13
3.2　学习分布式表示17
4　具有深度结构的神经网络19
4.1　多层神经网络19
4.2　训练深度神经网络的挑战20
4.3　深度结构的无监督学习25
4.4　深度生成结构26
4.5　卷积神经网络28
4.6　自动编码器29
5　能量模型和玻尔兹曼机31
5.1　能量模型和专家乘积系统31
5.2　玻尔兹曼机34
5.3　受限玻尔兹曼机36
5.4　对比散度39
目　　录Ⅴ
6　深层结构的逐层贪心训练46
6.1　深度置信网络的逐层训练46
6.2　堆叠自动编码器训练48
6.3　半监督与部分监督训练49
7　受限玻尔兹曼机和自动编码器的变体51
7.1　自动编码器和受限玻尔兹曼机的稀疏化表示51
7.2　降噪自动编码器55
7.3　层内连接56
7.4　条件ＲＢＭ和时序ＲＢＭ 57
7.5　分解式ＲＢＭ 59
7.6　受限玻尔兹曼机和对比散度的推广59
8　ＤＢＮ各层联合优化中的随机变分边界62
8.1　将ＲＢＭ展开为无限有向置信网络62
8.2　逐层贪心训练的变分证明64
8.3　所有层的联合无监督训练66
9　展望69
9.1　全局优化策略69
9.2　无监督学习的重要性72
9.3　开放的问题73
10　总结76
致谢78
参考文献79

精彩书摘

　　《人工智能中的深度结构学习》：
　　这些不同的配置相互间是竞争关系，当选择一个时，其他配置被完全关闭。这有好处也有坏处。好处是，如果一个事件比其他概率更大，那么它就是我们所想强调的。坏处就是，这使得最终编码一定程度上不稳定，输入x的一个微小波动，会使得最优化的编码h的值大相径庭。当把h作为输入去学习更高层的变换或分类器时，这种不稳定性将会引起麻烦。事实上，如果相似的输入却在稀疏编码层导致非常不同的输出，这会使得模型的泛化更加困难。这也是一些研究者一直试图解决的缺点。尽管我们可以有效的优化式（7.1），但它与采用常规的自动编码器和受限玻尔兹曼机来计算编码相比，仍然要慢上百倍，这导致训练和识别过程都非常的慢。
　　另一个与稳定性相关的问题是，如何对深度结构中的高层基矩阵W进行联合优化。从精细调整编码使其专注在信号最具有区分度的方面的目标上看，这个特别重要。正如第9.1.2节所提到的，当用判别性准则去精调深度结构的所有层时，可以显著改进识别错误。原则上，可以通过编码的优化来计算梯度。但是如果优化的结果不稳定，则梯度可能不存在或者在计算上不可靠。为了解决稳定性问题和上述的精调问题，文献（6）提出用更柔和的近似代替l1惩罚，其只是近似地产生稀疏系数（即许多非常小的系数，实际上没有收敛到0）。
　　……

深度结构学习：解锁复杂数据与模型的新范式 一、 当今数据爆炸与模型演进的挑战 我们正处在一个信息爆炸的时代，海量的数据以前所未有的速度生成和累积。这些数据形态各异，来源广泛，从社交媒体上的文本、图像、视频，到基因测序的序列数据，再到物联网设备产生的传感器读数，无不蕴藏着巨大的价值。然而，如何有效地从这些海量、高维度、非结构化的数据中提取有意义的信息，并构建能够理解和处理这些复杂模式的模型，成为了当前人工智能领域面临的核心挑战。 传统的机器学习方法，虽然在许多领域取得了显著成就，但在处理大规模、复杂的真实世界数据时，其局限性逐渐显现。它们往往需要大量的手工特征工程，对数据的假设也较为严格，难以捕捉数据深层次的、非线性的关联。为了克服这些限制，研究者们一直在探索更强大的模型架构和学习范式，以期能够直接从原始数据中学习到层次化的、抽象的特征表示，并构建出更加鲁棒、高效、泛化的智能系统。 二、 深度学习的崛起与结构化表示的缺失 深度学习的出现，无疑是人工智能领域的一场革命。通过构建具有多层非线性变换的神经网络，深度学习模型能够自动学习数据的分层特征表示，从低级的像素、词汇等原始特征，逐层抽象到高级的概念、语义等。这种端到端的学习方式，极大地解放了研究者和工程师从繁琐的特征工程中，使得在图像识别、自然语言处理、语音识别等领域取得了突破性的进展。 然而，尽管深度学习取得了巨大成功，但其在处理具有内在结构信息的数据时，仍然存在一些挑战。许多现实世界的数据，例如分子结构、蛋白质序列、知识图谱、社交网络、时间序列等，都不仅仅是简单的像素点或词语的集合，它们蕴含着丰富的、可被显式描述的结构关系。例如，分子的原子连接方式决定了其化学性质；蛋白质的氨基酸序列折叠形成的3D结构决定了其功能；知识图谱中的实体和关系构成了世界的知识网络；社交网络中的用户连接关系影响着信息传播。 传统的深度学习模型，如卷积神经网络（CNN）主要擅长处理具有网格状结构的数据（如图像），循环神经网络（RNN）或长短期记忆网络（LSTM）则适用于序列数据。而对于图结构、树结构、序列的序列等更复杂的、非欧几里得度量的结构数据，直接应用这些模型往往难以充分捕捉其内在的结构信息，导致模型性能的瓶颈。如何将深度学习强大的特征提取能力与数据本身的结构化信息有效结合，成为了下一阶段研究的焦点。 三、 深度结构学习：融合深度学习与结构化信息的力量 “深度结构学习”（Deep Structured Learning）这一概念的提出，正是为了应对上述挑战，它旨在构建一类能够同时学习数据表示的深度层次，并有效利用和建模数据内在结构信息的学习框架。它不是简单地将深度学习应用于结构化数据，而是探索一种更加本质的融合，让模型的学习过程能够“理解”并“利用”数据的结构。 深度结构学习的核心思想在于，将数据的结构信息融入到模型的学习过程中，或者将学习到的深层表示映射到具有结构特性的空间中。这可以通过多种方式实现： 结构化的模型架构设计： 设计出能够直接处理特定结构数据的神经网络架构。例如，图神经网络（GNN）及其变种，如图卷积网络（GCN）、图注意力网络（GAT）等，能够直接在图结构数据上进行信息传播和聚合，学习节点的表示。对于树形结构，可以设计专门的树形卷积网络。对于序列的序列，可以利用注意力机制来捕捉不同序列之间的关联。 结构化的损失函数与优化： 在模型的训练过程中，引入与数据结构相关的约束或奖励。例如，在处理分子性质预测时，可以加入基于化学键的损失项；在处理知识图谱补全时，可以利用已有的三元组关系来约束模型输出。 结构化的表征学习： 学习一种能够显式地编码结构信息的低维向量表示。例如，通过图嵌入技术将图节点映射到低维向量空间，同时保持节点之间的结构相似性。 生成式模型与结构约束： 利用生成模型，如变分自编码器（VAE）或生成对抗网络（GAN），来生成具有特定结构的数据，并在生成过程中施加结构约束。 四、 深度结构学习的关键技术与研究方向 深度结构学习是一个广阔且充满活力的研究领域，其中包含了许多关键的技术和正在蓬勃发展的研究方向： 1. 图神经网络（Graph Neural Networks, GNNs）： 这是深度结构学习领域最重要和活跃的研究方向之一。GNNs 旨在直接在图结构数据上进行学习。其核心思想是通过迭代地聚合邻居节点的信息来更新中心节点的表示。各种 GNNs 的变种，如 GCN, GAT, GraphSAGE, MPNN 等，在分子性质预测、药物发现、社交网络分析、推荐系统、知识图谱推理等领域取得了巨大成功。研究者们正在探索更高效、可扩展、可解释的 GNNs，以及如何处理动态图、异构图等复杂图结构。 2. 可微分的结构学习： 传统上，模型的结构往往是预先设定的，而深度结构学习则尝试将结构的发现和优化也纳入到可学习的范畴中。例如，通过可微分的图构建方法，在训练过程中动态地学习节点之间的连接关系。 3. 基于注意力的模型与序列的序列： 注意力机制（Attention Mechanism）在自然语言处理中取得了巨大成功，尤其是在 Transformer 模型中。这种机制能够让模型在处理序列时，动态地关注输入序列的不同部分，从而捕捉长距离依赖关系。这种思想也被推广到处理“序列的序列”问题，例如机器翻译（将源语言序列翻译成目标语言序列），或者更一般的，通过注意力机制来建模不同结构之间的关系。 4. 结构化预测模型： 针对需要输出具有特定结构的结果的任务，例如目标检测中的边界框预测，或者语义分割中的像素区域划分。这些任务不仅仅是独立的分类或回归，输出的结果之间存在着空间或逻辑上的关联。深度结构学习的框架可以更好地建模这些结构化输出。 5. 知识图谱与语义表示： 知识图谱作为一种重要的结构化知识表示方式，其推理和补全任务是深度结构学习的重要应用场景。利用 GNNs 或其他结构化模型来学习知识图谱中的实体和关系表示，并进行链接预测、实体对齐等任务，能够极大地提升人工智能系统的常识推理能力。 6. 可解释性与安全性： 随着深度结构学习模型在关键领域的应用越来越广泛，其可解释性和安全性也变得尤为重要。如何理解模型为什么会做出某个决策，以及如何保证模型不会被恶意攻击，是当前研究的重点。 五、 深度结构学习的应用前景 深度结构学习的出现，为解决一系列复杂数据和模型问题提供了新的思路和强大的工具。其应用前景极其广阔，涵盖了众多领域： 科学研究： 药物发现与材料设计： 通过学习分子的3D结构和化学性质，预测新药的有效性和副作用，设计具有特定功能的材料。 蛋白质结构预测与功能分析： 准确预测蛋白质的三维结构，理解其生物功能，为疾病治疗和生命科学研究提供重要支撑。 气候建模与环境保护： 分析复杂的地理空间数据和时间序列数据，构建更精准的气候模型，预测环境变化。 信息技术： 推荐系统： 深入理解用户与物品之间的复杂关系（如用户社交关系、物品类别关联），构建更精准的个性化推荐。 知识图谱构建与推理： 自动构建和更新知识图谱，提升搜索引擎、问答系统、智能助手的智能水平。 社交网络分析： 识别虚假信息传播，预测流行趋势，理解群体行为。 交通流量预测与路径规划： 建模复杂的城市交通网络，实现更高效的交通管理和路径优化。 医疗健康： 疾病诊断与预后预测： 分析医学影像、基因组数据、电子病历等结构化与非结构化数据，辅助医生进行诊断和预测。 个性化医疗： 基于个体的基因组信息、生活习惯等，制定更具针对性的治疗方案。 金融领域： 风险评估与欺诈检测： 分析复杂的交易网络和客户关系，识别潜在的金融风险和欺诈行为。 量化交易： 建模金融市场的复杂动态，发现交易机会。 六、 展望未来：构建更智能、更通用的AI系统 深度结构学习的探索，不仅仅是为了提升在特定任务上的模型性能，更是为了构建更加通用、鲁棒、智能的人工智能系统。通过深入理解和利用数据的结构信息，我们可以设计出能够处理更广泛、更复杂问题的模型，让 AI 能够更好地理解我们所处的这个充满结构化世界。 我们相信，随着研究的不断深入，深度结构学习将成为未来人工智能发展的关键驱动力之一，为解决人类社会面临的重大挑战提供强大的技术支撑。这是一个激动人心的时代，深度结构学习的无限可能，正等待着我们去探索和实现。

评分☆☆☆☆☆

老实说，在拿起这本书之前，我心里多少有些忐忑。深度学习这个概念听起来总是高高在上，仿佛是少数天才才能掌握的领域。但当我看到《人工智能中的深度结构学习》这本书时，我被它所传递出的信息吸引了——它似乎试图让这个领域变得更加触手可及。我尤其对书中关于“注意力机制”的章节产生了浓厚的兴趣。在自然语言处理和计算机视觉等领域，注意力机制已经成为提升模型性能的关键。我一直想知道，这种机制究竟是如何工作的，它如何让模型在处理信息时，能够像人类一样，将注意力集中在最相关的部分。这本书的标题中“结构”二字也让我有所联想，深度学习的模型之所以强大，很大程度上在于其层层递进的结构，每一层都学习到不同抽象层面的特征。我希望这本书能详细地解释这些结构的设计原理，以及不同结构在解决特定问题时的优势和劣势。我期待的不仅仅是理论的讲解，更重要的是书中能够提供一些实践指导，或许是一些代码示例，甚至是思考题，来帮助我巩固理解。

评分☆☆☆☆☆

我选择《人工智能中的深度学习》这本书，是因为它直接触及了现代人工智能的基石——深度结构。在我看来，理解这些“深度结构”的内在工作原理，是掌握人工智能技术的关键。这本书是否会详细剖析卷积神经网络（CNNs）在图像识别中的作用，以及循环神经网络（RNNs）在序列数据处理中的优势？我尤其想了解，书中是如何解释这些模型层层叠加带来的“深度”特性，以及这种深度是如何帮助模型学习到从低级到高级的抽象特征的。我期待书中能用一种引人入胜的方式，讲述这些结构的演变历程，或许可以从一些经典的开创性工作讲起，逐步过渡到当前最先进的模型。我希望这本书能够激发我更多的思考，比如，在不同的应用场景下，应该如何选择和设计最适合的深度结构？是否存在一些通用的设计原则？我希望它不仅能提供知识，更能培养我分析和解决问题的能力，让我能够成为一个更有创造力的AI从业者。

评分☆☆☆☆☆

我购入《人工智能中的深度结构学习》这本书，主要是因为它聚焦于“深度结构”这一核心概念。在我看来，现今人工智能的诸多突破，很大程度上都归功于深度学习模型中不断演进的结构设计。我非常好奇书中对于各种经典和前沿的深度结构，例如Transformer、ResNet、GAN等，会进行怎样的分析。它们是如何被构建出来的？又是什么样的创新点使得它们在各自的应用领域取得了如此显著的成就？这本书是否会深入探讨这些结构的数学原理，但同时又能保持一定的可读性，让我这个非数学专业背景的读者也能理解其精髓？我希望书中不仅仅是罗列公式，而是能够通过直观的图示和清晰的逻辑，帮助我建立起对这些复杂模型的直观认识。此外，我个人对生成式模型特别感兴趣，特别是那些能够创造出逼真图像或流畅文本的模型。我期待这本书能够深入讲解生成对抗网络（GANs）和变分自编码器（VAEs）等模型背后的深度结构原理，以及它们是如何实现“创造”这一过程的。

评分☆☆☆☆☆

这本书的封面设计就充满了科技感，深邃的蓝色背景下，跳跃着抽象的神经网络节点，仿佛预示着即将展开一场关于智慧本质的探索。虽然我还没来得及细读，但仅仅是翻阅目录，就足以让我感到兴奋。那些诸如“卷积神经网络”、“循环神经网络”、“注意力机制”以及“生成对抗网络”之类的标题，都如同开启新世界的大门，召唤着我去一探究竟。我一直对人工智能如何模拟人类的学习过程感到好奇，特别是当它能够从海量数据中提取出深层次的模式和规律时，那种震撼力是难以言喻的。这本书似乎就聚焦于此，深入剖析那些支撑着现代人工智能飞速发展的“深度结构”。我期待着书中能够用清晰易懂的语言，结合生动的案例，来阐释这些复杂的理论，而不是枯燥的数学公式堆砌。我希望它能让我理解，不仅仅是“是什么”，更重要的是“为什么”和“如何”。作为一名对AI领域充满热情但技术背景相对薄弱的读者，我希望这本书能够成为我通往深度学习殿堂的引路人，让我能够真正地掌握这些前沿的技术，而不是停留在表面的概念。

评分☆☆☆☆☆

收到《人工智能中的深度结构学习》这本书，我迫不及待地翻阅起来。封面上那醒目的标题，让我对书中即将展开的精彩内容充满了期待。我一直认为，要真正理解人工智能的强大之处，就必须深入了解其“大脑”——那些复杂的深度学习模型。这本书的名字直接点明了其核心关注点，即“深度结构”，这让我非常感兴趣。我希望书中能够详细阐述各种深度学习架构是如何一步步演进而来，以及它们在处理不同类型的数据（如图像、文本、序列）时是如何发挥作用的。特别是对于那些我有所耳闻但了解不深的模型，比如图神经网络（GNNs）或者一些最新的注意力机制变种，我希望这本书能提供清晰的解析。我期待书中能够平衡理论深度与实践应用，例如，在讲解某个模型结构后，能辅以相关的应用案例，甚至是一些编程上的提示，让我知道如何在实际项目中运用这些知识。

评分☆☆☆☆☆

还没看，很薄的一本书

评分☆☆☆☆☆

纸质不错，经典论文~值得拜读

评分☆☆☆☆☆

挺好的书，好好学习一下！

评分☆☆☆☆☆

深度学习，人工智能时代来了，好好学习

评分☆☆☆☆☆

还不错了吧是的书籍装帧

评分☆☆☆☆☆

人工智能中的深度结构学习

评分☆☆☆☆☆

好，内容非常齐全，很详细。

评分☆☆☆☆☆

还没看，很薄的一本书

评分☆☆☆☆☆

不错不错不错不错农村不错不错