深度学习进阶：自然语言处理-斋藤康毅

• 
• 书名： 深度学习进阶：自然语言处理
• 作者： 斋藤康毅
• 简介： 《深度学习进阶：自然语言处理》是《深度学习入门：基于Python的理论与实现》的续作，围绕自然语言处理和时序数据处理，介绍深度学习中的重要技术，包括word2vec、RNN、LSTM、GRU、seq2seq和Attention等。本书语言平实，结合大量示意图和Python代码，按照“提出问题”“思考解决问题的新方法”“加以改善”的流程，基于深度学习解决自然语言处理相关的各种问题，使读者在此过程中更深入地理解深度学习中的重要技术。
• 出版时间 2020-10-14 00:00:00
• ISBN： 9787115547644
• 分类： 计算机-人工智能
• 出版社： 人民邮电出版社

高亮划线

2.3 基于计数的方法

• 📌 在自然语言处理的历史中，用向量表示单词的研究有很多。如果仔细看一下这些研究，就会发现几乎所有的重要方法都基于一个简单的想法，这个想法就是“某个单词的含义由它周围的单词形成”，称为分布式假设（distributional hypothesis）。许多用向量表示单词的近期研究也基于该假设。 ^19-7164-7338
  • ⏱ 2023-07-20 08:18:51

2.4 基于计数的方法的改进

• 📌 这里的重点是，从稀疏向量中找出重要的轴，用更少的维度对其进行重新表示。结果，稀疏矩阵就会被转化为大多数元素均不为0的密集矩阵。 ^20-9350-9413
  • ⏱ 2023-07-20 18:39:51

3.2 简单的word2vec

• 📌 中间层的神经元数量比输入层少这一点很重要。中间层需要将预测单词所需的信息压缩保存，从而产生密集的向量表示。这时，中间层被写入了我们人类无法解读的代码，这相当于“编码”工作。而从中间层的信息获得期望结果的过程则称为“解码”。这一过程将被编码的信息复原为我们可以理解的形式。 ^24-3675-3810
  • ⏱ 2023-07-25 18:55:05

读书笔记

本书评论