BERT相关笔记（一）

#BERT 相关笔记（一）

BERT 是在Transformer的结构基础上进行更新，所以主要看了一些基础的知识。

相关链接里前两个写的很好，结合着看可以加深理解。

#相关链接

• The Illustrated Transformer
• Transformer
• Transform 模型原理
• 自然语言处理中的自注意力机制（Self-attention Mechanism）
• Attention 机制详解（一）——Seq2Seq 中的 Attention
• 循环神经网络 RNN——深度学习第十章
• Attention 机制详解（二）——Self-Attention 与 Transformer
• 简说 Seq2Seq 原理及实现
• Seq2Seq 模型概述