名字来源：美国的一个动画片芝麻街里的主人公
论文：https://arxiv.org/abs/1810.04805
NLP 里的迁移学习
在 bert 之前：使用预训练好的模型来抽取词、句子的特征
- 如用 word2vec 或 语言模型（当作embedding层）
- 不更新预训练好的模型
- 缺点
- 需要构建新的网络来抓取新任务需要的信息
- Word2vec 忽略了时序信息，语言模型只看了一个方向
bert 的动机
BERT 架构
本质：一个砍掉解码器、只有编码器的 transformer
bert 的工作：证明了效果非常好
两个版本：
Base: #blocks=12, hidden size=768, #heads=12, #parameters=110M
Large: #blocks=24, hidden size=1024, #heads=1, #parameter=340M
在大规模数据上训练>3B词