NER的4种标注框架

1. 序列标注

   每个序列位置都被标注一个标签，比如按照BILOU标注，然后用CRF解码。序列标注的方式对噪声（漏标）十分敏感，但是这种情况比较常见。一个解决方案就是采用下面说的片段排列，转化为一个span分类问题，这样更适合对负样本实体的采样；这样模型建模不会像对...

NER难点

1. NER序列标注的方式对噪声（漏标）十分敏感，但是这种情况比较常见。
2. 实体边界，长度，跨度对NER任务来说非常重要
3. 顺序结构对于NER任务来说至关重要，通常需要RNN作为底层编码器来捕捉顺序性

NER的4种标注框...

Pre-Training 的历史

最开始是在图像和视频领域兴起的。目前我们已经知道，对于层级的CNN结构来说，不同层级的神经元学习到了不同类型的图像特征，由底向上特征形成层级结构，如果我们手头是个人脸识别任务，训练好网络后，把每层神经元学习到的特征可视化肉眼看一看每层学到了啥特征，你会看到最底层的神经元学到的是线段等特征，...

Attention Models Specification

1. Seq2Seq + Attention

这里我们将会以Neural Machine Translation（NMT）做例子。

Read More

一本很难的书，即使只啃动了10%，也不赖。这会给你打下个好基础，帮你理解这个领域下一本书的20%。渊博的知识就像拼图，一块又一块，最后拼成一整幅图。

Dunning Kruger Effect: 无知而乐观，了解而悲观，挫折而绝望，濒临崩溃极度受损，掌控而乐观。

Deep Learning NLP

1. CNN如何应用在NLP上

下图是一个很好的例子：

1. 词要用向量的形式表达，假设词向量的大小为$d$。卷积核的列向量维度必须等于$d$，小于$d$的话这个词就表达不完整，就没意义了。$d$是一...

语言技术 - 主题模型

1. 概率图模型

虽然今天用深度学习比较多，但是对于小文本、数据量不是特别大的情况，graphic model还是能提供很多有用的思路去解决问题。

其实概率图模型不是什么新东西，其实就是用图的形式来表达一个概率模型。就算是一个简单的条件概率或者是较...