=====================================================================
A Neural Attention Model for Sentence Abstractive Summarization
=====================================================================

Authors
--------

Alexander M.Rush, (现在哈佛任助理教授，主要做 data-driven的工作，把DL与structure-prediction 结合) 
Corpra Sumit, 
Weston Jason 

整个工作是facebook的。


个人评价
-----------

开坑之作。现在来看觉得训练数据很有问题：为啥用1st sentence作为输入就可以生成headline呢？ 这点站不住脚。



构建训练集
-----------

**核心方法**： 对Gigaword (Graff et al., 2003; Napoles et al., 2012), 将 headline 与 文章第一句 作为输入，即

:: 

    (first-sentence-of-article, headline)

得到 9.5 百万的输入；

**启发式过滤**：因为Gigaword contains mainly spurious headline-article pairs, 所以启发式地对以下情况做过滤：

1. 如果除去停用词就没有词了 (no non-stop-words)
2. 标题有 作者信息(byline) 或者 无关的编辑标记 (extraneous editing marks)
3. 有问题标题或者冒号

过滤后只有 4 万的输入；

**基础预处理**：

1. PTB tokenization
2. lower-casing
3. replace all digit with #
4. replace word-type seen less than 5 times with UNK


**词表统计**：

输入（first-sentence-of-article）: 119million tokens, 110K unique word-types (average 31.3 words per. sent)
摘要/标题(headline): 31 million tokens, 69K unique word-types (average 8.3 words per. headline)

**额外过滤**：

因为模型训练出来要在DUC-2004上做evalution，所以去掉了 DUC-2004 时间区间的文章。 （没说影响的文章数有多少）