Fork

关系抽取——Neural Relation Extraction with Selective Attention over Instances

论文原址 提出了基于sentence-lever attention关系抽取方式

  • 为解放标注劳动力,2009年Mintz最早提出了distant supervision去自动地根据KBs和texts整合训练数据,他假设,如果有两个实体在KBs中有关系,那么包含这两个实体的sentence也会继承这种关系。但显然,这不全对,muti-instance可以缓解一部分这种错误,muti-instance选取的是包含两个实体最有可能性的sentence,但显然,这也不全对。
  • 针对上述问题,这篇文章提出了一下模型结构:
    image-20191023155643313
    • 对sentence中包含的每一对entity pair加权重。
    • 为定位distant supervision中的错误标签的情况,提出了selective attention,来选择对的sentences。
  • Sentence Encoder
    image-20191023155705387
    • 注:
      (1)使用Word Embeddings+Position Embeddings
      (2)用卷积处理不定的句长,得到\(d^c(ld)\)大小的sentence输出,l为滑动window的长度,图中l=3。
  • Selective Attention
    image-20191023155723685
    image-20191023155816228
    \(e_i\)为\(s_i\)的打分,\(x_i\)为输入sentence,\(r\)为预测出的关系:
    image-20191023155924503
    softmax层,计算条件概率:
    image-20191023155829494
    最后输出:
    image-20191023155843480
    muti-instance learning 可以视为一个最高可能结果的句子为s为1,其余为0的特殊情况。
  • 效果图 ATT为本论文模型,AVE指Average Attention,ONE指at-least-one multi-instance learning。
    image-20191023155853611