我们一直在努力

论文是否标注什么意思(论文标注中j什么意思)

ACL 2018 Long Papers

给我更多反馈:在学生论文中标注论点说服力和相关属性

Give Me More Feedback: Annotating Argument Persuasiveness and Related Attributes in Student Essays

德克萨斯大学

University of Texas

本文是德克萨斯大学发表于 ACL 2018 的工作。本文针对自动化论文评分问题,提出一个论文说服力标注语料库,该语料库标注了论点成分、论点说服力得分及影响论点说服力的论点成分的属性,进一步促进了关于论点说服力的新计算模型的开发,同时这些计算模型还可以为学生提供有用的反馈,解释他们的论点为何(不)具有说服力,以及它们的说服力如何。

论文是否标注什么意思(论文标注中j什么意思)插图

1 引言

目前关于自动论文评分的大部分工作都集中在整体评分上,其使用一个分数来概括论文质量,因此向作者提供了非常有限的反馈。最近有尝试通过衡量特定维度进行综合打分,例如连贯性、技术错误、与提示的相关性、组织和论文清晰度等。但尽管论点说服力是衡量论文质量的一个重要方面,在现有的自动评分研究中,论点说服力在很大程度上被忽视了。

尽管如此,在学生论文中给论点说服力进行打分并非易事。难点主要源于学生论文语料库的说服力不足。虽然在其他领域存在具有标注了说服力的语料库,例如在线辩论等,但据我们所知,到目前为止,只有一个标注了说服力的学生论文语料库是公开的。

尽管Perng和Ng的这个语料库是一个宝贵的资源,但它有几个缺点,从而限制了它对自动作文评分研究的影响。首先,该语料库只给每篇论文分配一个说服力分数,以表明一篇论文对其论文论点的说服力。然而,一篇文章中通常是包含多个论点的。具体而言,论文的论点通常被构造为论点树,其中位于树根的主声明由一个或多个声明(根节点的子声明)支持,每个声明又由一个或多个前提支持。因此,每个节点及其子节点构成一个论点。在P&N的数据集中,只有每篇论文的整体论点(即,在词根及其子句中表示的论点)的说服性被评分。因此,任何在他们的数据集上训练的系统都不能向学生提供关于除了总体论点之外的任何论点的说服力。第二,P&N的语料库不包含解释为什么总的论点得分低、没有说服力。从反馈的角度来看,这种情况是不希望的,因为如果分数很低却不解释,学生就不会理解为什么她的论点没有说服力。

我们的目标是通过设计适当的标注方案和评分规则来标注和公开提供一批有说服力的学生论文。具体地说,我们不仅对每篇文章中每个论点的说服力进行评分(而不仅仅是对整个论点的说服力),而且我们还识别一组属性,这些属性可以解释论点的说服力,并用这些属性的值对每个论点进行标注。这些标注使得能够开发向学生提供有用反馈的系统,因为这些系统预测的属性值可以帮助学生理解为什么她的文章会得到特定的说服力评分。据我们所知,这是第一个同时用论点成分、说服力分数和相关属性进行标注的论文语料库。

论文是否标注什么意思(论文标注中j什么意思)插图

2 数据

我们选择标注的语料库由102篇随机选取自《论点标注论文语料库》的论文组成。这篇论文集取自essayforum(www.essayforum.com),这个网站为希望提高写作能力以便考试的学生提供反馈。每一篇文章都是根据一个主题写的:“should high school make music lessons compulsory?”,并且已经被Stab和Gurevych用论点树标注了。因此,我们不是从头开始标注所有内容,而是在本文集合中已经标注的论点树中标注每个论点的说服力得分,以及潜在影响说服力的属性。

每个论点树由对应于论点分量的三种树节点组成。三种带标注的论点成分类型包括:MajorClaim,它表达作者对论文主题的立场;Claims,它是有争议的陈述,没有额外的支持,读者不应该接受;Premises,这是作者给出的理由,说服读者了解另一个论点成分声明的真实性。两种关系类型包括:Support(表示一个论点支持另一个)和Attack(表示一个论点攻击另一个)。

每个论点树都有三到四个级别。根是主要的claim。第二级中的每个节点是支持或攻击其父级结点(即,major claim)。第三级的每个节点是支持或攻击其父结点(即,索赔)的Premises。有一个可选的第四级,由对应于Premises的节点组成。这些Premises中的每一个都支持或攻击它的(Premises)父结点。Stab和Gurevych展示了这些标注间的高度一致性:对于major claims、claims和Premises的标注,Krippendorff的α值分别是0.77、0.70和0.76,对于支持和攻击关系的标注,α值均为0.81。

注意,Stab和Gurevych根据它们在论点树中的位置而不是它们的语义来确定Premises和Claims。由于难以将意见视为不可协商的证据单位,我们将所有主观Premises转换为claims,以证明它们是主观的,需要支持。在这个过程的最后,由于一些被观点Premises支持的Premises,一些文章包含违反Stab和Gurevych方案的论点树,现在这些Premises被转换为claims。虽然理想的论点不应该违反规范结构,但试图提高其说服性写作技能的学生可能不理解这一点,并错误地用自己的观点支持论证。

该语料库的统计数据如下表所示。近年来,它在论点挖掘研究中的广泛应用,加上它可靠的标注论元树,使它成为我们开展标注任务的理想语料库。

论文是否标注什么意思(论文标注中j什么意思)插图1

论文是否标注什么意思(论文标注中j什么意思)插图

3 标注

既然说服力是在一个论点上定义的,为了标注说服力,我们需要精确地定义一个论点是什么。我们将一个论点定义为由一组证据支持或攻击的结论。给定论点树,非叶节点可以被解释为其子节点支持或攻击的“结论”,因此可以被解释为结论的“证据”。相反,叶节点可以解释为不支持的结论。因此,一个论点由一个论点树中的一个节点和它所有子节点(如果有的话)组成。

标注机制:我们标注的目标是给每个论点的说服力打分(参见下表,关于说服力的评分规则),并用一组可能影响论点说服力的预定义属性对其每个组件进行标注。

论文是否标注什么意思(论文标注中j什么意思)插图2

下表简要展示了我们标注的属性。

论文是否标注什么意思(论文标注中j什么意思)插图3

每个组件类型(MajorClaim,Claim,Premise)具有不同的属性集。所有组件类型共有三个属性:Eloquence, Specificity, 和Evidence。Eloquence表示作者用语言表达思想的能力的高低,类似于清晰和流畅。Specificity是指陈述范围的聚焦性。特定的陈述更可信,因为它们展示了作者对主题的自信和知识深度。论点主张(major claims和claims)不需要自己可信,因为这是支持证据的工作。Evidence评分描述支持组件如何支持父组件。下列各表分别示出了Eloquence, Evidence, Claim/MajorClaim Specificity, Premise Specificity, Relevance和Strength的描述。

论文是否标注什么意思(论文标注中j什么意思)插图4

论文是否标注什么意思(论文标注中j什么意思)插图5

论文是否标注什么意思(论文标注中j什么意思)插图6

论文是否标注什么意思(论文标注中j什么意思)插图7

论文是否标注什么意思(论文标注中j什么意思)插图8

论文是否标注什么意思(论文标注中j什么意思)插图9

标注过程:两个英语母语者对我们的102篇文章进行标注。我们首先熟悉他们的量词和定义,然后在五篇文章(不包括在我们的语料库中)训练他们。之后,他们被要求对随机选择的30篇论文进行标注,并讨论产生的标注以解决任何差异。最后,剩下的论文被分成两组,每个标注者收到一套标注。在下表中示出了用于说服力和属性打分/分类的分布。

论文是否标注什么意思(论文标注中j什么意思)插图10

标注一致性:我们使用Krippendorff的α来衡量标注的一致性。结果如下表所示。

论文是否标注什么意思(论文标注中j什么意思)插图11

正如我们所看到的,所有属性的一致性都表现在0.5以上,显示出比随机选择更重要的相关性。说服力有0.688的一致性,这表明它可以在一个合理意义上达成一致。MajorClaim组件具有最高的说服力一致性,并且随着Claim和Premise的类型变化,说服力一致性会下降。这表明,从整体意义上来说,说服力更容易表达,但是随着解释中涉及的细节数量的增加,说服力很难被解释。

标注分析:为了理解我们标注的属性是否真的对预测说服力有用,我们计算说服力和每个属性之间的皮尔逊相关系数(PC)以及相应的p值。结果如下表所示。在P<0.05水平上有统计意义的相关性中,我们看到,正如预期的那样,Persuasiveness与Specificity, Evidence, Eloquence和Strength正相关。同样不足为奇的是,premise以统计和示例的形式提供的支持与Persuasiveness正相关。Logos and invented_instance也与Persuasiveness有显著的相关性,但相关性很弱。

论文是否标注什么意思(论文标注中j什么意思)插图12

下表展示了在两个评估度量的五重交叉验证结果,PC和ME(系统预测和黄金得分之间的平均绝对距离)。由于PC是相关性度量,更高的相关性意味着更好的性能。相比之下,ME是一个错误度量,所以较低的分数意味着更好的性能。正如我们所看到的,大的PC值和相对低的ME值提表明当结合使用这些属性时,能够很大程度上解释论点的说服力。

论文是否标注什么意思(论文标注中j什么意思)插图13

论文是否标注什么意思(论文标注中j什么意思)插图

4 实例

为了更好地理解我们的标注方案,我们使用下表中的文章来说明如何获得属性值。

论文是否标注什么意思(论文标注中j什么意思)插图14

属性值见下表。

论文是否标注什么意思(论文标注中j什么意思)插图15

在这篇文章中,ClaimC1,支持MajorClaim M1,被三个孩子结点,Premises P1和P2以及Claim C2支持。

论文是否标注什么意思(论文标注中j什么意思)插图

5 总结

我们呈现了第一个包含102篇有说服力的学生论文的语料库,这些论文同时用论点树、说服力分数以及影响这些分数的论点成分的属性进行标注。我们认为,这个语料库可以促进关于论点说服力的新计算模型的发展,进一步推动基于内容的论文评分研究。

论文下载链接:

http://aclweb.org/anthology/P18-1058

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 xiaokang360@qq.com举报,一经查实,本站将立刻删除。
文章名称:《论文是否标注什么意思(论文标注中j什么意思)》
分享到: 更多 (0)

长征人论文网 更专业 更方便

联系我们联系我们