德克萨斯大学：给我更多反馈：在学生论文中标注论点说服力和相关属性
            你和“懂AI”之间，只差了一篇论文
很多读者给芯君后台留言，说看多了相对简单的AI科普和AI方法论，想看点有深度、有厚度、有眼界……以及重口味的专业论文。
为此，在多位AI领域的专家学者的帮助下，我们解读翻译了一组顶会论文。每一篇论文翻译校对完成，芯君和编辑部的老师们都会一起笑到崩溃，当然有的论文我们看得抱头痛哭。
同学们现在看不看得懂没关系，但芯君敢保证，你终有一天会因此爱上一个AI的新世界。
读芯术读者论文交流群，请加小编微信号：zhizhizhuji。等你。
这是读芯术解读的第101篇论文
ACL 2018 Long Papers
给我更多反馈：在学生论文中标注论点说服力和相关属性
Give Me More Feedback: Annotating Argument Persuasiveness and Related Attributes in Student Essays
德克萨斯大学
University of Texas
本文是德克萨斯大学发表于 ACL 2018 的工作。本文针对自动化论文评分问题，提出一个论文说服力标注语料库，该语料库标注了论点成分、论点说服力得分及影响论点说服力的论点成分的属性，进一步促进了关于论点说服力的新计算模型的开发，同时这些计算模型还可以为学生提供有用的反馈，解释他们的论点为何（不）具有说服力，以及它们的说服力如何。

2 数据
我们选择标注的语料库由102篇随机选取自《论点标注论文语料库》的论文组成。这篇论文集取自essayforum(www.essayforum.com)，这个网站为希望提高写作能力以便考试的学生提供反馈。每一篇文章都是根据一个主题写的：“should high school make music lessons compulsory?”,并且已经被Stab和Gurevych用论点树标注了。因此，我们不是从头开始标注所有内容，而是在本文集合中已经标注的论点树中标注每个论点的说服力得分，以及潜在影响说服力的属性。
每个论点树由对应于论点分量的三种树节点组成。三种带标注的论点成分类型包括：MajorClaim，它表达作者对论文主题的立场；Claims，它是有争议的陈述，没有额外的支持，读者不应该接受；Premises，这是作者给出的理由，说服读者了解另一个论点成分声明的真实性。两种关系类型包括：Support（表示一个论点支持另一个）和Attack（表示一个论点攻击另一个）。
每个论点树都有三到四个级别。根是主要的claim。第二级中的每个节点是支持或攻击其父级结点（即，major claim）。第三级的每个节点是支持或攻击其父结点（即，索赔）的Premises。有一个可选的第四级，由对应于Premises的节点组成。这些Premises中的每一个都支持或攻击它的（Premises）父结点。Stab和Gurevych展示了这些标注间的高度一致性：对于major claims、claims和Premises的标注，Krippendorff的α值分别是0.77、0.70和0.76，对于支持和攻击关系的标注，α值均为0.81。
注意，Stab和Gurevych根据它们在论点树中的位置而不是它们的语义来确定Premises和Claims。由于难以将意见视为不可协商的证据单位，我们将所有主观Premises转换为claims，以证明它们是主观的，需要支持。在这个过程的最后，由于一些被观点Premises支持的Premises，一些文章包含违反Stab和Gurevych方案的论点树，现在这些Premises被转换为claims。虽然理想的论点不应该违反规范结构，但试图提高其说服性写作技能的学生可能不理解这一点，并错误地用自己的观点支持论证。
该语料库的统计数据如下表所示。近年来，它在论点挖掘研究中的广泛应用，加上它可靠的标注论元树，使它成为我们开展标注任务的理想语料库。

3 标注
既然说服力是在一个论点上定义的，为了标注说服力，我们需要精确地定义一个论点是什么。我们将一个论点定义为由一组证据支持或攻击的结论。给定论点树，非叶节点可以被解释为其子节点支持或攻击的“结论”，因此可以被解释为结论的“证据”。相反，叶节点可以解释为不支持的结论。因此，一个论点由一个论点树中的一个节点和它所有子节点（如果有的话）组成。
标注机制：我们标注的目标是给每个论点的说服力打分（参见下表，关于说服力的评分规则），并用一组可能影响论点说服力的预定义属性对其每个组件进行标注。

每个组件类型（MajorClaim，Claim，Premise）具有不同的属性集。所有组件类型共有三个属性：Eloquence, Specificity, 和Evidence。Eloquence表示作者用语言表达思想的能力的高低，类似于清晰和流畅。Specificity是指陈述范围的聚焦性。特定的陈述更可信，因为它们展示了作者对主题的自信和知识深度。论点主张（major claims和claims）不需要自己可信，因为这是支持证据的工作。Evidence评分描述支持组件如何支持父组件。下列各表分别示出了Eloquence, Evidence, Claim/MajorClaim Specificity, Premise Specificity, Relevance和Strength的描述。



标注一致性：我们使用Krippendorff的α来衡量标注的一致性。结果如下表所示。

下表展示了在两个评估度量的五重交叉验证结果，PC和ME（系统预测和黄金得分之间的平均绝对距离）。由于PC是相关性度量，更高的相关性意味着更好的性能。相比之下，ME是一个错误度量，所以较低的分数意味着更好的性能。正如我们所看到的，大的PC值和相对低的ME值提表明当结合使用这些属性时，能够很大程度上解释论点的说服力。
600 属性值见下表。 600 留言 点赞 发个朋友圈 我们一起分享AI学习与发展的干货