「字少信息量大」，Salesforce、MIT 钻研者手把手教 GPT
经由人类评估试验 ，字少T钻钻研者发现 ，信息当 GPT-4 将「稿子」改到第三版的手把手教时候 ，「信息密度」以及「语言精辟度」两个因素抵达了一种最佳失调形态。字少T钻
近些年来 ，信息自动摘要技术取患了长足的手把手教后退 ，这主要归功于范式的字少T钻转变 —— 从在标注数据集上妨碍有把守微调转变为运用狂语言模子（LLM）妨碍零样本 prompt ，好比 GPT-4 。信息不需要格外的手把手教磨炼 ，详尽的字少T钻 prompt 就能实现对于摘要长度 、主题 、信息气焰等方面特色的手把手教详尽操作。
但一个方面每一每一被轻忽 ：摘要的字少T钻信息密度。从实际上讲 ，信息作为对于另一个文本的手把手教缩短 ，摘要理当比源文件更密集，也便是搜罗更多的信息 。思考到 LLM 解码的高延迟，用更少的字数涵盖更多的信息颇为紧张 ，特意是对于实时运用而言 。
可是 ，信息量密度是一个凋谢式的下场 ：假如摘要搜罗的细节缺少 ，那末至关于不信息量；假如搜罗的信息过多 ，又不削减总长度 ，就会变患上难以清晰 。要在牢靠的 token 估算内传递更多信息，就需要将抽象 、缩短 、融会三者散漫起来。
在最近的一项钻研中 ，来自 Salesforce、MIT 等机构的钻研者试图经由收罗人类对于 GPT-4 天生的一组密度越来越高的摘要的偏好来判断这一限度。对于提升 GPT-4 等狂语言模子的「表白能耐」，这一措施提供了良多开辟 。
论文链接 ：https://arxiv.org/pdf/2309.04269.pdf
数据集地址：https://huggingface.co/datasets/griffin/chain_of_density
详细来说 ，他们将每一个 token 的平均实体数目作为密度的代表，天生为了一个初始的 、实体浓密的摘要 ，而后在不削减总长度（总长度为 5 倍）的情景下 ，一再识别并融会前一个摘要中缺失的 1-3 个实体 ，每一个摘要的实体与 token 比例都高于前一个摘要 。凭证人类的偏好数据，作者最终判断 ，人类更喜爱简直与人类编写的摘要同样密集的摘要 ，而且比艰深 GPT-4 prompt 天生的摘要更密集 。
总体来说 ，该钻研的贡献搜罗 ：
开拓一种基于 prompt 的迭代措施 (CoD) ，使患上摘要的实体密度越来越高；
对于 CNN/《逐日邮报》文章中越来越密集的摘要妨碍家养以及自动评估 ，以更好地清晰信息量（倾向于更多实体）以及清晰度（倾向于更少的实体）之间的掂量；
开源了 GPT-4 摘要 、诠释以及一组 5000 篇未诠释的 CoD 摘要，用于评估或者提炼 。
甚么是 CoD
作者拟订了一个繁多的密度链（CoD）Prompt ，即天生一个初始摘要 ，并使着实体密度不断削减。详细来说 ，在一个牢靠的交互次数中 ，源文本中一组配合的突出实体被识别进去 ，并在不削减长度的情景下融会到以前的摘要中 。
图 2 展现了 Prompt 以及输入示例 。作者不纪律实体的规范 ，而是将缺属实体界说为 ：
相关 ：与主要故事相关；
详细 ：形貌性的但简洁（5 个字或者更少）；
别致 ：未出如今以前的摘要中；
忠实 ：存在于文章中；
任何中间：位于文章的任何中间 。
作者从 CNN/DailyMail 摘要测试会集随机抽取了 100 篇文章，为其天生 CoD 摘要 。为便于参考 ，他们将 CoD 摘要统计数据与人类撰写的要点式参考摘要以及 GPT-4 在艰深 Prompt 下天生的摘要妨碍比力：「写一篇颇为杂乱的文章摘要 。请勿逾越 70 个字 。」
统计情景
在钻研中 ，作者从直接统计数据以及直接统计数据两方面妨碍了总结。直接统计数据（token 、实体、实体密度）由 CoD 直接操作 ，而直接统计数据则是密集化的预期副产物 。
直接统计数据 。如表 1 所示 ，由于从最后杂乱的摘要中删除了不用要的词语 ，第二步平均削减了 5 个 token（从 72 到 67）的长度 。实体密度从 0.089 开始 ，最后低于人类以及 Vanilla GPT-4（0.151 以及 0.122） ，经由 5 步密集化后 ，最终回升到 0.167。
直接统计 。抽象度理当会随着每一步 CoD 的妨碍而削减，由于每一削减一个实体 ，摘要就会被一再改写以腾出空间 。作者用提取密度来掂量抽象性 ：提取片断的平均平方长度 (Grusky et al., 2018) 。同样 ，跟着实体被削减到牢靠长度的摘要中 ，意见融会度也应随之干燥削减 。作者用与每一个摘要句子对于齐的源句子的平均数目来展现融会度 。在对于齐上 ，作者运用相对于 ROUGE 增益法 (Zhou et al., 2018), ，该措施将源句与目的句对于齐 ，直到格外句子的相对于 ROUGE 增益再也不为正 。他们还估量内容扩散（Content Distribution） ，也便是摘要内容所源头的文章中位置 ，会爆发变更 。
详细来说，作者估量 CoD 摘要最后会展现出强烈的「向导倾向」（Lead Bias） ，但随后会逐渐开始从文章的中间以及开始引入实体 。为了丈量这一点 ，他们运用了融会中的对于齐服从 ，并丈量了所有对于齐源句的平均句子品级 。
图 3 证明了这些假如 ：抽象性随着重写步骤的削减而削减（左侧提取密度较低） ，融会率回升（中图），摘要开始纳入文章中间以及开始的内容（右图） 。幽默的是，与人类撰写的摘要以及基线摘要比照 ，所有 CoD 摘要都更具抽象性。
服从
为了更好地清晰 CoD 摘要的 tradeoff ，作者睁开了一项基于偏好的人类钻研 ，并运用 GPT-4 妨碍了基于评级的评估 。
人类偏好 。详细来说 ，对于同样的 100 篇文章（5 个 step *100 = 总共 500 篇摘要） ，作者向论文的前四位作者随机揭示了经由「重新创作」的 CoD 摘要以及文章。凭证 Stiennon et al. (2020) 对于「好摘要」的界说 ，每一位诠释者都给出了自己最喜爱的摘要 。表 2 陈说了各诠释者在 CoD 阶段的第一位患上票情景 ，以及各诠释者的汇总情景 。总的来说 ，61% 的第一位摘要（23.0+22.5+15.5）波及≥3 个致密化步骤 。首选 CoD 步数的中位数位于中间（3） ，预期步数为 3.06。
凭证 Step 3 摘要的平均密度 ，可能简陋判断出所有 CoD 候选者的首选实体密度为 ∼ 0.15。从表 1 中可能看出 ，这一密度与人类编写的摘要（0.151）相不同 ，但清晰高于用艰深 GPT-4 Prompt 编写的摘要（0.122） 。
自动怀抱 。作为家养评估的填补（如下） ，作者用 GPT-4 从 5 个维度对于 CoD 摘要妨碍评分（1-5 分） ：信息量、品质 、毗邻性 、可归属性以及部份性 。如表 3 所示 ，密集度与信息量相关 ，但有一个限度 ，在步骤 4（4.74）时患上分抵达高峰 。
从各维度的平均患上分来看，CoD 的第一个以及最后一个步骤患上分最低 ，而中间三个步骤患上分挨近（分说为 4.7八、4.77 以及 4.76） 。
定性合成 。摘要的毗邻性 / 可读性与信息量之间存在着清晰的 trade-off。图 4 中揭示了两个 CoD 步骤：一个步骤的摘要因更多细节而患上到改善 ，另一个步骤的摘要则受到伤害 。平均而言 ，中间 CoD 摘要最能实现这种失调 ，但这种 tradeoff 仍需在尔后的使掷中去准断界说以及量化。
更多论文细节，可参考原论文 。
