Language Modeling Is Compression
论文把自回归预测与无损编码联系起来:模型给下一单位分配的概率,可以通过算术编码转化为所需的码长。作者在预处理后的文本、图像和音频样本上比较语言模型与传统压缩器,并区分仅算数据输出的压缩率和同时计入模型参数的压缩率。它提供的是理解训练目标与评测口径的办法,并未证明善于压缩就能成为可靠助手。
HACKER NEWS → PAPERS → IDEAS
从社区反复提到的论文,读进一个具体问题。
先看导读与研究边界,沿章节页码回到原文,再与视频、主题阅读对照。
沿用 HackerTube 的长期提及门槛:至少 3 个不同 HN 账号、跨 3 个 UTC 月份,在带原文链接且自写文字不少于 100 字符的评论中提及。提及可以是推荐、引用或批评,下面分别计数;它不是学术质量评分,也不是所有用户都在荐读。
本批 HN 证据截至 2026-11-12,原文由本站读取后编写导读。论文全文请前往列出的权威来源。
9 篇论文
论文把自回归预测与无损编码联系起来:模型给下一单位分配的概率,可以通过算术编码转化为所需的码长。作者在预处理后的文本、图像和音频样本上比较语言模型与传统压缩器,并区分仅算数据输出的压缩率和同时计入模型参数的压缩率。它提供的是理解训练目标与评测口径的办法,并未证明善于压缩就能成为可靠助手。
Coconut尝试让模型在中间推理时不必先把状态翻译成文字:把最后一层隐状态直接作为下一位置的输入嵌入,再在需要时恢复文字输出。训练从有文字步骤的示范开始,逐阶段把部分步骤换成连续状态。论文在数学题和合成逻辑任务上检验这种做法,显示特定的准确率与推理成本取舍;它提供了另一种计算表示,并未证明隐状态已经等同于人的思考。
模型写下更多推理文字,收益来自文字表达的步骤,还是额外计算的机会?作者用两个合成求和任务训练小型 Transformer,在问题与答案之间插入重复点号等无意义符号。特定训练条件下,这些符号也能帮助答题,说明有用计算可以发生在读者看不出推理含义的中间表示里。关键条件是训练:能够并行分解的步骤示范有效,只有点号或另一种串行步骤示范则没有带来相同收益。
“像真人”究竟怎样测?这项研究让评判者同时与一名真人和一个AI系统文字交谈,限时五分钟,再选谁是真人。作者在大学生和Prolific参与者两个群体中测试四类系统,并比较是否给模型设定人设。带人设的GPT-4.5在合并结果中有73%的局次被选为真人;同一模型没有该人设时为36%。导读重点是理解这个结果测到的短时对话拟人性,以及它与一般智力、长期可靠性的距离。
论文把“助手为什么拒绝”从输出风格问题推进到内部表示实验:在13个、1.8B至72B参数的开放聊天模型中,作者找到每个模型各自与拒绝行为有因果关联的一维方向。这给后训练如何塑造行为提供了具体研究对象。读结果时须分开拒绝措辞、回答有害性和通用任务表现;论文并未证明所有模型共享一个语义明确的安全开关。
同一道选择题,换成礼貌、普通或粗鲁的语气,答对率会不会变化?作者用 Deep Research 生成50道基础题及答案,把每题改写成五档语气,主要测试 ChatGPT-4o。粗鲁版本在这组题上的平均正确率更高。但这是小型提示措辞实验:改写改变了词语和长度,不能单独认定是模型受到了“情绪激励”,也不能据此形成通用的辱骂式提示建议。
当代理读取邮件、网页或文件时,外部文字可能改变它接下来做什么。CaMeL把可信用户请求的规划与不可信内容的解析隔开,再由解释器追踪每个值的来源和允许读取者,在调用工具前检查安全策略。它把一部分防护责任放到模型周围的执行系统中,而不是只要求模型识别恶意指令;AgentDojo实验展示了这种设计的价值,也暴露出任务完成率、策略维护、用户确认与侧信道之间的代价。
拿上一代模型的输出训练下一代,是否必然越训越差?这篇论文把容易混为一谈的两种过程分开:用新生成数据替换旧数据,以及保留初始数据并不断累积各代生成数据。作者在语言、分子构象和人脸生成实验中比较这两种过程,又在特定线性回归框架中分析误差。累积策略明显改变了退化轨迹,但“避免崩溃”不能读成所有质量指标永远不下降。
模型写出3+63=66时,内部是否只是认出了答案?这篇论文分析GPT-J、Pythia-6.9B和Llama-3.1-8B的两数加法,把整数表示拟合为含线性分量与多组周期分量的广义螺旋,再通过激活替换、消融及部件分析检验这种表示是否参与计算。它提供了比漂亮投影图更强的机制证据,但还没有定位从两个输入螺旋生成答案螺旋的精确运算。
没有找到匹配的论文,试试其他标题、作者或关键词。