没人给出标准答案,学习信号从哪里来?
从一块没有标签的图像开始,再把问题换成需要连续行动的游戏。两者都没有老师逐题打分,但「找出结构」和「选择动作」要求的信息不同。
本文的问题 · 9
从无监督学习,走到学习图像表示
第一段描述没有给定正确标签时从数据发现结构;第二段提出从图像中学习比原始像素更有用的表示。可把表示学习问题作为理解无监督目标的一条具体路径。
对照原文与时间戳 · 2
I'm not going to tell you what the right answer isfind a better way to represent images than the raw input pixels两段提供问题定义,不证明所有表示学习都无监督,也不比较具体算法的优劣。
都没有老师给答案,学习信号却不同
无监督学习片段要求从未标注数据发现结构;强化学习片段没有监督者指定动作,却明确提供奖励信号。并读可以澄清没有标签不等于没有反馈。
对照原文与时间戳 · 2
I'm not going to tell you what the right answer isthere's no supervisor there's just this reward signal这是两类学习问题的比较,不是互相反驳;现实系统可以组合不同范式。
动作会改变后续局面,不能把连续决策拆成孤立的分类题
概括强化学习中的时间依赖;并非所有任务都有同样长的奖励延迟。
对照原文与时间戳 · 2
the consequence of trashing it may not happen until much laterthe agent is actually influencing the data that it sees用 AlphaGo 看见机器学习定义中的任务与经验
Stanford 课程用任务、经验和性能指标描述学习问题;AlphaGo 的纪录片呈现棋谱模仿、自我对弈和从失误中学习。后者让抽象定义落到清楚的任务与经验来源上,也展示经验并非只能来自人工标注。
对照原文与时间戳 · 2
a computer program is set to learn from an experiencethrough self-playing, reinforcement learning, it plays against different versions of itself纪录片展示的是混合训练过程,不能据此推断所有机器学习任务都采用自我对弈或强化学习。
试错可以发现不在示范答案里的策略
一例是围棋自我对弈,另一例讨论语言模型解题。探索有效仍依赖能提供区分度的反馈。
对照原文与时间戳 · 2
through self-playing,
reinforcement learning, it plays against different versions
of itself many millions of times,we're going to check them and we're going to do more of what worked围棋和马里奥代理从不同反馈中改进
AlphaGo 先模仿人类棋手,再经自我对弈强化学习;MarI/O 按游戏进度形成适应度并繁殖高适应度网络。两者可作为围棋与平台游戏代理改进方式的并列案例。
对照原文与时间戳 · 2
through self-playing, reinforcement learning, it plays against different versions of itselfOnly the neural networks that produce the highest fitness are selected两者采用不同训练机制和任务指标;这组片段只支持并列比较,不证明某种反馈方式更有效或泛化更好。
看不见的那块图,究竟要猜回什么?
把一片树叶挡住,要求模型猜回每个像素,和要求它猜一个表示,是两种训练任务。LeCun 用这个差别解释 JEPA:完整观察也经过编码器,预测器去接近的是那份表示。它可以不用追赶每片叶子的偶然抖动;若表示也丢掉任务所需的差异,预测得准并不能补回来。读一个自监督方法时,先圈出误差在哪个空间计算。
原文与时间戳 · 2
you’re only trying to predict an abstract representation of the inputsyou’re not going to have to predict every single pixel of every leaf“无罪”标签把哪两类录像放在一起了?
《反恐精英》的陪审者需要看八轮录像,并在有充分把握时才指认作弊。如果某位高手和某位非常谨慎的作弊者都缺少足够的定罪证据,两者就会得到相同标签。用这些判决训练系统时,一个直接可测的问题是“系统能找到会被陪审者判定的案例吗”。若要进一步问“它找到了所有作弊吗”,还缺一种能发现前述盲区的独立观测。
原文与时间戳 · 2
Only convict them if you believe there is evidence beyond a reasonable doubt.Overwatch doesn't catch subtle cheaters. Because we ask players, like, don't convict if you're not sure不知道明文,怎样判断一次试解有没有进步?
试一个 Enigma 设置后,先别问「整句对了吗」。在候选明文中随机抽两个位置,字母相同的概率会随字母分布而变。演示用这个量给转子设置排序,利用了部分设置正确时也会产生统计偏差这一点。它是一种搜索信号。短信里仅仅碰巧重复几个字母就能改变排名,最终还需要用可读的文本或其他线索核验候选密钥。
原文与时间戳 · 2
the probability that when you pick two letters at random they'll be the samefor short messages where these fitness functions start to break down读完再想一步
改变一次动作而不改变眼前画面,哪些任务的答案仍会受到影响?