Hacker游戏代理的进步，究竟进步在哪里？
分数上涨可能来自更好的网络、更深的搜索，或者评分规则里的漏洞。分别追踪代理看到了什么、尝试了什么、最后为什么得到奖励。
本文的问题 · 8
从神经网络结构走到可演化的网络拓扑
But what is a neural network? 解释层间激活如何传递，并把整个网络描述为输入到输出的函数；MarI/O 展示 NEAT 从基础网络开始，通过适应度筛选和演化连接结构来学习游戏操作。前者提供网络的计算视角，后者给出网络结构如何在特定任务中演化的实例。
对照原文与时间戳 · 2
the heart of the network as an information processing mechanismwithout presupposing the best structure for the neurons and their connections两者讨论的层次不同：3Blue1Brown 讲解基础前馈网络结构，MarI/O 展示特定游戏与 NEAT 方法；不能据此推断 MarI/O 使用了前一视频讲解的训练方案，也不能泛化其效果。
奖励学习与遗传筛选都用反馈，但更新单位不同
强化学习课程描述智能体通过试错和奖励信号改善动作；MarI/O 则依据关卡推进距离与速度计算适应度，筛选并繁殖网络。两者都利用任务反馈，但一种更新策略决策，另一种选择跨代网络个体，能避免把所有“没有标签的学习”混为一类。
对照原文与时间戳 · 2
there's no supervisor there's just this reward signalOnly the neural networks that produce the highest fitness are selectedMarI/O 使用遗传算法/NEAT，不是强化学习；此关系用于区分机制，不能据此比较两者普遍优劣。
不同代理暴露不同限制：结构演化与搜索视野
MarI/O 从基础网络演化神经元和连接结构；NES 视频指出俄罗斯方块代理因前瞻不足而受限。并读可区分结构如何形成与决策向前看多远这两类问题。
对照原文与时间戳 · 2
without presupposing the best structure for the neurons and their connectionsthis algorithm does not think very far ahead两种方法针对不同游戏与状态编码；NES 方法依赖目标指标对进度有用，并明确在需要更长远规划的情形下受限。
游戏智能的失败可以来自输入和目标的限制
盲棋只给占位掩码，因此相同输入可能对应不同真实棋盘；PlayFun用示范RAM构造上升指标并短视搜索，俄罗斯方块中堆叠小得分反而导向失败。两例说明评估行为前需要检查表示丢失了什么、指标奖励了什么。
对照原文与时间戳 · 2
the representation is ambiguous and of course when it gets it wrongplaying Tetris well requires some thinking ahead, and this algorithm does not think very far ahead.一端是不可辨识输入，一端是目标和规划视野，两者不是相同故障，也不能由此否定更完整的学习系统。
输入表示丢掉的信息，会限制系统能从当前观察中推断什么
不完整观察不等于永远无法推断；额外历史、反馈或先验可能改变答案。
对照原文与时间戳 · 3
this has to have some mistakes since the representation is ambiguousthe future is independent of the past given the presentThe white squares stand for blocks the player can stand on同样是每秒几次按键，小手柄能复现街机技巧吗？
影片先辨认街机大按钮为整根手指和另一只手留下的空间，再解释为什么把同一动作照搬到 NES 按键上会触发不同游戏动作。能转移的目标是快速重复输入；解决方案必须跟着按钮尺寸与手柄握法重做。评价一位玩家的新技术时，分开量按键是否真的被识别、方块能否移动到位、以及整局得分是否改善。
原文与时间戳 · 2
arcade cabinets have very large buttonsthe buttons on a Nintendo controller are tiny.最后一局公开之后，原先的合作策略还在玩同一个游戏吗？
面对只会背叛一次的对手，「报复一轮」与「永远不再合作」有不同的长期代价。Veritasium 随后改变了比赛条件：如果双方都知道哪轮是末局，未来报复就不能约束那一轮的选择。试着评测同一对代理两次，一次告诉它们确切终点，一次只给继续的概率，再记录每轮的动作。只看两个总分，会把策略改变与任务改变混在一起。
原文与时间戳 · 2
A forgiving strategy is one that can retaliate but it doesn't hold a grudge.when the last round is, then there's no reason to cooperate in that round.下一轮可能换人，今天为什么要改变选择？
Grey 在接班模型中改变了重复博弈的一项条件：与支持者分配利益的人可能被替换。即使当天的奖赏相同，预期接班者怎样对待现有支持者，也会改变他们今天支持谁的理由。与已知末局的锦标赛相比，这里未来互动仍会继续，只是未必与同一个人继续。要解释具体的一次历史交接，还需回到参与者当时掌握的材料。
原文与时间戳 · 2
forces your keys to plan for your replacementfamilies are so popular among rulers and their key supporters.读完再想一步
如果只许改观察、搜索深度和奖励中的一项，你会先改哪项来检验解释？