Vision-and-Language Navigation: Interpreting visually-grounded navigation instructions in real environments

Summary

Vision-and-Language Navigation (R2R)

核心: 第一个把”agent 在真实建筑全景图像中按自然语言指令导航到目标位置”立成可复现 benchmark 的工作；同时贡献 Matterport3D Simulator + R2R dataset + seq2seq baseline + 评测协议，奠定整个 VLN 子领域。

方法: 在 90 个 Matterport3D 建筑上构 navigation graph（panorama 节点 + ray-traced edges），在线 sample 7,189 条 4–6 hop 最短路径并用 AMT 收 21,567 条三人独立写的指令；训 LSTM seq2seq + Bahdanau attention 作为 baseline，对比 teacher-forcing vs student-forcing（DAgger 变体）。

结果: Test (unseen) 上 student-forcing SR 20.4% vs Random 13.2% vs Human 86.4%；Val seen 38.6% / Val unseen 21.8% 的 17 pp gap 直接揭示 VLN 的核心难题——到 unseen 环境的泛化。

Sources: paper | website | github

Rating: 3 - Foundation（开 VLN 整个子方向的奠基工作；simulator + dataset + 评测协议三件套被 8 年 1700+ citation 持续沿用，所有后续 VLN 方法都是它的 ancestor，即便 paper 本身的 baseline 早已被 superseded）

Key Takeaways:

创立 VLN 作为一个 task：在 R2R 之前，“按语言指令导航”要么用渲染场景（DeepMind Lab、ViZDoom）牺牲视觉真实，要么把环境抽象成 label（Tellex 等），R2R 第一次在真实建筑全景中同时保留语言开放性和视觉开放性。这个 problem framing 本身比任何具体方法都更有影响力。
Train / val-seen / val-unseen / test split 是真正的 contribution：把 90 个 scene 切成 61/11/18，强制 val-unseen 与 test 与训练 building 完全不重叠。这种”scene-disjoint 而非 trajectory-disjoint”的切法，让 generalization 而非 memorization 成为评测目标，被后续所有 VLN benchmark（VLN-CE / RxR / REVERIE / SOON）继承。
Sim 设计的关键 trade-off：把连续运动离散化成”沿 navigation graph 跳到邻接 panorama”——graph 平均 117 节点 / 度 4.1 / 节点间 2.25 m。论文承认这是个 trade-off，但用”continuous sim 实践中也都用 discrete action” 自我辩护。这个 discrete nav-graph 假设是 R2R 一切便利的根源、也是 8 年来后续工作要不断弥合的”continuous gap”。
Baseline 数字本身是负结果：seq2seq SR 20.4% 离 human 86.4% 差 4×，且 val-seen vs val-unseen 17 pp gap 几乎完全暴露在 visual grounding 而非 instruction parsing 上——overfitting 到训练 building 的 visual grounding。这个 negative result 是后续 5 年 VLN 研究的核心 motivation。
Student-forcing > Teacher-forcing 是个朴素但重要的 lesson：DAgger-style “always sample from policy” 在 unseen 上 SR +2.2 pp、在 seen 上 +11.5 pp。论文还做了和 scheduled sampling 的对比并 note 后者更差——sequential decision 任务里 expert relabeling 的 distribution shift 修正比”软”方案更有效。

Teaser. R2R 任务示意。 Agent 收到一段英文指令（如 “Head upstairs and walk past the piano through an archway directly in front. Turn right when the hallway ends…“），在未见的真实建筑全景中按指令到达目标。Agent 视角可自由旋转；蓝色圆盘标出当前可达的下一步 viewpoint（即 navigation graph 的邻接节点）。

1. Motivation：为什么需要这个 benchmark

R2R 之前，“natural language → robot action” 已研究数十年，但大致沿两条路线：

Label-based：把所有 navigation goal / object 枚举成 label，把语言映射到 label sequence（Tellex 2011, Chen & Mooney 2011）。牺牲视觉开放性。
Rendered environments：DeepMind Lab、ViZDoom、AI2-THOR 用合成场景训 RL agent。牺牲视觉真实——hand-crafted asset 集合受限，open-set 退化为 closed-set classification。

R2R 的 problem framing 是同时保留两端：

Real images：直接用 Matterport3D 拍的 building-scale panorama；
Open vocabulary instructions：crowd-sourced，~3.1k 词汇；
Unseen-environment evaluation：test scene 与 train scene 完全 disjoint。

Figure 2. VLN vs VQA 的核心区别。 两者都是 visually-grounded seq2seq transcoding，但 VLN 序列长得多，且唯一在真实图像上让模型输出操控 camera 的 action 序列 $⟨ a_{0}, a_{1}, \dots, a_{T} ⟩$ 。这个对比清晰地把 VLN 定位成 “VQA + active perception”。

这个 motivation 8 年后仍然成立。回头看，R2R 真正的核心贡献不是 “我们提出了一个新 task”，而是 “我们论证了为什么必须同时保留 visual realism + linguistic openness + unseen generalization 才能让 VLN 有意义”——这三个要求把 problem framing 从 “another label task” 锁死在了 “open-set perception + grounding”。

2. Matterport3D Simulator

2.1 底层数据

Matterport3D dataset (Chang et al., 3DV 2017) 提供：

90 个建筑级场景（住宅、公寓、酒店、办公室、教堂等），单个场景跨多层、多房间；
10,800 个 panoramic viewpoint，每个 panorama 由 18 张 RGB-D 子图拼成（覆盖整个球面除两极）；
194,400 张 RGB-D 图像，平均节点间距 2.25 m；
每张图带 6-DoF pose；场景级 globally-aligned textured mesh + room/object 实例分割。

R2R 用这套数据，但只用 RGB（论文留 RGB-D 作为 future work）。

2.2 观测与动作空间

观测：agent pose 由 (3D 位置 $v \in V$ , heading $ψ \in [0, 2 π)$ , elevation $θ \in [- π /2, π /2]$ ) 三元组定义。每步给一张 RGB 图（从预存 cube-map 透视投影出），分辨率 640×480、垂直 FoV 60°。

动作空间设计——这是整个 simulator 最关键也最具争议的设计：

每个 scene 被建模为一个 weighted undirected graph $G = ⟨ V, E ⟩$ ，节点是 panorama viewpoint，边由”两个 viewpoint 之间 ray-trace 无遮挡 + 距离 ≤ 5 m”决定。手工修正了 mesh 中 mirror / window 等遮挡漏检。

Equation 1. State-dependent 可达节点集合。

W_{t + 1} = {v_{t}} \cup {v_{i} \in V ∣ ⟨ v_{t}, v_{i} ⟩ \in E \land v_{i} \in P_{t}}

符号说明： $v_{t}$ 当前 viewpoint， $P_{t}$ 当前 camera 视锥（左右边界）内的空间区域。

含义：agent 每步可以选 (a) 留在当前节点只动 camera，或 (b) 跳到当前视野内的邻居节点。视野约束让”agent 必须先转到能看见目标节点的方向”才能走过去——这个设计让 navigation graph 不会退化成 “teleport”。

Figure 3. Navigation graph 示例。 一个建筑某层楼的 panorama viewpoint（蓝色圆盘）和 robot-navigable edges。楼梯也被建模为可走的 edge，支持跨楼层。平均每图 117 节点、度 4.1（高于 grid-world 的 < 4，因为没有墙壁约束）。

论文为 discretization 的辩护：

“Even with a real robot it may not be practical or necessary to continuously re-plan higher-level objectives with every new RGB-D camera view. Indeed, even agents operating in 3D simulators that notionally support continuous motion typically use discretized action spaces in practice.”

❓ 这个辩护在 2018 年是合理的（DRL 时代 continuous nav 也都 discretize），但埋下了 R2R 的最大局限。2.25 m 节点间距 + ray-trace 可达性 + ground-truth pose，这三个假设一起把”导航”从一个控制问题抽象成了图上的离散决策问题。后续 VLN-CE (Krantz 2020) 把这套搬到 Habitat 连续空间后 SR 立刻掉一大截，正是因为这层抽象被剥掉了。

2.3 实现与已知 bias

C++ + OpenGL + Python binding，可接 Caffe / TensorFlow / Gym / ParlAI。论文主动列了三类 selection bias：

居住空间普遍整洁奢华——不代表真实家庭；
几乎没有人和动物——与 VQA 等含人数据集对比鲜明；
viewpoint capture bias——总是 commanding view，不代表机器人实际能站的位置。

这三条 bias 中 (3) 在 2025 的 VLNVerse 里被实证再次确认：把 R2R 节点搬到物理 sim 中、要求 agent 真站到那些 viewpoint 上时，很多 viewpoint 物理上不可达或视角不一致，MLLM agent 在 Strict 物理设定下 SR 相对 Tel-Hop 下降 10 pp。

3. Room-to-Room (R2R) Dataset

3.1 路径采样

用 Matterport3D 的 region annotation 倾向跨房间采 (start, goal) 对；
在 navigation graph 上算 shortest path；
过滤 < 5 m 路径；保留 4–6 hop 路径；
总计 7,189 条路径，平均长度 10 m。

3.2 指令收集

每条路径用 AMT 收 3 条独立的英文指令（共 21,567 条）。Worker 看 WebGL 3D fly-through、可 pan/tilt 任意 viewpoint，被要求 “write directions so that a smart robot can find the goal location”——不要求精确复述 path，只要求能到达 goal。

US-based AMT worker，screened；
400+ workers 共 ~1,600 小时；
平均指令长度 29 词（远长于 VQA 的 4–10 词）；
词汇 ~3.1k（其中 ~1.2k 出现 ≥5 次）——“focused but open”。

Figure 4. 指令样例。 同一条 path 被三个 worker 写成三条互不相同的指令——抽象层次差异极大（有人写 “Turn around and exit the room. Walk around the sofa…”，有人只写 “Wait by the side table.“）。论文 note 这反映 worker 对 “smart robot” 心智模型的差异。

Figure 5. 长度分布。 指令长度（左）大致正态、众数 25 词；trajectory 长度（右）受 4–6 hop 过滤约束在 5–15 m。

Figure 6. 指令首词分布（sunburst）。绝大多数以 “walk / turn / go / head / exit / stop / wait” 开头——动词主导、语法结构相对受限，但目标 noun phrase 高度多样。

3.3 评测协议

Navigation Error (NE)：agent 终点与 goal $v^{*}$ 在 navigation graph 上的最短路径距离（米）。忽略 heading / elevation——只看到没到。

Success Rate (SR)：NE < 3 m 视为成功。3 m 阈值的 rationale：约一个 viewpoint 容差，远小于 5 m 起始误差下限。

Oracle Success (OS)：若 agent 沿轨迹某点曾经离 goal < 3 m 就算 success——剥离 “知道何时停” 这一子问题，单看 “能否经过” goal。

关键设计：必须主动选 STOP action。论文明确把 “decide to stop” 当作 task 的 fundamental component（vs vision-only navigation 中常见的”不让 agent stop”）。

SPL（Success weighted by Path Length，Anderson et al. 2018a 提出）在本文实验表中未明确出现——表里只列 Trajectory Length / NE / SR / Oracle SR。SPL 是后续 VLN-CE / RxR 等工作系统化引入的核心指标。本文同期作者 Anderson 在另一篇 “On Evaluation of Embodied Navigation Agents” 中提出 SPL，常被合并归功于 R2R。

3.4 Splits

按 Matterport3D 原 split 策略：

Split	Scenes	Instructions	用途
Train	61	14,025	训练
Val Seen	(subset of 61)	1,020	同 building val
Val Unseen	11	2,349	未见 building val
Test (Unseen)	18	4,173	leaderboard，goal 不公开

关键设计：val-unseen 与 test 的 building 都不在 train 里。这个 scene-disjoint split 是 R2R 真正的方法论 contribution——它把 generalization 锁成评测目标，而不是 trajectory-disjoint 那种 “同一 building 内的 unseen path”。

4. Baseline：Sequence-to-Sequence Model

4.1 架构

LSTM encoder-decoder + Bahdanau attention（即 NMT 范式直接搬到 navigation）：

Instruction encoder：word embedding (256d) → LSTM (512d hidden)，反向输入（参考 Sutskever et al.）。
Image embedding：ResNet-152 ImageNet pretrained → mean-pooled feature。
Action embedding：6 离散动作（left / right / up / down / forward / stop），每个学一个 32d embedding。
Decoder：image + previous action → LSTM (512d)，对 instruction context 做 Luong general attention，softmax 出下一个 action。
Action 简化：尽管 simulator 的 action space 是 state-dependent panoramic（每步可达节点不同），baseline 大幅简化为 6 固定动作；forward 永远走”视野中心最近的可达节点”，left/right/up/down 转 30°。

❓ 这个 6-action 简化是 baseline 弱的关键原因之一。后续 PREVALENT / Recurrent VLN-BERT / DUET 都把 action space 改成 panoramic（全景中所有可达节点），SR 立刻拔高一截。R2R baseline 在 simulator 里主动放弃了 simulator 提供的全景动作便利，等于给了后人一个低 hanging fruit。

4.2 训练

两种 regime：

Teacher-forcing：每步喂 ground-truth action（即从当前位置到 $v^{*}$ 最短路径上的下一步）。Distribution shift 严重。
Student-forcing（DAgger 在线版本）：每步从 policy 采样 action，但 loss 仍按 oracle ground-truth action 算。
论文还试了 scheduled sampling，发现比 student-forcing 更差——脚注 4 解释：因为可以 always 算 oracle next action，不需要 scheduled sampling 那种 “soft” 修正。

实现细节：image resolution 640×480, FoV 60°；预存全部 ResNet feature 提速；PyTorch + Adam；test 用 greedy decoding；test submission 用 train + val 全量训练。

5. Results

Table 1. R2R 主结果（论文 Table 1 复刻）

Split	Method	TL (m)	NE (m) ↓	SR (%) ↑	Oracle SR (%) ↑
Val Seen	Shortest	10.19	0.00	100	100
	Random	9.58	9.45	15.9	21.4
	Teacher-forcing	10.95	8.01	27.1	36.7
	Student-forcing	11.33	6.01	38.6	52.9
Val Unseen	Shortest	9.48	0.00	100	100
	Random	9.77	9.23	16.3	22.0
	Teacher-forcing	10.67	8.61	19.6	29.1
	Student-forcing	8.39	7.81	21.8	28.4
Test (Unseen)	Shortest	9.93	0.00	100	100
	Random	9.93	9.77	13.2	18.3
	Human	11.90	1.61	86.4	90.2
	Student-forcing	8.13	7.85	20.4	26.6

三个数字最值得记：

Human 86.4% vs Model 20.4%：4× 差距，明确告诉社区 “this is hard”。
Val Seen 38.6% vs Val Unseen 21.8%：17 pp gap，generalization gap > absolute SR。
Random 13.2%：因为 path 长度受限于 4–6 hop + start 误差 5 m，Random 不算极低基线，所以 20.4% 的”绝对提升”其实只有 7 pp。

Figure 7. 训练曲线。 Validation loss / NE / SR 在 train 和 val seen 上持续改善，但val unseen 早早 plateau——典型的过拟合到训练环境的视觉 grounding。论文的话：“performance in unseen environments plateaus quickly, but further training continues to improve performance in the training environments. This suggests that the visual groundings learned may be quite specific to the training environments.”

这张图是整个 paper 里 information density 最高的——一张图就把 VLN 后续 5 年的核心问题点出来了。所有 “data augmentation”（Speaker-Follower、PREVALENT、ScaleVLN）和 “pretraining”（VLN-BERT、HAMT）路线本质上都在攻这条曲线的 unseen plateau。

关联工作

R2R 直接派生的 benchmark

VLN-CE (Krantz 2020, “Beyond the Nav-Graph”)：把 R2R 从离散 nav-graph 搬到 Habitat 的连续空间，agent 用低层动作（move 0.25 m / turn 15°）；VLN-CE 是 VLN-CE 框架下对 R2R 7,189 条轨迹的连续移植（保留 4,475 条可达）。同样 instruction，SR 普遍下降 ~20 pp，揭示 “discrete-to-continuous” gap。是当前（2026）VLN 的 de facto 主战场。
RxR (Ku 2020)：多语言（英 / 印地 / 泰卢固）、更长更密 instruction（平均 78 词、每步带 pose-time 对齐）。
REVERIE (Qi 2020)：goal-oriented，指令只描述目标 object 不给 step-by-step。
SOON (Zhu 2021)：scene-oriented，instruction 描述目标房间属性。
VLN-PE / VLNVerse：把 R2R / VLN-CE 进一步搬进物理 sim（Isaac Sim、GRUTopia），暴露 embodiment + 物理可达性 gap。

在 R2R 上的代表性方法（按时间）

Speaker-Follower (Fried 2018)：speaker model 合成增广 instruction + back-translation；首次显著推 SR。
PREVALENT (Hao 2020) / VLN-BERT (Hong 2021)：BERT-style pretrain + cross-modal transformer。
HAMT (Chen 2021)：long-horizon transformer memory，sequence-action paradigm 巅峰。
DUET (Chen 2022, CVPR Oral)：dual-scale graph transformer + GASA + map-as-action-space，REVERIE/SOON SOTA。
ETPNav (An 2023, TPAMI 2024)：在 VLN-CE / RxR-CE 上做 online topological map + Tryout obstacle avoidance，RxR-CE +26 SR。
NaVid (RSS 2024)：第一个 Video-LLM as VLN agent，奠定 streaming VLA 路线。
NaVILA：VLM (1–2 Hz) + RL locomotion 双层架构，把 VLN 推到 legged real robot。
StreamVLN：KV-cache 优化的 streaming VLA。
VLN-R1 / ETP-R1：GRPO 在 VLN 上的应用；ETP-R1 把它和 graph-based 路线融合。
VLNVerse：以 Strict 物理设定重评 R2R-style benchmark，揭示 8 年来 “新 benchmark” 几乎都在 MP3D 原 90 个 scene 上反复重标注。

Topic 综述

VLN Survey：四条主流路线（graph-based / streaming VLA / zero-shot MLLM / GRPO RFT）的 delta 报告。
VLN with Foundation Models Survey：FM 时代 VLN 综述。

同期 / 背景

Matterport3D (Chang 2017)：底层数据，没有它就没有 R2R simulator。
Embodied QA (Das 2018) / IQA (Gordon 2018)：同期 embodied 任务，论文 Section 2 列为 concurrent work。
DeepMind Lab / ViZDoom / AI2-THOR：早期 synthetic 3D RL 环境，论文用来对比”为什么需要 real images”。

论文点评

Strengths

Problem framing 是真正的 contribution：在一切都还是 label-based 或 rendered-env 的时代，明确论证 “real images + open vocabulary + scene-disjoint split” 三个要求 jointly necessary，让 VLN 从 label-mapping 变成 embodied perception 任务。这种 framing 工作只能由特定时点出现，且会反作用塑造一整个 sub-field 的发展轨迹。
Simulator + dataset + baseline + 评测协议一次性成 package：极少有 paper 同时做完这四件事并都做对。Simulator 至今（虽然 stale）仍可用；dataset / split / 评测协议被 8 年来几乎所有 VLN 工作沿用。
诚实的 baseline + negative result：seq2seq SR 20.4%、val-seen-vs-unseen 17 pp gap，直接把”unseen environment generalization is hard”作为 paper 的核心 finding 之一公示，而不是粉饰成 SOTA 故事。
Bias 自我披露：Section 3.2.4 主动列三类 selection bias（clean homes, no people, commanding viewpoints），符合 dataset paper 的最佳实践，也对后续 VLNVerse 这种 critical re-evaluation 工作埋下伏笔。
AMT 收集流程 + 同 path 三 worker 写指令：三 worker 设计天然提供”同一 ground-truth path 的 paraphrase 三元组”，给后续 contrastive / paraphrase / multi-instruction averaging 留了便利。

Weaknesses

离散 navigation graph 是最大的设计妥协：节点 + ray-trace edge + state-dependent reachable set，把 navigation 抽象成图上离散决策。优点是评测干净，缺点是 (a) 与连续控制脱节，agent 学不到 low-level locomotion；(b) ground-truth pose 假设掩盖了 SLAM / odometry 误差。VLN-CE / VLN-PE / VLNVerse 在后续 5 年里就是在补这一刀。
Panoramic observation + 全 viewpoint 已知，等价于”能看见整个环境的 god-mode”：每个 panorama 是预先采集的全景，agent 转头不需要 motion；可达节点集合由 simulator 显式提供。real robot 上要 “建图 + 找 frontier + 决定 navigability” 一整套都没了。
6-action 简化让 baseline 远弱于 simulator 上限：simulator 给的是 panoramic action space，baseline 却退化成 6 离散方向。后续工作（PREVALENT / DUET）改回 panoramic action 后立刻拉一截 SR——意味着 R2R 的 “20.4% SR” 这个数字 benchmark 其实是 baseline 选择的 artifact，不是 task 本身的真难度。
指令多样性受 AMT worker pool 偏置：US-based AMT、英语单语、worker 数 400 人级别。RxR 后来扩成多语言 + 更长指令一定程度上缓解，但 R2R 自身的指令分布偏 “imperative + 动词主导” 是一致风格。
没有 SPL 是个小遗憾：评测只看 NE / SR / Oracle SR，没有 path-length-weighted 指标，agent 可以无脑 wandering 撞 success。SPL 是同期 Anderson 等人在另一篇 “On Evaluation of Embodied Navigation Agents” 里提的，但没整合进 R2R 主表，导致后续工作要补这块。
Visual attention 留作 future work：baseline 只对 instruction 做 attention，对 image 只 mean-pool。在 image grounding 是核心瓶颈的任务里这是个明显的 ablation 缺口。

可信评估

Artifact 可获取性

代码: inference + training（C++ simulator + Python baseline 训练脚本），https://github.com/peteanderson80/Matterport3DSimulator（master 分支，688⭐ / 138 forks）。注意：repo 已 stale（pushed 2024-07，>650 天无新 commit），但核心 simulator API 仍然可用，dataset 仍可下载。
模型权重: README 提供 baseline pretrained model（seq2seq + student-forcing）下载链接。
训练细节: 较完整。LSTM hidden 512 / word embed 256 / action embed 32 / dropout 0.5 / Adam / batch size 100 / fixed iterations。Image 640×480 + FoV 60° + ResNet-152 mean-pool feature 预 cache。但 “trained for a fixed number of iterations” 没给具体数；test submission 是 train+val 全量训练。
数据集: 完全开源——Matterport3D scene + R2R instruction + train/val-seen/val-unseen split 全部公开；test set goal hidden，通过 EvalAI leaderboard 评测。

Claim 可验证性

✅ R2R 数据集统计：90 scenes, 7,189 paths, 21,567 instructions, ~3.1k vocabulary, 平均 29 词——dataset 公开可独立 grep 验证。
✅ Baseline 数字：Table 1 所有 SR / NE / TL / Oracle SR 来自 leaderboard 提交可独立复现，repo 提供训练脚本。
✅ Val seen vs val unseen gap：17 pp gap 是直接来自训练曲线（Figure 7），repo 可复现。
✅ Student-forcing > Teacher-forcing：Table 1 同设置直接对比；DAgger 文献支持。
✅ Human 86.4%：1,390 instruction × AMT human trial，方法论描述清楚（Section 5.3 Human）。
⚠️ “Random 13.2% 是合理 baseline”：Random 用了 “5 forward steps”，是利用了 dataset 的 4–6 hop 先验；不是完全 random。论文 honest 标了，但这让 Random vs Model 的 7 pp 提升看起来更小。
⚠️ Selection bias 自查充分性：列了三类，但对 “indoor only / English only / scene-disjoint 不等于 distribution-disjoint（家具风格仍可能跨 building 相似）” 没展开。

Notes

R2R 与 VLN 的关系：R2R 是 VLN 这个子领域的起点。所有后续 VLN benchmark 都可以追溯到 R2R 的 (a) panorama-graph + scene-disjoint split + crowd-source instruction 三件套，或者 (b) 显式针对 R2R 的某个简化做修补（CE 修连续性、RxR 修单语 / 短指令、REVERIE 修 step-by-step / goal-only、VLNVerse 修物理可达性）。
离散 nav-graph 的”原罪” vs 工程便利：R2R 的 discrete graph 设计带来了完整可复现的评测，让方法论快速迭代（5 年从 20% SR → 70%+ SR）；但也让整个子领域在 sim-to-real 这一刀上长期被困。这是 benchmark 设计的核心 trade-off：太简化会脱离 reality，太 realistic 评测就不可比。R2R 选了前者，5 年后 VLN-CE / VLN-PE / VLNVerse 才开始还债。
Generalization gap 作为永恒问题：seen 38.6% vs unseen 21.8% 这 17 pp gap 在 8 年里被各路方法慢慢压缩，但从未消失。即便到 2025 年的 Efficient-VLN、VLNVerse 时代，unseen 与 seen 的 gap 仍是核心评测维度。这说明 R2R 选的 split 策略捕捉到了 VLN 的本质难点。
R2R 之后值得重读这篇的理由：(1) 看 problem framing 是怎么写的（每个设计决定都有 trade-off 解释）；(2) 理解为什么后续工作要做”看似冗余”的 VLN-CE / VLNVerse——是在补 R2R 的设计妥协，不是单纯刷 SOTA；(3) 学 dataset paper 的诚实写法（主动列 bias，承认 baseline 弱，给 oracle baseline 让人理解 task 上限）。
可迁移 lesson：R2R 的 “scene-disjoint split + open vocabulary + crowd-source”三件套对其他 embodied benchmark 仍适用——OK-Robot、HomeRobot、EmbodiedBench 都在不同程度上沿用。GUI agent 的 unseen-website / unseen-domain split 设计可以从这里学。

Rating

Metrics (as of 2026-04-28): citation=1705, influential=388 (22.8%), velocity=16.7/mo · 102.0mo old; HF upvotes=N/A (paper 2018 年发布，HF Daily 不收录早期论文); github 688⭐ / forks=138 / 90d commits=0 / pushed 655d ago · stale

分数：3 - Foundation

理由：R2R 是 VLN 整个子领域的奠基工作，simulator + dataset + scene-disjoint split + 评测协议四件套被 8 年来几乎所有 VLN 工作沿用，1705 citation / influential 22.8% 的比例显示其被实质继承（不是单纯 landmark reference）。Repo is_stale 不影响 Foundation 判定——dataset 和评测协议本身不需要持续维护，simulator 仍可用，且后续派生的 VLN-CE / VLNVerse 都是 R2R 的直接子节点而非替代。区别于 2 档：方向必读且必引——任何 VLN 笔记的 Background 段都绕不开 R2R；区别于”过气前 SOTA”型 Foundation：R2R 的 contribution 不在 baseline 而在 problem framing 和 dataset 三件套，benchmark 本身没被取代（只是被 VLN-CE 等扩展）。

MindFlow

Explorer