Andrej Karpathy 的 LLM 上下文窗口个人知识库方案

摘要

Andrej Karpathy 提出了一种基于LLM上下文窗口构建个人知识库的创新方案。该方案将LLM的上下文窗口视为工作记忆，知识库视为长期记忆，通过“AI编译”模式，将原始资料（笔记、文章等）自动编译成结构化的维基条目，并利用反向链接建立知识关联。其核心理念是“不检索，我们编译”，并通过查询归档、自动维护（Lint/Heal）和“做梦”模式实现知识库的自我成长，模拟人类记忆的巩固过程，旨在替代复杂的传统RAG系统。

核心要点

• 将LLM上下文窗口类比为工作记忆，知识库类比为长期记忆，提出持久化存储方案。
• 核心方法是AI编译：用LLM将原始资料（raw/）自动编译成结构化的维基条目（含摘要、反向链接、标签）。
• 方案强调“不检索，我们编译”，通过反向链接自动建立知识关联，形成类脑记忆网络。
• 通过查询归档、Lint/Heal自动维护及“Dream”模式，实现知识库的自我成长和记忆巩固。
• 认为知识库规模有限时可全量加载至上下文，无需复杂RAG系统。

关键实体

- Andrej Karpathy (person) ⚠️建议建页

- LLM上下文窗口 (concept) ⚠️建议建页

- AI编译 (concept) ⚠️建议建页

- 反向链接 (concept) ⚠️建议建页

- 自动维护（Lint/Heal） (concept) ⚠️建议建页

- 个人知识库 (concept) ⚠️建议建页

相关内容

• [[Andrej Karpathy 的个人知识库方案]]
• [[LLM上下文窗口]]
• [[AI编译]]
• [[反向链接]]
• [[自动维护（Lint/Heal）]]
• [[个人知识库]]
• [[知识持久化]]
• [[替代RAG]]

建议新建页面

• [[AI编译]] — 是本方案的核心操作，指LLM将非结构化信息转化为结构化维基的过程，值得单独阐述其机制与实践。
• [[知识库闭环]] — 描述知识通过“导入-编译-查询-归档”循环增长的关键模式，是该方案的核心设计理念之一。

---

> 编译时间: 2026-06-06 05:29 | 来源: `notes/karpathy_llm_context_window.md`