OPD 极简笔记，方便回顾。

我读了邱锡鹏老师写的《nndl》的 RL 相关章节，很通顺，让我复习巩固了一遍知识。我非常喜欢这本书！

我做个极简笔记方便回顾。

有时，需要向非理工科的或没有基础的朋友们解释语言模型。这些博客很能帮上忙：

• 故事开始于 2017：transformers.run
• LLM：The Illustrated GPT-2 (Visualizing Transformer Language Models) – Jay Alammar – Visualizing machine learning one concept at a time.
• KV cache：Transformers KV Caching Explained | by João Lages | Medium
• attention：Attention? Attention! | Lil’Log
• RL：Reinforcement Learning from Human Feedback (RLHF) - a simplified explanation，Medium
• 一个 CHI 2026 作品：transformer-explainer

优秀的博客作者：

• Lil’Log
• JoaoLages (João Lages)

有美本的好朋友邀请我一起探索量化。作为（准）程序员，以及（前）做题家，在对投资与金融完全零了解的情况下，我自然对这种似乎用纯粹的算法与数学对抗通货膨胀的技术产生了兴趣，立刻克隆下来了朋友的仓库。

在 GPT-5.4 连续几天的指导下，我学了一些基本的理论与算法，跑了几个回测。

这时再回过头来反思量化这个想法，发现还是存在一些误解。

首先是我作为（前）做题家的先验偏见，对金融领域的完全陌生、畏难导致了潜意识里对基础金融知识的“不屑”，大概的感觉就是“我用数学和编程就能秒了，为什么需要学习”，不想离开舒适圈。其次就是量化在国内难为普通人所用，需要一定的资金积累，大部分是企业在做。

所以，这些误解需要我改正。尽管算法学起来很好玩，但还是应当先积累些认知。例如：对投资的一些思考 | 🌀riba2534’s Blog、程序员该用哪种姿势来理财 - 楼主的人生博客，都可以帮忙了解金融领域。

想看看 CC 使用的 SDK。基于对 Claude Code v2.1.88 源码 src/services/api/、src/query.ts 的阅读。

围绕 agent memory，做一些笔记和调研。

记录一下。

不错的论文：Meta-Harness，Natural-Language Agent Harnesses，Meta-Harness: End-to-End Optimization of Model Harnesses | alphaXiv

以及博客的阅读：AI Agent 之我见 | Zoee，深入 Claude Code 源码

现在来学习一下 Claude Code 的架构与设计思想。

一下子也看不完，准备持续记录笔记，对哪里感兴趣就先看哪；互联网上，各种 CC 源码报告充斥着无数自相矛盾的 LLM 幻觉，真是越看越红温，不如用自己的 CC 专门读几个方向的代码。

Assignment 1, Writeup

包含：

1. Byte-pair encoding (BPE) tokenizer
2. Transformer language model (LM)
3. The cross-entropy loss function and the AdamW optimizer
4. The training loop, with support for serializing and loading model and optimizer state

Byte-Pair Encoding (BPE) Tokenizer

Problem (unicode1): Understanding Unicode (1 point)

(a) What Unicode character does chr(0) return?

Null 字符。

(b) How does this character’s string representation (__repr__()) differ from its printed representation?

交互环境下输入 chr(0) 就是调用 __repr__()，看到 ‘\x00’。print(chr(0)) 什么都不显示。

Lecture 2 （一）

几个表格，快速回顾知识