使用 LeetCode 最新题目,测试 LLM 代码水平。
在 1024 端口启动一个网页服务,输入模型配置和 LeetCode Cookie 后,服务会:
- 自动检查并安装
leetcode-cli - 使用
leetcode edit拉取题目模板 - 调用配置的大模型生成代码
- 运行
leetcode test和leetcode exec - 统计逐题结果和总通过率
python3 app.py或:
uvicorn app:app --host 0.0.0.0 --port 1024打开 http://127.0.0.1:1024/。
- 默认使用较新的 LeetCode 题目做基准测试,当前默认题目:
3743,3501,3486,3435,3389 - 支持的模型接口类型:
chat_completioncodex
leetcode-cli使用的是https://github.com/clearloop/leetcode-clicodex类型默认通过codex exec调用模型,不直接在服务内手写POST /responseschat_completion类型仍然使用普通 HTTP 请求- 模型请求默认使用
thinking effort = high - 首次运行如果机器没有 Rust /
leetcode-cli,会自动安装兼容版leetcode-cli v0.4.3 - 题目执行流程为:
leetcode edit -> 模型生成代码 -> leetcode test -> leetcode exec
当网页里选择 api_type = codex 时,服务会:
- 在当前任务目录下创建一个带时间戳的临时
HOME - 复制
/root/.codex的基础配置到临时HOME/.codex - 用网页填写的
api_url、model_name、api_key覆盖临时config.toml和auth.json - 用这个临时
HOME执行codex exec - 读取
codex exec --json的实时事件流,渲染到网页 - 读取
-o输出的最终 last message,作为最终代码结果 - 任务结束后删除整个临时
HOME
这样做的目的是:
- 让
codex模式和 Codex CLI 的真实调用方式保持一致 - 能在网页上看到实时的 CLI / reasoning 输出
- 不污染系统默认的
/root/.codex
- 任务页会显示当前阶段、逐题结果、执行日志
Reasoning / CLI Events会按题目隔离:- 当前题单独显示
- 历史题以折叠面板保留
- 如果
codex exec长时间没有新输出,会按空闲超时中断;只要持续有新输出,就不会因为总耗时短时间内被杀掉
csrftoken和LEETCODE_SESSION可以填写纯 token 值- 也可以直接粘贴完整的
csrftoken=...或LEETCODE_SESSION=...; Domain=...,服务会自动提取