LLM PLATFORM · RUNTIME INFRASTRUCTURE

为长时间运行的 AI 工作负载搭建可靠底座

我负责把模型调用变成可排队、可恢复、可观测的系统：异步 worker、状态持久化、统一模型网关和发布门禁。

Async task runtimeOpenAI-compatible gatewayRuntime code ↗

调度与并发Queue、worker、lease 和资源预留，先控制执行边界再调用模型。

故障恢复SQLite journal、checkpoint、重试和幂等，worker 崩溃后可以继续。

发布与观测Linux/Nginx、Actions、日志和评测门禁，把系统推到可维护状态。

FLAGSHIP RUNTIME

模型只是一个依赖，任务生命周期才是系统。

展示真实模块与设计边界；线上指标会在正式压测后补齐。

01 / AI4SCIENCE TASK RUNTIME

基于 AI4Science 项目的 runtime 模块，我把任务日志、内存/显存资源门控、subprocess sandbox 和静态安全扫描放在模型调用外围，避免把可靠性寄托在 prompt 上。

并发怎么控resource gate 先预留 RAM/VRAM，worker 通过 lease 领取有限任务。

崩溃如何恢复task journal 持久化 checkpoint；重启后从最后完成阶段 resume，并保留 trace。

如何避免重复阶段状态和幂等键分开记录，重试只重放未确认的步骤。

模型如何路由provider-swappable LLM 抽象；质量、延迟和 token cost 作为后续比较轴。

APIrequest + auth boundary

Queuelease + backpressure

Workercheckpoint + sandbox

Gatewaymodel/provider routing

Artifacttrace + persisted result

OPERATING METRICS

下面是我会接入 dashboard 的最小指标集，当前公开页不伪造未测结果。

指标	状态
Queue depth / oldest task	measurement pending
Worker success / retry rate	measurement pending
p50 / p95 task latency	measurement pending
Token cost per completed task	已接入 token tracking，待汇总
Crash recovery replay	已有 journal / resume 模块

SHIPPED SYSTEMS

Next.js、D1、Drizzle migration、HttpOnly device cookie 与 Actions 发布链路，展示一个产品从状态模型到线上更新。

source → preprocess → dataset → synthesis → evaluation 的批处理管线，明确把 GPU worker 与编排层分开。