pi-mono 学习 02|pi-ai:为什么需要单独一层来统一模型调用

这篇写什么

只讲 packages/aipi-ai)的设计动机与职责边界:它到底统一了什么、为什么对 agent 很关键、它和 pi-agent-core 的分工是什么。

先说结论

pi-ai 的本质不是“又一个模型 SDK”,而是:一个面向 agent 场景的多模型统一抽象层。

它的目标是把不同厂商、不同协议、不同风格的大模型调用方式,收敛成一套统一输入输出标准,让上层系统稳定工作。

为什么值得单独做一层

如果没有这一层,上层会直接面对:

  • 不同厂商的 API 结构、消息格式、流式协议差异
  • tool calling 表达差异
  • reasoning/thinking 支持差异
  • usage / cost 统计差异

最终会导致:

  • agent 层被 provider 细节污染
  • 每加一个 provider 都要横向改大量代码
  • 跨模型继续对话变得不稳定

pi-ai 的价值不是“让调用更方便一点”,而是:让上层架构不被底层模型差异拖垮。

它到底统一了什么

可以粗分四类:

  1. 统一输入
  2. 统一输出
  3. 统一模型描述
  4. 统一兼容策略

1) 统一输入

上层只表达:

  • 用哪个模型
  • 当前上下文是什么
  • 这轮允许哪些工具
  • 运行参数是什么

2) 统一输出

对 agent 来说,统一输出比统一输入更关键,因为 agent 需要过程:

  • 文本增量
  • thinking/reasoning 增量
  • tool call 增量
  • stop reason
  • usage/cost

pi-ai 把各家原始流式返回翻译成统一事件流,上层不需要理解各家 chunk 细节。

3) 统一模型描述

模型不是一个字符串,而是调用语义载体:

  • provider / 协议类型
  • 上下文窗口与最大输出
  • 是否支持 reasoning、多模态
  • 成本信息
  • 兼容配置

这些信息让上层可以做能力判断、成本统计与路由。

4) 统一兼容策略

现实里“兼容”带脏细节。pi-ai 把兼容处理集中在底层适配与模型兼容配置里,而不是让上层四处写 if/else。

协议层视角:不以 provider 为唯一抽象单位

一个关键设计点是:抽象单位更像“协议类型”,而不是“厂商名”。

这样 OpenAI-compatible 或 Anthropic-compatible 的服务可以大量复用实现,只在少数不兼容点做局部修正。

它为什么特别适合 agent

因为 agent 需要:

  • 工具调用
  • 多轮循环
  • 中间态事件
  • 上下文可重放
  • 成本与 stop reason

pi-ai 从一开始就不是“聊天式封装”,而是“agent 式封装”。

pi-agent-core 的边界

  • pi-ai 负责:统一模型调用、上下文表示、流式事件、工具表达、usage/cost/stop reason、屏蔽 provider 差异。
  • pi-agent-core 负责:什么时候调模型、什么时候执行工具、工具结果怎么回灌、是否继续下一轮、什么时候停止。

一句话:pi-ai 解决“怎么和模型说话”,pi-agent-core 解决“怎么让模型持续干活”。

Read more

Mac 上 Skill CLI 无法执行的坑:最后其实一条命令就够了

我在做 Amazon skills 的过程中,逐步把本地 CLI 从 Python 脚本切到 Go 二进制。这样做的好处很明显:用户不用装 Python、不用配依赖,解压 skill 后直接运行。但在 macOS 上,我们反复遇到一个看起来很玄的问题:同一个二进制,在 Linux/Windows 上正常,在 Mac 上就是执行不了。 当时遇到的现象 常见报错大概有几类: * 双击或 agent 调用 CLI 时,系统提示文件来自未知开发者,无法打开。 * 终端里执行时提示 Permission denied。 * 已经 chmod +x 了,仍然被 macOS 拦截。 * Apple

By ladydd

当我把全世界人群的基因 PCA 跑出来后,看见了一个倒 L 型

最近我把之前学的一些分子人类学知识,终于真正落地了。 不是停留在看论文、看别人画图、看别人解释“人群结构”这些概念,而是自己把数据处理完,自己跑 PCA,自己把全世界不同人群放到一张图上。 然后那一刻,我真的被击中了。 图上出现了一个非常漂亮的倒 L 型。 一端是非洲,另一端逐渐拉向东亚,中间有中东、欧洲、南亚、欧亚大陆上的各种过渡人群。它不是那种随机散点图,而是有方向、有骨架、有历史感的结构。 我第一眼看到的时候,脑子里直接冒出一句话: 这不像是一张普通统计图,这像是人类迁徙史在二维空间里留下的影子。 当然,后来我也提醒自己,PCA 不能被过度浪漫化。它不是地图,也不是时间轴,更不是“谁从哪里走到哪里”的直接证据。PCA 本质上是把高维基因差异压缩到几个主成分上,用最大方差方向把样本摊开。它可以帮助我们观察人群结构、相似性、分化和混合,但不能单独承担全部历史解释。PCA 在群体遗传学里常用于观察 population structure

By ladydd

吞吐与延迟:一个厨房比喻讲透性能压测

写于 2026-06-26。背景: MCP 服务 跑在 3 台 ClickHouse(每台 16 核 / 64G,1 分片 3 副本)上。 我们花了一整轮做公网压测,把这套系统的极限、天花板和杠杆全摸清了。这篇把"吞吐 / 延迟 / 排队"这三个最容易混的概念讲透,配我们自己的真实实测数据。 一句话结论 我们这套系统的吞吐天花板 ≈ 76 req/s。 往里塞再多并发(100、200、300、500),每秒"做完"的还是大约 76 个,多出来的全在排队。系统不会崩,只会让每个人等得更久。 天花板能不能抬?

By ladydd

四卡 3090 本地模型部署复盘:Ollama 跑通 35B,以及 GPU0 掉卡问题

这次做的是一轮真实的本地模型部署摸底。 目标不是搭一个临时 Demo,而是把一台四卡 3090 GPU 机器接进自己的日常 AI 使用环境:本机跑 Open WebUI,负责账号、会话和前端配置;GPU 机器只负责模型推理。这样以后换模型、换推理框架、重启服务,都尽量不影响本机的使用入口。 最后结论比较清楚:qwen3.5:35b 的 GGUF Q4_K_M 量化版已经通过 Ollama 跑通,本机 Open WebUI 可以接入,热加载后的聊天速度也能用;但 GPU0 存在明显稳定性问题,重启后能短暂恢复,跑过负载后又会掉到 NVML 异常状态。 状态快照 当前能用的部分: * 本机 Open WebUI 已部署,

By ladydd
陕公网安备61011302002223号 | 陕ICP备2025083092号