{/* This page is auto-generated from the skill's SKILL.md by website/scripts/generate-skill-docs.py. Edit the source SKILL.md, not this page. */}

Outlines

Outlines：结构化 JSON/regex/Pydantic LLM 生成。

Skill 元数据


来源	可选 — 使用 `hermes skills install official/mlops/outlines` 安装
路径	`optional-skills/mlops/inference/outlines`
版本	`1.0.0`
作者	Orchestra Research
许可证	MIT
依赖项	`outlines`, `transformers`, `vllm`, `pydantic`
平台	linux, macos, windows
标签	`Prompt Engineering`, `Outlines`, `Structured Generation`, `JSON Schema`, `Pydantic`, `Local Models`, `Grammar-Based Generation`, `vLLM`, `Transformers`, `Type Safety`

参考：完整 SKILL.md

信息

以下是 Hermes 在触发此 skill 时加载的完整 skill 定义。这是 agent 在 skill 激活时看到的指令内容。

Outlines：结构化文本生成

何时使用此 Skill

在以下情况下使用 Outlines：

保证有效的 JSON/XML/代码结构化生成

使用 Pydantic 模型获得类型安全的输出

支持本地模型（Transformers、llama.cpp、vLLM）

通过零开销结构化生成最大化推理速度

自动根据 JSON schema 生成

在 grammar（语法）层面控制 token 采样

GitHub Stars：8,000+ | 来自：dottxt.ai（前身为 .txt）

安装

快速开始

基础示例：分类

使用 Pydantic 模型

核心概念

1. 受约束的 Token 采样

Outlines 使用有限状态机（FSM）在 logit 层面约束 token 生成。

工作原理：

将 schema（JSON/Pydantic/regex）转换为上下文无关文法（CFG）

将 CFG 转换为有限状态机（FSM）

在生成的每一步过滤无效 token

当只有一个有效 token 时快速前进

优势：

零开销：过滤在 token 层面进行

速度提升：通过确定性路径快速前进

保证有效性：无效输出不可能产生

2. 结构化生成器

Outlines 为不同输出类型提供专用生成器。

Choice 生成器

JSON 生成器

Regex 生成器

整数/浮点数生成器

3. 模型后端

Outlines 支持多种本地及基于 API 的后端。

Transformers（Hugging Face）

llama.cpp

vLLM（高吞吐量）

OpenAI（有限支持）

4. Pydantic 集成

Outlines 对 Pydantic 提供一流支持，可自动进行 schema 转换。

基础模型

嵌套模型

Enum 与 Literal

常见模式

模式 1：数据提取

模式 2：分类

模式 3：结构化表单

模式 4：多实体提取

模式 5：代码生成

模式 6：批量处理

后端配置

Transformers

llama.cpp

vLLM（生产环境）

最佳实践

1. 使用具体类型

2. 添加约束

3. 对分类使用 Enum

4. 在 Prompt 中提供上下文

5. 处理可选字段

与替代方案的对比

特性	Outlines	Instructor	Guidance	LMQL
Pydantic 支持	✅ 原生	✅ 原生	❌ 无	❌ 无
JSON Schema	✅ 支持	✅ 支持	⚠️ 有限	✅ 支持
Regex 约束	✅ 支持	❌ 无	✅ 支持	✅ 支持
本地模型	✅ 完整	⚠️ 有限	✅ 完整	✅ 完整
API 模型	⚠️ 有限	✅ 完整	✅ 完整	✅ 完整
零开销	✅ 支持	❌ 无	⚠️ 部分	✅ 支持
自动重试	❌ 无	✅ 支持	❌ 无	❌ 无
学习曲线	低	低	低	高

何时选择 Outlines：

使用本地模型（Transformers、llama.cpp、vLLM）

需要最大推理速度

需要 Pydantic 模型支持

需要零开销结构化生成

需要控制 token 采样过程

何时选择替代方案：

Instructor：需要 API 模型并支持自动重试

Guidance：需要 token healing 和复杂工作流

LMQL：偏好声明式查询语法

性能特性

速度：

零开销：结构化生成与无约束生成同样快速

快速前进优化：跳过确定性 token

比生成后验证方案快 1.2–2 倍

内存：

FSM 每个 schema 编译一次（已缓存）

极低的运行时开销

配合 vLLM 可实现高吞吐量

准确性：

100% 有效输出（由 FSM 保证）

无需重试循环

确定性 token 过滤

资源

文档：https://outlines-dev.github.io/outlines

GitHub：https://github.com/outlines-dev/outlines（8k+ stars）

Discord：https://discord.gg/R9DSu34mGd

博客：https://blog.dottxt.co

另请参阅

references/json_generation.md — 全面的 JSON 与 Pydantic 模式

references/backends.md — 后端专项配置

references/examples.md — 生产就绪示例

"Outlines — Outlines：结构化 JSON/regex/Pydantic LLM 生成"

Outlines#

Skill 元数据#

参考：完整 SKILL.md#

Outlines：结构化文本生成#

何时使用此 Skill#

安装#

快速开始#

基础示例：分类#

使用 Pydantic 模型#

核心概念#

1. 受约束的 Token 采样#

2. 结构化生成器#

Choice 生成器#

JSON 生成器#

Regex 生成器#

整数/浮点数生成器#

3. 模型后端#

Transformers（Hugging Face）#

llama.cpp#

vLLM（高吞吐量）#

OpenAI（有限支持）#

4. Pydantic 集成#

基础模型#

嵌套模型#

Enum 与 Literal#

常见模式#

模式 1：数据提取#

模式 2：分类#

模式 3：结构化表单#

模式 4：多实体提取#

模式 5：代码生成#

模式 6：批量处理#

后端配置#

Transformers#

llama.cpp#

vLLM（生产环境）#

最佳实践#

1. 使用具体类型#

2. 添加约束#

3. 对分类使用 Enum#

4. 在 Prompt 中提供上下文#

5. 处理可选字段#

与替代方案的对比#

性能特性#

资源#

另请参阅#

Outlines

Skill 元数据

参考：完整 SKILL.md

Outlines：结构化文本生成

何时使用此 Skill

安装

快速开始

基础示例：分类

使用 Pydantic 模型

核心概念

1. 受约束的 Token 采样

2. 结构化生成器

Choice 生成器

JSON 生成器

Regex 生成器

整数/浮点数生成器

3. 模型后端

Transformers（Hugging Face）

llama.cpp

vLLM（高吞吐量）

OpenAI（有限支持）

4. Pydantic 集成

基础模型

嵌套模型

Enum 与 Literal

常见模式

模式 1：数据提取

模式 2：分类

模式 3：结构化表单

模式 4：多实体提取

模式 5：代码生成

模式 6：批量处理

后端配置

Transformers

llama.cpp

vLLM（生产环境）

最佳实践

1. 使用具体类型

2. 添加约束

3. 对分类使用 Enum

4. 在 Prompt 中提供上下文

5. 处理可选字段

与替代方案的对比

性能特性

资源

另请参阅