【Osmosis-Structure-0.6B】小模型大能量！这款小型语言模型如何轻松搞定结构化输出？

作者

在人工智能领域，语言模型的发展一直是研究的热点。从早期的简单模型到如今的大型语言模型，我们见证了自然语言处理技术的飞速进步。然而，随着应用场景的不断拓展，对于语言模型输出的结构化要求也越来越高。

一、Osmosis-Structure-0.6B 概述

Osmosis-Structure-0.6B 是一款专门设计用于结构化输出生成的小型语言模型，其参数规模为 0.6B。尽管模型规模相对较小，但在处理结构化信息提取任务时表现出色，尤其在数学推理和问题解决领域。该模型通过在训练过程中强制关注每个键的值，显著提高了生成结构化响应的准确性。

1. 结构化输出能力：Osmosis-Structure-0.6B 在训练时专注于结构化输出，能够将自然语言文本转换为结构化的 JSON 格式，这使得模型在处理复杂数据和逻辑推理时更加高效。

2. 数学推理优势：在数学推理任务中，该模型表现尤为突出。通过强化学习和大量结构化数据的训练，模型能够准确地理解和生成数学问题的解答过程。

3. 开源与可扩展性：作为开源模型，Osmosis-Structure-0.6B 为开发者提供了广泛的定制和扩展可能性，可以根据具体需求进行微调和优化。


二、模型训练方法

Osmosis-Structure-0.6B 的训练基于 Qwen3-0.6B 模型，通过强化学习和大量结构化数据进行优化。以下是训练过程的详细步骤：

（一）基线格式建立

训练初期，使用10 个随机生成的文本样本及其 JSON 解释来建立基线格式。这些样本涵盖了多种自然语言表达和对应的结构化格式，为模型提供了初步的学习基础。


（二）强化学习

在强化学习阶段，模型通过约500,000 个 JSON 到自然语言的配对样本进行训练。这些样本包括推理痕迹及其最终输出，或自然语言报告及其预期的结构化格式。通过这种方式，模型学习如何将自然语言文本准确地转换为结构化数据。


（三）训练框架

使用verl 作为训练框架，SGLang 作为回滚后端。为了实现结构化训练，开发团队对 verl 代码库进行了修改，允许每个样本的模式被传递到训练数据中。这一改进使得模型能够更好地理解和生成结构化输出。


（四）训练数据的重要性

高质量的训练数据是模型性能的关键。Osmosis-Structure-0.6B 的训练数据经过精心设计，涵盖了多种领域和复杂场景，确保模型在不同任务中都能表现出色。通过大量结构化数据的训练，模型能够学习到不同类型的逻辑推理和数据组织方式，从而提高其在实际应用中的泛化能力。


三、性能表现

Osmosis-Structure-0.6B 在多个基准测试中表现出色，尤其是在数学推理任务中。以下是两个主要测试场景的详细结果：

（一）AIME 1983-2024 性能

在AIME（美国数学邀请赛）的历年试题中，Osmosis-Structure-0.6B 展示了显著的性能提升。与传统结构化输出模型相比，Osmosis 增强的结构化输出在不同模型家族中均取得了显著的性能提升：

从上表可以看出，Osmosis-Structure-0.6B 在处理复杂的数学推理问题时，能够显著提高模型的准确性和效率。特别是对于一些原本性能较低的模型，如 GPT-4.1，性能提升尤为显著。


（二）DAPO-Math-17K 性能

DAPO-Math-17K 是一个包含 17,000 个数学问题的数据集，用于评估模型在数学问题解决方面的性能。Osmosis-Structure-0.6B 在该数据集上的表现同样出色：

这些结果表明，Osmosis-Structure-0.6B 不仅在简单问题上表现出色，还能在复杂的数学问题中提供准确的结构化输出。这种性能提升主要归功于模型在训练过程中对结构化数据的深度学习和优化。


四、实际应用案例

（一）智能客服

在智能客服领域，Osmosis-Structure-0.6B 可以快速准确地提取用户问题的关键信息，并以结构化格式提供答案。例如，当用户询问产品信息或技术支持时，模型能够将自然语言问题转换为结构化数据，从而提供清晰、准确的解答。这不仅提高了客服效率，还提升了用户体验。


（二）数据分析

在数据分析领域，Osmosis-Structure-0.6B 能够将复杂的文本报告转换为结构化数据，便于进一步分析和处理。例如，对于市场调研报告或财务报告，模型可以提取关键数据和指标，生成结构化的 JSON 格式，供分析师进行深入分析。这种能力大大减少了数据预处理的时间和工作量。


（三）教育辅导

在教育领域，Osmosis-Structure-0.6B 可以用于辅助教学和学习。例如，模型可以将数学问题的解题过程转换为结构化格式，帮助学生更好地理解和学习。此外，模型还可以生成结构化的教学材料，为教师提供教学支持。


五、使用示例

Osmosis-Structure-0.6B 的使用相对简单，以下是基于 Python 的一个示例代码，展示如何使用该模型生成结构化输出：

from ollama import chatfrom pydantic import BaseModel
class Answer(BaseModel):  answer: int
reasoning_trace = """Problem: Solve for x in the equation 2x + 5 = 13
Let me work through this step by step:
First, I need to isolate the term with x. I'll subtract 5 from both sides:2x + 5 - 5 = 13 - 52x = 8
Next, I'll divide both sides by 2 to solve for x:2x ÷ 2 = 8 ÷ 2x = 4
Let me verify this answer by substituting back into the original equation:2(4) + 5 = 8 + 5 = 13 ✓
Ok, which means I got the correct answer, and I'm confident about my answer."""
response = chat(  messages=[    {        "role": "system",        "content": f"You are a helpful assistant that understands and translates text to JSON format according to the following schema. {Answer.model_json_schema()}"    },    {      'role': 'user',      'content': reasoning_trace,    }  ],  model='Osmosis/Osmosis-Structure-0.6B',  format=Answer.model_json_schema(),)
answer = Answer.model_validate_json(response.message.content)print(answer)

在上述代码中，我们首先定义了一个`Answer` 类，用于描述结构化输出的格式。然后，我们提供了一个数学问题的推理过程作为输入，并调用 `chat` 函数与 Osmosis-Structure-0.6B 模型进行交互。模型将推理过程转换为结构化的 JSON 格式，并返回答案。


六、结语

Osmosis-Structure-0.6B 作为一款专注于结构化输出的小型语言模型，在数学推理和复杂数据处理方面表现出了卓越的性能。通过强化学习和大量结构化数据的训练，模型能够快速准确地将自然语言文本转换为结构化数据，为多个领域提供了强大的技术支持。

项目地址：https://ollama.com/Osmosis/Osmosis-Structure-0.6B

（文：小兵的AI视界）

发表评论