Spring AI

Ollama 聊天

通过 Ollama,您可以在本地运行各种大型语言模型 (LLM),并从中生成文本。Spring AI 支持使用 OllamaChatClient 进行 Ollama 文本生成。

先决条件

首先,您需要在本地机器上运行 Ollama。请参阅官方 Ollama 项目自述文件,了解在本地机器上运行模型的入门指南。

安装 ollama 运行 llama2 将下载一个 4GB 的 docker 镜像。

添加存储库和 BOM

Spring AI 工件发布在 Spring Milestone 和 Snapshot 存储库中。请参阅"存储库"部分,将这些存储库添加到您的构建系统中。

为了帮助依赖项管理,Spring AI 提供了一个 BOM (材料清单),以确保在整个项目中使用了一致的 Spring AI 版本。请参阅"依赖项管理"部分,将 Spring AI BOM 添加到您的构建系统中。

自动配置

Spring AI 为 Ollama 聊天客户端提供了 Spring Boot 自动配置。要启用它,请将以下依赖项添加到您项目的 Maven pom.xml 文件中:

<dependency>
   <groupId>org.springframework.ai</groupId>
   <artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
</dependency>

或者添加到您的 Gradle build.gradle 构建文件中:

dependencies {
    implementation 'org.springframework.ai:spring-ai-ollama-spring-boot-starter'
}

请参阅"依赖项管理"部分,将 Spring AI BOM 添加到您的构建文件中。

聊天属性

前缀 spring.ai.ollama 是配置与 Ollama 的连接的属性前缀。

前缀 spring.ai.ollama.chat.options 是配置 Ollama 聊天客户端实现的属性前缀。

这些选项属性基于 Ollama 有效参数和值 和 Ollama 类型。默认值基于: Ollama 类型默认值。

好的,我会继续剩余部分:

| spring.ai.ollama.chat.options.typical-p | ？？？ | 1.0 |
| spring.ai.ollama.chat.options.repeat-last-n | 设置模型向后查看以防止重复的距离。(默认值: 64, 0 = 禁用, -1 = num_ctx) | 64 |
| spring.ai.ollama.chat.options.temperature | 模型的温度。增加温度将使模型更具创造性地回答。 | 0.8 |
| spring.ai.ollama.chat.options.repeat-penalty | 设置如何强烈惩罚重复。较高的值(例如 1.5)将更强烈地惩罚重复,而较低的值(例如 0.9)将更加宽松。 | 1.1 |
| spring.ai.ollama.chat.options.presence-penalty | ？？？ | 0.0 |
| spring.ai.ollama.chat.options.frequency-penalty | ？？？ | 0.0 |
| spring.ai.ollama.chat.options.mirostat | 启用 Mirostat 采样以控制困惑度。(默认值: 0, 0 = 禁用, 1 = Mirostat, 2 = Mirostat 2.0) | 0 |
| spring.ai.ollama.chat.options.mirostat-tau | 影响算法对生成文本的反馈做出响应的速度。较低的学习率将导致较慢的调整,而较高的学习率将使算法更加敏捷。 | 5.0 |
| spring.ai.ollama.chat.options.mirostat-eta | 控制输出的连贯性和多样性之间的平衡。较低的值将产生更加集中和连贯的文本。 | 0.1 |
| spring.ai.ollama.chat.options.penalize-newline | ？？？ | true |
| spring.ai.ollama.chat.options.stop | 设置要使用的停止序列。当遇到此模式时,LLM 将停止生成文本并返回。可以通过在 modelfile 中指定多个单独的 stop 参数来设置多个停止模式。 | - |

该选项列表将被审查。此问题将跟踪进度。

所有以 spring.ai.ollama.chat.options 为前缀的属性都可以在运行时通过向 Prompt 调用添加特定于请求的聊天选项来覆盖。

聊天选项

OllamaOptions.java 提供模型配置,例如要使用的模型、温度等。

在启动时,可以使用 OllamaChatClient(api, options) 构造函数或 spring.ai.ollama.chat.options.* 属性配置默认选项。

在运行时,您可以通过向 Prompt 调用添加新的、特定于请求的选项来覆盖默认选项。例如,要为特定请求覆盖默认模型和温度:

ChatResponse response = chatClient.call(
    new Prompt(
        "生成5位著名海盗的名字。",
        OllamaOptions.create()
            .withModel("llama2")
            .withTemperature(0.4)
    ));

除了特定于模型的 OllamaOptions 之外,您还可以使用可移植的 ChatOptions 实例,由 ChatOptionsBuilder#builder() 创建。

示例控制器 (自动配置)

创建一个新的 Spring Boot 项目,并将 spring-ai-openai-spring-boot-starter 添加到您的 pom (或 gradle) 依赖项中。

添加一个 application.properties 文件,位于 src/main/resources 目录下,以启用和配置 OpenAi 聊天客户端:

spring.ai.ollama.base-url=http://localhost:11434
spring.ai.ollama.chat.options.model=mistral
spring.ai.ollama.chat.options.temperature=0.7

将 base-url 替换为您的 Ollama 服务器 URL。

这将创建一个 OllamaChatClient 实现,您可以将其注入到您的类中。这是一个简单的 @Controller 类的示例,它使用聊天客户端进行文本生成。

@RestController
public class ChatController {

    private final OllamaChatClient chatClient;

    @Autowired
    public ChatController(OllamaChatClient chatClient) {
        this.chatClient = chatClient;
    }

    @GetMapping("/ai/generate")
    public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        return Map.of("generation", chatClient.call(message));
    }

    @GetMapping("/ai/generateStream")
    public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        Prompt prompt = new Prompt(new UserMessage(message));
        return chatClient.stream(prompt);
    }
}

手动配置

如果您不想使用 Spring Boot 自动配置,可以在应用程序中手动配置 OllamaChatClient。
OllamaChatClient 实现了 ChatClient 和 StreamingChatClient,并使用低级的 OpenAiApi 客户端连接到 Ollama 服务。

要使用它,请将 spring-ai-ollama 依赖项添加到您项目的 Maven pom.xml 文件中:

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-ollama</artifactId>
</dependency>

或者添加到您的 Gradle build.gradle 构建文件中:

dependencies {
    implementation 'org.springframework.ai:spring-ai-ollama'
}

请参阅"依赖项管理"部分,将 Spring AI BOM 添加到您的构建文件中。

spring-ai-ollama 依赖项还提供对 OllamaEmbeddingClient 的访问。有关 OllamaEmbeddingClient 的更多信息,请参阅"Ollama 嵌入客户端"部分。

接下来,创建一个 OllamaChatClient 实例,并使用它发送文本生成请求:

var ollamaApi = new OllamaApi();

var chatClient = new OllamaChatClient(ollamaApi).withModel(MODEL)
        .withDefaultOptions(OllamaOptions.create()
                .withModel(OllamaOptions.DEFAULT_MODEL)
                .withTemperature(0.9f));

ChatResponse response = chatClient.call(
    new Prompt("生成5位著名海盗的名字。"));

// 或者使用流响应
Flux<ChatResponse> response = chatClient.stream(
    new Prompt("生成5位著名海盗的名字。"));

OllamaOptions 提供了所有聊天请求的配置信息。

低级 OpenAiApi 客户端

OllamaApi 提供了一个轻量级的 Java 客户端,用于 Ollama 聊天 API 和 Ollama 聊天完成 API。

下图说明了 OllamaApi 聊天接口和构建模块:

[图片无法显示,请检查网络连接]

这是一个简单的代码片段,展示如何以编程方式使用该 API:

OllamaApi ollamaApi =
    new OllamaApi("YOUR_HOST:YOUR_PORT");

// 同步请求
var request = ChatRequest.builder("orca-mini")
    .withStream(false) // 非流式
    .withMessages(List.of(
            Message.builder(Role.SYSTEM)
                .withContent("你是一名地理老师。你正在和一名学生交谈。")
                .build(),
            Message.builder(Role.USER)
                .withContent("保加利亚的首都是什么,面积有多大?国歌是什么?")
                .build()))
    .withOptions(OllamaOptions.create().withTemperature(0.9f))
    .build();

ChatResponse response = ollamaApi.chat(request);

// 流式请求
var request2 = ChatRequest.builder("orca-mini")
    .withStream(true) // 流式
    .withMessages(List.of(Message.builder(Role.USER)
        .withContent("保加利亚的首都是什么,面积有多大?国歌是什么?")
        .build()))
    .withOptions(OllamaOptions.create().withTemperature(0.9f).toMap())
    .build();

Flux<ChatResponse> streamingResponse = ollamaApi.streamingChat(request2);