AnythingLLM - 本地知识库与 AI Agent
通过 Generic OpenAI 将 AnythingLLM 接入 88API。
选择 Generic OpenAI
88API 提供 OpenAI 兼容接口。在 AnythingLLM 中应选择 Generic OpenAI,不要选择只允许连接 OpenAI 官方地址的普通 OpenAI 选项。
AnythingLLM 是可在桌面端或服务器部署的 AI 工作台,支持工作区、文档知识库、RAG、 Agent 和多种模型服务商。
- 官网:https://anythingllm.com
- 官方文档:https://docs.anythingllm.com
- GitHub:https://github.com/Mintplex-Labs/anything-llm
使用前准备
- 在 88API 创建 API Key,并确认余额充足。
- 从 88API 模型列表复制准确模型 ID。
- 安装 AnythingLLM Desktop,或登录自己的 AnythingLLM 服务器。
配置参数
| AnythingLLM 字段 | 填写内容 |
|---|---|
| LLM 提供商 | Generic OpenAI |
| Base URL | https://api.88api.ai/v1 |
| API Key | 在 88API 控制台创建的 API Key |
| Selected Model | 88API 返回的准确模型 ID |
| Model context window | 按当前模型实际上下文设置 |
| Max Tokens | 按当前模型允许的输出上限设置 |
配置步骤
- 点击 AnythingLLM 左下角的扳手图标进入设置。
- 打开 AI 提供商中的 LLM 设置,页面标题为 LLM 首选项。
- 在 LLM 提供商 中搜索并选择 Generic OpenAI ①。
- 在 Base URL 填写
https://api.88api.ai/v1②。 - 在 API Key 粘贴自己的 88API API Key ③。
- 在 Selected Model 下拉框中选择准确模型 ID ④,例如
gpt-6.1-sol。 - 在 Model context window 中填写模型的上下文长度 ⑤,例如
128000。此项必须填写,留空时无法保存; Max Tokens 按模型允许的输出上限设置。 - 点击页面右上角的保存按钮。

- 返回工作区,选择该模型并发送测试消息。
不要忽略 Max Tokens
Generic OpenAI 的 Max Tokens 默认值通常为 1024。这会限制单次回答长度,应按
模型支持范围和实际使用需求设置,但不要超过模型允许的最大输出。
Embedder 保持默认
88API 目前不提供 Embedding 模型。知识库功能请在 Settings → AI Providers → Embedder 中保持默认的 AnythingLLM Embedder(内置),不要把 Embedder 也改为 Generic OpenAI 指向 88API。
模型自动获取与手动填写
当前界面会尝试从 Base URL 获取模型列表:
- 获取成功时,Selected Model 显示下拉列表。
- 获取失败或没有返回模型时,界面会提供自由输入框。
- 自由输入时必须复制 88API 模型列表中的完整 ID,大小写和符号保持一致。
验证是否成功
- 在任意工作区中选择刚配置的模型。
- 发送一句简单问题,确认回答能够正常返回。
- 打开 88API 控制台使用日志,核对模型 ID、时间和消耗。
基础对话成功只证明 Chat Completions 兼容调用正常。工具调用、推理等能力仍取决于具体模型。
识图
选择支持图片输入的模型(例如 deepseek-v4.1-flash),在工作区输入框中附加图片并提问即可,无需额外开启开关。

常见问题
Selected Model 没有可选项
检查 Base URL 是否为 https://api.88api.ai/v1。如果模型列表仍未加载,直接在输入框中
填写准确模型 ID。
回答很快被截断
检查 Max Tokens。默认 1024 可能不足,按模型实际输出上限适当增加。
返回格式或流式输出报错
AnythingLLM 的 Generic OpenAI 连接器要求接口返回 OpenAI 兼容的流式响应格式。先换用 另一个已知可用模型测试;若只有特定模型失败,请记录模型 ID 和错误信息后联系 88API 客服。
Agent 工具不可用
工具调用不是仅填写 Base URL 就能保证的功能。确认模型本身支持工具调用,并查看当前 AnythingLLM 版本对 Generic OpenAI 原生工具调用的说明。