AnythingLLM - 本地知识库与 AI Agent
通过 Generic OpenAI 将 AnythingLLM 接入 88API。
选择 Generic OpenAI
88API 提供 OpenAI 兼容接口。在 AnythingLLM 中应选择 Generic OpenAI，不要选择 只允许连接 OpenAI 官方地址的普通 OpenAI 选项。
AnythingLLM 是可在桌面端或服务器部署的 AI 工作台，支持工作区、文档知识库、RAG、 Agent 和多种模型服务商。
- 官网：https://anythingllm.com
- 官方文档：https://docs.anythingllm.com
- GitHub：https://github.com/Mintplex-Labs/anything-llm
使用前准备
- 在 88API 创建 API Key，并确认余额充足。
- 从 88API 模型列表复制准确模型 ID。
- 安装 AnythingLLM Desktop，或登录自己的 AnythingLLM 服务器。
配置参数
| AnythingLLM 字段 | 填写内容 |
|---|---|
| LLM Provider | Generic OpenAI |
| Base URL | https://88api.ai/v1 |
| API Key | 在 88API 控制台创建的 API Key |
| Selected Model | 88API 返回的准确模型 ID |
| Model context window | 按当前模型实际上下文设置 |
| Max Tokens | 按当前模型允许的输出上限设置 |
配置步骤
- 点击 AnythingLLM 左下角的扳手图标进入 Settings。
- 打开 AI Providers，进入 LLM 设置。
- 在 LLM Provider 中选择 Generic OpenAI。
- 在 Base URL 填写
https://88api.ai/v1。 - 在 API Key 粘贴自己的 88API API Key。
- 在 Selected Model 选择或填写准确模型 ID。
- 按模型实际能力填写 Model context window 和 Max Tokens。
- 点击页面右上角 Save Changes 保存。
下图以 AnythingLLM 官方 Generic OpenAI 配置页为底图，仅填入 88API 示例值；上下文窗口仍应按实际模型能力设置。
- 返回工作区，选择该模型并发送测试消息。
不要忽略 Max Tokens
Generic OpenAI 的 Max Tokens 默认值通常为 1024。这会限制单次回答长度，应按
模型支持范围和实际使用需求设置，但不要超过模型允许的最大输出。
模型自动获取与手动填写
当前界面会尝试从 Base URL 获取模型列表：
- 获取成功时，Selected Model 显示下拉列表。
- 获取失败或没有返回模型时，界面会提供自由输入框。
- 自由输入时必须复制 88API 模型列表中的完整 ID，大小写和符号保持一致。
验证是否成功
- 在任意工作区中选择刚配置的模型。
- 发送一句简单问题，确认回答能够正常返回。
- 打开 88API 控制台使用日志，核对模型 ID、时间和消耗。
基础对话成功只证明 Chat Completions 兼容调用正常。视觉、工具调用、推理等能力仍取决于 具体模型、88API 渠道和 AnythingLLM 当前版本。
常见问题
Selected Model 没有可选项
检查 Base URL 是否为 https://88api.ai/v1。如果模型列表仍未加载，直接在输入框中
填写准确模型 ID。
回答很快被截断
检查 Max Tokens。默认 1024 可能不足，按模型实际输出上限适当增加。
返回格式或流式输出报错
AnythingLLM 的 Generic OpenAI 连接器要求上游遵循 OpenAI 兼容的流式响应格式。先换用 另一个已知可用模型测试；若只有特定模型失败，应记录模型 ID 和错误并检查对应渠道。
Agent 工具不可用
工具调用不是仅填写 Base URL 就能保证的功能。确认模型本身支持工具调用，并查看当前 AnythingLLM 版本对 Generic OpenAI 原生工具调用的说明。