Skip to content

Commit 28eb8d5

Browse files
doc: add ollama
1 parent 5a6c5b5 commit 28eb8d5

File tree

9 files changed

+86
-19
lines changed

9 files changed

+86
-19
lines changed
334 KB
Loading
74 KB
Loading
55 KB
Loading
51.1 KB
Loading
134 KB
Loading
101 KB
Loading
181 KB
Loading

docs/model_integration/ollama.md

Lines changed: 84 additions & 19 deletions
Original file line numberDiff line numberDiff line change
@@ -1,10 +1,10 @@
11
!!! Abstract ""
22

3-
本文以阿里云新加坡区 ECS 实例为例,演示 ollama 安装及其与 SQLBot 对接。
3+
本文以阿里云新加坡区操作系统为 Ubuntu 22.04 的 ECS 实例为例,演示 Ollama 安装及其与 SQLBot 对接。
44

5-
## 安装ollama
5+
## 安装Ollama
66

7-
执行以下命令安装 ollama
7+
执行以下命令安装 Ollama
88
```shell
99
curl -fsSL https://ollama.com/install.sh | sh
1010
```
@@ -22,14 +22,12 @@ root@iZt4n4e3wmu6ddsc0hb3wbZ:~# curl -fsSL https://ollama.com/install.sh | sh
2222
>>> Creating ollama systemd service...
2323
>>> Enabling and starting ollama service...
2424
Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.
25-
>>> The Ollama API is now available at 127.0.0.1:11434.
26-
>>> Install complete. Run "ollama" from the command line.
27-
WARNING: No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode.
25+
>>> NVIDIA GPU installed.
2826
```
2927

30-
## 修改ollama配置
28+
## 修改Ollama配置
3129

32-
修改文件ollama.service,让 ollama 访问可被外部访问
30+
修改文件ollama.service,让 Ollama 访问可被外部访问
3331
```shell
3432
vim /etc/systemd/system/ollama.service
3533
```
@@ -60,15 +58,17 @@ Environment="OLLAMA_ORIGINS=*
6058
WantedBy=default.target
6159
```
6260

63-
## 重启ollama服务
61+
## 重启Ollama服务
6462

65-
执行命令重启 ollama:
63+
执行命令重启 Ollama:
6664
```shell
67-
service ollama restart
65+
systemctl daemon-reload;service ollama restart
6866
```
6967

7068
## 安装运行大模型
7169

70+
### 安装Qwen3模型(兼容 OpenAI)
71+
7272
此处以 qwen3-14b 为例,执行以下命令安装大模型:
7373
```shell
7474
ollama run qwen3:14b
@@ -89,6 +89,34 @@ success
8989
>>> Send a message (/? for help)
9090
```
9191

92+
### 安装DeepSeek R1 模型(不兼容 OpenAI)
93+
94+
```shell
95+
ollama run deepseek-r1:8b
96+
```
97+
98+
输出如下:
99+
```shell
100+
root@iZt4n4e3wmu6ddsc0hb3wbZ:~# ollama run deepseek-r1:8b
101+
pulling manifest
102+
pulling e6a7edc1a4d7: 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 5.2 GB
103+
pulling c5ad996bda6e: 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 556 B
104+
pulling 6e4c38e1172f: 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 1.1 KB
105+
pulling ed8474dc73db: 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 179 B
106+
pulling f64cd5418e4b: 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 487 B
107+
verifying sha256 digest
108+
writing manifest
109+
success
110+
```
111+
112+
## 确认Ollama服务状态
113+
114+
在 SQLBot 服务器上访问 Ollama 服务,确认网络是通的:
115+
```shell
116+
root@iZt4n4e3wmu6ddsc0hb3wbZ:~#nc -zv 47.237.135.165 11434
117+
Connection to 47.237.135.165 port 11434 [tcp/*] succeeded!
118+
```
119+
92120
## 安装 OpenWebUI(可选)
93121

94122
!!! Abstract ""
@@ -107,7 +135,7 @@ systemctl enable docker; systemctl daemon-reload; service docker start
107135

108136
### 安装OpenWebUI
109137

110-
按官方示例,以 docker 直接启动 OpenWebUI,它会自动关联本地 ollama
138+
按官方示例,以 docker 直接启动 OpenWebUI,它会自动关联本地 Ollama
111139
```shell
112140
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
113141
```
@@ -119,20 +147,57 @@ CONTAINER ID IMAGE COMMAND CREATED
119147
ba913b54d026 ghcr.io/open-webui/open-webui:main "bash start.sh" 10 minutes ago Up 9 minutes (healthy) 0.0.0.0:3000->8080/tcp, [::]:3000->8080/tcp open-webui
120148
```
121149

122-
启动完成后,可在浏览器上通过 ip:3000来访问,如下图所示:
150+
启动完成后,可在浏览器上通过 IP:3000来访问,如下图所示:
123151
![openwebui](../img/model_integration/openwebui.png)
124152

125-
## 确认服务状态
153+
## 安装配置 One API
154+
155+
若部署的是 DeepSeek 模型,在对接 SQLBot 时需要 One API 将其转换成兼容 OpenAI 接口,否则在使用时则会出现类似下面的错误:
156+
![deepseek_error](../img/model_integration/deepseek_error.png)
157+
158+
### 部署 One API
126159

127-
在 SQLBot 服务器上访问 ollama 服务,确认网络是通的
160+
下面以 docker 来运行 One API,此处运行端口设置成了 3001
128161
```shell
129-
root@iZt4n4e3wmu6ddsc0hb3wbZ:~#nc -zv 47.237.135.165 11434
130-
Connection to 47.237.135.165 port 11434 [tcp/*] succeeded!
162+
mkdir -p /oneapi/data
163+
164+
docker run --name one-api -d --restart always -p 3001:3000 -e TZ=Asia/Shanghai -v /oneapi/data:/data justsong/one-api
131165
```
132166

167+
### 配置 One API
168+
169+
#### 添加渠道
170+
171+
在浏览器输入 IP:3001 访问 One API。
172+
先添加一个 DeepSeek 的渠道,注意「模型」输入 Ollama 中 DeepSeek 的模型名称,代理输入 Ollama 的访问地址。
173+
![oneapi_channel](../img/model_integration/oneapi_channel.png)
174+
175+
#### 验证渠道
176+
177+
添加渠道后,可以点击「测试」验证是否正常工作
178+
![oneapi_validate](../img/model_integration/oneapi_validate.png)
179+
180+
#### 创建令牌
181+
182+
此处可以根据自己的实际情况进行相关设置。
183+
![oneapi_create_token](../img/model_integration/oneapi_create_token.png)
184+
185+
#### 复制令牌
186+
187+
![oneapi_copy_token](../img/model_integration/oneapi_copy_token.png)
188+
133189
## 接入SQLBot
134190

191+
### 接入 Qwen3 模型(兼容 OpenAI)
192+
135193
基础模型此处输入之前安装运行的 qwen3:14b。
136-
ollama 默认运行在 11434 端口上,API 域名输入 http://47.237.135.165:11434/v1,注意47.237.135.165换成自己实际的 ip 地址。
194+
Ollama 默认运行在 11434 端口上,API 域名输入 http://47.237.135.165:11434/v1,注意47.237.135.165换成自己实际的 IP 地址。
137195
API Key 可以随意填写,保存即可。
138-
![ollama](../img/model_integration/ollama_sqlbot.png)
196+
![ollama](../img/model_integration/ollama_sqlbot.png)
197+
198+
### 接入DeepSeek R1模型(不兼容 OpenAI)
199+
200+
基础模型此处输入之前安装运行的 deepseek-r1:8b。
201+
由于通过 One API 进行了转换,在 API 域名输入 One API 的服务地址,如 http://47.236.6.226:3001/v1,注意47.236.6.226:3001 换成自己实际的 IP 地址和运行端口。
202+
API Key 填写 One API 的令牌。
203+
![oneapi](../img/model_integration/oneapi_sqlbot.png)

mkdocs.yml

Lines changed: 2 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -68,6 +68,8 @@ nav:
6868
- AI 模型配置: system/model.md
6969
- 嵌入式管理: system/embedding.md
7070
- 系统设置: system/system.md
71+
- 模型接入:
72+
- Ollama 部署模型接入 SQLBot: model_integration/ollama.md
7173
- MCP 服务: mcp_server.md
7274
- 联系我们: contact.md
7375

0 commit comments

Comments
 (0)