11!!! Abstract ""
22
3- 本文以阿里云新加坡区 ECS 实例为例,演示 ollama 安装及其与 SQLBot 对接。
3+ 本文以阿里云新加坡区操作系统为 Ubuntu 22.04 的 ECS 实例为例,演示 Ollama 安装及其与 SQLBot 对接。
44
5- ## 安装ollama
5+ ## 安装Ollama
66
7- 执行以下命令安装 ollama :
7+ 执行以下命令安装 Ollama :
88``` shell
99curl -fsSL https://ollama.com/install.sh | sh
1010```
@@ -22,14 +22,12 @@ root@iZt4n4e3wmu6ddsc0hb3wbZ:~# curl -fsSL https://ollama.com/install.sh | sh
2222>>> Creating ollama systemd service...
2323>>> Enabling and starting ollama service...
2424Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.
25- >>> The Ollama API is now available at 127.0.0.1:11434.
26- >>> Install complete. Run " ollama" from the command line.
27- WARNING: No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode.
25+ >>> NVIDIA GPU installed.
2826```
2927
30- ## 修改ollama配置
28+ ## 修改Ollama配置
3129
32- 修改文件ollama.service,让 ollama 访问可被外部访问
30+ 修改文件ollama.service,让 Ollama 访问可被外部访问
3331``` shell
3432vim /etc/systemd/system/ollama.service
3533```
@@ -60,15 +58,17 @@ Environment="OLLAMA_ORIGINS=*
6058WantedBy=default.target
6159```
6260
63- ## 重启ollama服务
61+ ## 重启Ollama服务
6462
65- 执行命令重启 ollama :
63+ 执行命令重启 Ollama :
6664``` shell
67- service ollama restart
65+ systemctl daemon-reload ; service ollama restart
6866```
6967
7068## 安装运行大模型
7169
70+ ### 安装Qwen3模型(兼容 OpenAI)
71+
7272此处以 qwen3-14b 为例,执行以下命令安装大模型:
7373``` shell
7474ollama run qwen3:14b
@@ -89,6 +89,34 @@ success
8989>>> Send a message (/? for help)
9090```
9191
92+ ### 安装DeepSeek R1 模型(不兼容 OpenAI)
93+
94+ ``` shell
95+ ollama run deepseek-r1:8b
96+ ```
97+
98+ 输出如下:
99+ ``` shell
100+ root@iZt4n4e3wmu6ddsc0hb3wbZ:~ # ollama run deepseek-r1:8b
101+ pulling manifest
102+ pulling e6a7edc1a4d7: 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 5.2 GB
103+ pulling c5ad996bda6e: 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 556 B
104+ pulling 6e4c38e1172f: 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 1.1 KB
105+ pulling ed8474dc73db: 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 179 B
106+ pulling f64cd5418e4b: 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 487 B
107+ verifying sha256 digest
108+ writing manifest
109+ success
110+ ```
111+
112+ ## 确认Ollama服务状态
113+
114+ 在 SQLBot 服务器上访问 Ollama 服务,确认网络是通的:
115+ ``` shell
116+ root@iZt4n4e3wmu6ddsc0hb3wbZ:~ # nc -zv 47.237.135.165 11434
117+ Connection to 47.237.135.165 port 11434 [tcp/* ] succeeded!
118+ ```
119+
92120## 安装 OpenWebUI(可选)
93121
94122!!! Abstract ""
@@ -107,7 +135,7 @@ systemctl enable docker; systemctl daemon-reload; service docker start
107135
108136### 安装OpenWebUI
109137
110- 按官方示例,以 docker 直接启动 OpenWebUI,它会自动关联本地 ollama 。
138+ 按官方示例,以 docker 直接启动 OpenWebUI,它会自动关联本地 Ollama 。
111139``` shell
112140docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
113141```
@@ -119,20 +147,57 @@ CONTAINER ID IMAGE COMMAND CREATED
119147ba913b54d026 ghcr.io/open-webui/open-webui:main " bash start.sh" 10 minutes ago Up 9 minutes (healthy) 0.0.0.0:3000-> 8080/tcp, [::]:3000-> 8080/tcp open-webui
120148```
121149
122- 启动完成后,可在浏览器上通过 ip :3000来访问,如下图所示:
150+ 启动完成后,可在浏览器上通过 IP :3000来访问,如下图所示:
123151![ openwebui] ( ../img/model_integration/openwebui.png )
124152
125- ## 确认服务状态
153+ ## 安装配置 One API
154+
155+ 若部署的是 DeepSeek 模型,在对接 SQLBot 时需要 One API 将其转换成兼容 OpenAI 接口,否则在使用时则会出现类似下面的错误:
156+ ![ deepseek_error] ( ../img/model_integration/deepseek_error.png )
157+
158+ ### 部署 One API
126159
127- 在 SQLBot 服务器上访问 ollama 服务,确认网络是通的 :
160+ 下面以 docker 来运行 One API,此处运行端口设置成了 3001 :
128161``` shell
129- root@iZt4n4e3wmu6ddsc0hb3wbZ:~ # nc -zv 47.237.135.165 11434
130- Connection to 47.237.135.165 port 11434 [tcp/* ] succeeded!
162+ mkdir -p /oneapi/data
163+
164+ docker run --name one-api -d --restart always -p 3001:3000 -e TZ=Asia/Shanghai -v /oneapi/data:/data justsong/one-api
131165```
132166
167+ ### 配置 One API
168+
169+ #### 添加渠道
170+
171+ 在浏览器输入 IP:3001 访问 One API。
172+ 先添加一个 DeepSeek 的渠道,注意「模型」输入 Ollama 中 DeepSeek 的模型名称,代理输入 Ollama 的访问地址。
173+ ![ oneapi_channel] ( ../img/model_integration/oneapi_channel.png )
174+
175+ #### 验证渠道
176+
177+ 添加渠道后,可以点击「测试」验证是否正常工作
178+ ![ oneapi_validate] ( ../img/model_integration/oneapi_validate.png )
179+
180+ #### 创建令牌
181+
182+ 此处可以根据自己的实际情况进行相关设置。
183+ ![ oneapi_create_token] ( ../img/model_integration/oneapi_create_token.png )
184+
185+ #### 复制令牌
186+
187+ ![ oneapi_copy_token] ( ../img/model_integration/oneapi_copy_token.png )
188+
133189## 接入SQLBot
134190
191+ ### 接入 Qwen3 模型(兼容 OpenAI)
192+
135193基础模型此处输入之前安装运行的 qwen3:14b。
136- ollama 默认运行在 11434 端口上,API 域名输入 http://47.237.135.165:11434/v1,注意47.237.135.165换成自己实际的 ip 地址。
194+ Ollama 默认运行在 11434 端口上,API 域名输入 http://47.237.135.165:11434/v1,注意47.237.135.165换成自己实际的 IP 地址。
137195API Key 可以随意填写,保存即可。
138- ![ ollama] ( ../img/model_integration/ollama_sqlbot.png )
196+ ![ ollama] ( ../img/model_integration/ollama_sqlbot.png )
197+
198+ ### 接入DeepSeek R1模型(不兼容 OpenAI)
199+
200+ 基础模型此处输入之前安装运行的 deepseek-r1:8b。
201+ 由于通过 One API 进行了转换,在 API 域名输入 One API 的服务地址,如 http://47.236.6.226:3001/v1,注意47.236.6.226:3001 换成自己实际的 IP 地址和运行端口。
202+ API Key 填写 One API 的令牌。
203+ ![ oneapi] ( ../img/model_integration/oneapi_sqlbot.png )
0 commit comments