初学者之路:如何玩转ollama_open-webui
如果你还是一个新手,并且,当你租用算力实例后不知道接下来该做什么时,可以先体验一下ollama_open-webui。这是雨滴团队帮大家适配好的一个文生文语言大模型,可以快速配置和体验大模型推理的乐趣。
ollama_open-webui是一个开源大语言模型推理与服务。它集成了 ollama 后端和 cpolar 隧道服务,配备 open-webui 前端,预装了强大的 Llama3.1:8b 和 Qwen2:7b 模型。适用于各种自然语言处理任务,如对话系统、文档生成等。
下面话不多说,马上动起来:
首先,在雨滴法则(https://www.raindroprule.com)产品入口中选择“Cloud”产品:

第二步,算力用途中选择“AI推理”:

第三步,选择区域及自己需要的算力节点。ollama_open-webui对算力要求不高,因此雨滴法则算力市场中的所有算力都可以满足要求。
第四步,选择镜像。如下图,选择“ollama_open-webui/3.1/12.1”。

之后点击立即创建,耐心等待实例创建完成(实例创建完成大约需要5~30分钟,请耐心等待)。
第五步,当实例处于“运行中”状态时,表示实例已经创建完成,此时,点击JupyterLab即可进行远程操作和调试了。

由于我们选择的ollama_open-webui镜像是一个集成大模型服务镜像,我们不需要进行多余的配置操作即可使用。
第六步,点击登录指令ssh后面的复制标签,将其复制到某个文本编辑框内,便可看到具体的指令,比如:
ssh -p 20106 root@tun.ydfz.cloud
此处主要目的是为了记录代理服务器所分配的端口号:20106,以备后用。
第七步,开启你的个人电脑的Terminal终端,执行下面的指令:
ssh -CNg -L 6006:127.0.0.1:6006 root@tun.ydfz.cloud -p 20106
此处最后面的端口号:20106,就是第六步中我们所记录的端口号,你要替换为你所租用的实例中被分配的端口号(详见第六步)。
第八步,上述指令执行后,会要求你输入一个密码,这个密码就是实例登录指令中的密码,复制粘贴到Terminal中即可。

第九步,在网页浏览器中开启一个新的页面,访问:
http://localhost:6006
会显示下面的登录页面。

输入用户名和密码:
用户名:Admin@abc.com
密码:Admin1234
第十步,Sign in,显示如下的文生文会话界面,此时你便可以进行文生文对话了。
会话前,首先需要在左上角选择一个大模型。雨滴团队预先设置了两个大模型,分别为Llama和qwen,中文处理比较好的是qwen,你可以自己体验。

好了,你在雨滴法则的第一个大模型已经部署完成了,预祝玩得愉快!