这两天阿里开源了Qwen3系列推理模型，里面有不少Dense模型的参数量不太大，可以用本地笔记本电脑运行，速来体验一下。
本机电脑配置：MacBook Pro （Apple M2 Pro 芯片）
模型选择：Qwen3-4B（40亿参数），模型占用磁盘空间 2.5GB
Ollama运行Qwen3
- 去Ollma官网 https://ollama.com/ 去下载并安装ollama；完成后用 命令
ollama --version检查一下。 - 下载并运行Qwen3:4b模型，就一个命令
ollama run qwen3:4b，Ollama自己会去下载模型文件（2.6GB大小，需要花一点时间）然后运行的。 - 第2步完成，就会进入交互式问答界面，就可以开始体验qwen3:4b大模型的推理了。 （注：用 /? 命令查看帮助，用 /bye 退出）
在浏览器中打开 http://localhost:11434/ 可以查看Ollama是否正常运行，同时其API已可用，比如 http://localhost:11434/api/tags
ollama默认监听了 127.0.0.1:11434，如果需要个性化修改（一般建议不要修改了，后面open-webui等也会自动找这个端口），可以设置 OLLAMA_HOST 这个环境变量即可。
使用open-webui通过浏览器UI的方式体验大模型
命令行交互的方式聊天对人类不友好，特别是它还输出markdown格式的文本；那么可以使用open-webui这个工具来支持用浏览器使用本地（也支持远程的大模型）。
有多重方式可以安装open-webui，这里就选择用pip安装的方式。
1. 用命令 pip install open-webui 即可安装open-webui，不过请注意open-webui当前仅支持python3.11（至于怎么安装python3.11这里就不介绍了），所以我这里执行命令其实是：pip3.11 install open-webui。
刚开始没注意我系统默认python是3.9版本，通过pip安装时就没有找到oepn-webui包，有如下报错：
|
1 2 3 |
ERROR: Could not find a version that satisfies the requirement open-webui (from versions: none) ERROR: No matching distribution found for open-webui |
- 用命令
open-webui serve即可启动服务。 如果希望修改监听地址和段扩，可以open-webui serve --help查看一下帮助，通过--host、--port参数修改即可。 -
浏览器通过地址 http://localhost:8080 来访问open-webui了。如果上面步骤这两个ollama已经启动qwen3:4b模型，那么此时浏览器中已经默认以选中该模型了，就可以低成本体验qwen3的推理能力。
体验下来，MBP电脑运行qwen3:4b还是比较流畅的，模型本身推理能力使用起来也算不错（粗略体验），当然还是容易有些AI幻觉的（比如，问它4B模型是多大参数，它说是400亿；而人眼一眼就是40亿）。
参考：
https://www.runoob.com/ollama/ollama-open-webui.html
https://zhuanlan.zhihu.com/p/1900866584001642539