ollama 部署 huggingface上的Qwen3-30B-A3B-GGUF Q3_K_M
ollama run hf.co/unsloth/Qwen3-30B-A3B-GGUF:Q3_K_M --verbose
5080。。。只有16G的显存,我的主板还是pcie 3.0的。。。
total duration: 2m2.4422458s
load duration: 26.3563ms
prompt eval count: 128 token(s)
prompt eval duration: 697.3337ms
prompt eval rate: 183.56 tokens/s
eval count: 1102 token(s)
eval duration: 2m1.714888s
eval rate: 9.05 tokens/s
目前ktransformers。。。跑不出来。。。
Segmentation fault (core dumped)
。。。具体大概不是不model没下完。。。但是也没其他信息了。。。
或许是硬件支持问题???
另外就是model位置切换
https://github.com/datawhalechina/handy-ollama/blob/main/docs/C2/2.%20Ollama%20%E5%9C%A8%20Windows%20%E4%B8%8B%E7%9A%84%E5%AE%89%E8%A3%85%E4%B8%8E%E9%85%8D%E7%BD%AE.md
首先退出ollama
环境变量放个
OLLAMA_MODELS
把%USERPROFILE%.ollama\models复制到D盘,然后把地址复制过来。。。
cmd中echo %OLLAMA_MODELS%
如果有这个新的地址就可以ollama list看到原来的models就成功啦!