ollama 部署 huggingface上的Qwen3-30B-A3B-GGUF Q3_K_M AI
ollama run hf.co/unsloth/Qwen3-30B-A3B-GGUF:Q3_K_M --verbose
5080。。。只有16G的显存,我的主板还是pcie 3.0的。。。
total duration: 2m2.4422458s
load duration: 26.3563ms
prompt eval count...
anaconda pip 指南 AI
anaconda pip 指南
base不建议安装。。。
建议先新建一个环境然后再activate环境后pip
因为直接安装就会安装到%appdata%\Python\Python312\Scripts中
官网就这么说的。。。
https://www.anaconda.com/docs/tools/working-with-conda/packages/pi...
Connect Hyper-V VM from WSL,在Win Docker中挂载hv中的虚拟机smb AI
在最新的docker版本。。。4.45中此方法因为会重置wsl镜像的修改导致相关挂载彻底失效
4.43.2还可以。。。目前已经向社区反馈。。。经测试4.44.3还可以,所以只是4.45出现了这个问题。。。
当然4.45 还可以在 Docker\resources\wsl\wsl-bootstrap.tar(得复制出来,原位置没有权限修改,修改完再复制回去,7...
windows中Ktansformer docker 部署 AI
除了自己的博士论文啥都想做。。。
我的CPU是 AMD 7532
GPU是5080
但是主板是PCIE3.0的。。。
别问我为什么?H11SSL都已经1700了,我要是能1000搞到PCIe4的我哪会整PCIe3的板子。。。
lscpu 查看只支持avx2
跟intel的avx512区别挺大的。。。之前有传闻是avx2基本上跑起来也是毫无性能。。。
目前官方...