ollama 部署 huggingface上的Qwen3-30B-A3B-GGUF Q3_K_M AI

ollama run hf.co/unsloth/Qwen3-30B-A3B-GGUF:Q3_K_M --verbose 5080。。。只有16G的显存,我的主板还是pcie 3.0的。。。 total duration: 2m2.4422458s load duration: 26.3563ms prompt eval count...
学长 发布于 

anaconda pip 指南 AI

anaconda pip 指南 base不建议安装。。。 建议先新建一个环境然后再activate环境后pip 因为直接安装就会安装到%appdata%\Python\Python312\Scripts中 官网就这么说的。。。 https://www.anaconda.com/docs/tools/working-with-conda/packages/pi...
学长 发布于 

Connect Hyper-V VM from WSL,在Win Docker中挂载hv中的虚拟机smb AI

在最新的docker版本。。。4.45中此方法因为会重置wsl镜像的修改导致相关挂载彻底失效 4.43.2还可以。。。目前已经向社区反馈。。。经测试4.44.3还可以,所以只是4.45出现了这个问题。。。 当然4.45 还可以在 Docker\resources\wsl\wsl-bootstrap.tar(得复制出来,原位置没有权限修改,修改完再复制回去,7...
学长 发布于 

windows中Ktansformer docker 部署 AI

除了自己的博士论文啥都想做。。。 我的CPU是 AMD 7532 GPU是5080 但是主板是PCIE3.0的。。。 别问我为什么?H11SSL都已经1700了,我要是能1000搞到PCIe4的我哪会整PCIe3的板子。。。 lscpu 查看只支持avx2 跟intel的avx512区别挺大的。。。之前有传闻是avx2基本上跑起来也是毫无性能。。。 目前官方...
学长 发布于