ollama 部署 huggingface上的Qwen3-30B-A3B-GGUF Q3_K_M AI

ollama run hf.co/unsloth/Qwen3-30B-A3B-GGUF:Q3_K_M --verbose 5080。。。只有16G的显存,我的主板还是pcie 3.0的。。。 total duration: 2m2.4422458s load duration: 26.3563ms prompt eval count...
学长 发布于 

anaconda pip 指南 AI

anaconda pip 指南 base不建议安装。。。 建议先新建一个环境然后再activate环境后pip 因为直接安装就会安装到%appdata%\Python\Python312\Scripts中 官网就这么说的。。。 https://www.anaconda.com/docs/tools/working-with-conda/packages/pi...
学长 发布于 

Connect Hyper-V VM from WSL,在Win Docker中挂载hv中的虚拟机smb AI

https://stackoverflow.com/questions/61868920/connect-hyper-v-vm-from-wsl-ubuntu Get-NetIPInterface | where {$_.InterfaceAlias -eq 'vEthernet (WSL (Hyper-v firewall))' -or $_.Interf...
学长 发布于 

windows中Ktansformer docker 部署 AI

除了自己的博士论文啥都想做。。。 我的CPU是 AMD 7532 GPU是5080 但是主板是PCIE3.0的。。。 别问我为什么?H11SSL都已经1700了,我要是能1000搞到PCIe4的我哪会整PCIe3的板子。。。 lscpu 查看只支持avx2 跟intel的avx512区别挺大的。。。之前有传闻是avx2基本上跑起来也是毫无性能。。。 目前官方...
学长 发布于