windows中Ktansformer docker 部署

除了自己的博士论文啥都想做。。。
我的CPU是 AMD 7532
GPU是5080
但是主板是PCIE3.0的。。。
别问我为什么？H11SSL都已经1700了，我要是能1000搞到PCIe4的我哪会整PCIe3的板子。。。

lscpu 查看只支持avx2
跟intel的avx512区别挺大的。。。之前有传闻是avx2基本上跑起来也是毫无性能。。。

目前官方镜像的版本有4种
fancy native avx512 avx2
镜像网站

docker pull approachingai/ktransformers:latest-AVX2

docker run --gpus all -v /mnt/host/Win下具体的挂载路径:/models --name ktransformers -itd approachingai/ktransformers:latest-AVX2

具体的路径在wsl -d docker-desktop中查看/mnt/host中查看
理论上这就部署完了。。。难的就是怎么下载部署模型了。。。
0.3版本差不多34G

然后部署QWen3
https://github.com/liuwenzhoa/KT_Qwen3

还是modelscope好用点

pip install modelscope

官方的：
https://modelscope.cn/models/Qwen/Qwen3-235B-A22B/files
这个不用下载。。。

modelscope download --model Qwen/Qwen3-235B-A22B --local_dir /models/Qwen3-235B-A22B

量化的：（也不用下载）
https://modelscope.cn/models/unsloth/Qwen3-235B-A22B-GGUF/files

 modelscope download --model unsloth/Qwen3-235B-A22B-GGUF --local_dir /models/Qwen3-235B-A22B-GGUF/

大概470G
根据选择的量化等级。。。
那就先下去除掉gguf的，再下对应的gguf目录

modelscope download --model unsloth/Qwen3-235B-A22B-GGUF --exclude '*.gguf' --local_dir /models/Qwen3-235B-A22B-GGUF/

modelscope download --model unsloth/Qwen3-235B-A22B-GGUF --include 'Q5_K_M*' --local_dir /models/Qwen3-235B-A22B-GGUF/

逻辑是具体的文件夹中的文件实际上是带目录名/的。。。
嗯。。。F16实在太大了。。。我就弄个Q5的吧。。。
接下来就是怎么挂载的问题。。。耽误了一天做了这个

然后根据官方的docker运行文件来执行这个

docker exec -it ktransformers /bin/bash
python -m ktransformers.local_chat  --gguf_path /models/path/to/gguf_path --model_path /models/path/to/model_path --cpu_infer 33

然后跟KT_Qwn3做对比
然后出了nms does not exist的错误。。。猜测是windows主机没有安装cuda驱动

根据
https://github.com/kvcache-ai/ktransformers/issues/557
实际上--model_path只提供配置文件，主要读取的还是-gguf_path
我的modelscope 最后是安装在windows中的，因为。。。docker装完重启就没了。。。所以路径是相对的。。。并且不确定win和lin的斜杠方向会不会影响。。。win下是没影响的

modelscope download --model Qwen/Qwen3-235B-A22B --exclude '*.safetensors' --local_dir .\models\Qwen3-235B-A22B\

但是不下载完又有
Segmentation fault (core dumped)
据说是模型文件不完整导致的,计算sha256
参考modelscope下载
https://www.modelscope.cn/docs/models/download

如果下载错了
要删除的话，得modelscope clear-cache