模型适配列表（持续更新）
提示
如有其他软件/模型适配需求，请联系hpc@hkust-gz.edu.cn
推理
提示
部分参考文档为同框架部署指导文档，可参考。
| 模型完整名称 | 推理引擎 | 适配情况 | 参考文档 |
|---|---|---|---|
| Qwen3-VL-30B-A3B-Instruct | vLLM | 已适配 | 参考文档，参考文档 |
| qwen3-30b-a3b | vLLM | 已适配 | 参考文档 |
| Qwen3-VL 235B-A22B | vLLM | 已适配 | 参考文档 |
| Qwen3-VL-32B-Thinking | vLLM | 已适配 | 参考文档 |
| Qwen2.5-Coder-32B/14B/7B-Instruct; Qwen3-Coder-30B-A3B-Instruct | vLLM，sglang | 已适配 | 参考文档，参考文档 |
| Qwen3-8B | MindIE / vLLM | 已适配 | 参考文档，参考文档 |
| Qwen2-7B | vLLM / MindIE | 已适配 | 参考文档，参考文档 |
| Qwen/Qwen3-8B | vLLM | 已适配 | 参考文档 |
| Qwen/Qwen3-14B | vLLM | 已适配 | 参考文档 |
| Qwen/Qwen2.5-7B-Instruct | vLLM | 已适配 | 参考文档 |
| Qwen/Qwen2.5-VL-7B-Instruct | vLLM | 已适配 | 参考文档 |
| Qwen/Qwen2.5-14B-Instruct | vLLM | 已适配 | 参考文档 |
| Qwen/Qwen3-VL-Embedding-2B | vLLM | 已适配 | 参考文档 |
| Qwen/Qwen3-VL-Embedding-8B | vLLM | 已适配 | 参考文档 |
| Qwen/Qwen3-Embedding-8B | vLLM | 已适配 | 参考文档 |
| Qwen/Qwen3-Embedding-4B | vLLM | 已适配 | 参考文档 |
| Qwen/Qwen3-Embedding-0.6B | vLLM | 已适配 | 参考文档 |
| Qwen/Qwen3-235B-A22B-Thinking-2507 | liteLLM, vLLM | 已适配 | 参考文档，参考文档，参考文档 |
| Qwen3-8B | vLLM | 已适配 | 参考文档 |
| Qwen3-8B | sglang | 已适配 | 参考文档，参考文档 |
| Qwen3-8B | vLLM | 已适配 | 参考文档 |
| Qwen3-32B | vLLM | 已适配 | 参考文档 |
| Qwen3-235B | vLLM | 已适配 | 参考文档 |
| Qwen3-VL-235B | vLLM | 已适配 | 参考文档 |
| Qwen3-Omini | vLLM | 已适配 | 参考文档 |
| Qwen3(VL)-4B/8B/32B | vLLM | 已适配 | 参考文档 |
| Qwen3-235B-A22B/Qwen3-235B-A22B-W8A8 | vllm/omni_infer | 已适配 | 参考文档 |
| Wan 2.2 | 已适配 | 参考文档 | |
| DeepSeek-R1-Distill-70B (Int8/W8A8 量化版) | vLLM 或 MindIE | 已适配 | 参考文档 |
| Deepseek V3.2 | liteLLM, vLLM | 已适配 | 参考文档，参考文档，参考文档 |
| DeepSeek-V3 | vLLM | 已适配 | 参考文档 |
| Deepseekocr | vLLM | 已适配 | 参考文档 |
| Kimi-K2-Thinking | liteLLM, vLLM | 已适配 | 参考文档，参考文档，参考文档 |
| Kimi-Audio | pytorch | 已适配 | 暂无 |
| LLaMA3-8B-Instruct | MindIE | 已适配 | 参考文档 |
| openai/gpt-oss-120b | liteLLM, vLLM | 已适配 | 参考文档，参考文档，参考文档 |
| Whisper-Large-V3 | pytorch | 已适配 | 参考文档 |
| BAAI/bge-base-en-v1.5 | vLLM | TEI已适配，vllm未适配 | 参考文档 |
| BAAI/bge-large-en-v1.5 | vLLM | TEI已适配，vllm未适配 | 参考文档 |
| LLaDA2.0-flash | SgLang | 已提交模型适配团队，迁移适配中；已基于SGLang正常其服务并调用成功--1.20 | 参考文档 |
| HunyuanVideo-1.5 | 已适配 | 参考文档 | |
| speaker-diarization-3.1 | pytorch | 已适配 | 参考文档 |