月度归档: 2025 年 4 月

1 篇文章

Qwen2.5-VL 基于 vLLM 本地部署实践
前言 最近有一个小需求需要使用具有视觉理解能力的大模型,刚好春节前Qwen2.5-VL发布,到今天差不多刚好两个月出头,一系列量化版本也陆续推出了,这对于消费级显卡很是友好(ps: 20系三朝元老请求出战!),其实这两天阿里刚刚发布了最新的多模态旗舰模型Qwen2.5-Omni,性能对比如下图,在图像推理这块和Qwen2.5-VL相比有细微提升,但…