分类: 杂谈

2 篇文章

Qwen2.5-VL 基于 vLLM 本地部署实践
前言 最近有一个小需求需要使用具有视觉理解能力的大模型,刚好春节前Qwen2.5-VL发布,到今天差不多刚好两个月出头,一系列量化版本也陆续推出了,这对于消费级显卡很是友好(ps: 20系三朝元老请求出战!),其实这两天阿里刚刚发布了最新的多模态旗舰模型Qwen2.5-Omni,性能对比如下图,在图像推理这块和Qwen2.5-VL相比有细微提升,但…
序言暨2023年终杂谈
为什么突然萌生出建立个人博客站的想法呢?在这个快流量的时代,所需的几乎所有信息都可在各类app中招之即来,加之各类语言模型的日趋成熟,个人网站的凋敝几乎无法避免。好在摒除了功利心,更能让人静下心来揣摩笔墨,小心收藏来之不易的灵感,以文会友,因缘而起,道法自然。 由于身处计算机这样一个与时代走向息息相关的学科,天生需要与海量技术论坛、前沿文献相伴,小…