会员
周边
新闻
博问
闪存
赞助商
YouClaw
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
gpustack
博客园
首页
新随笔
联系
订阅
管理
2026年4月1日
vLLM Ascend 是最优解吗?基于 mis-tei 实现昇腾上的高性能 Embedding/Reranker 模型推理
摘要: 在昇腾(Ascend)生态中,vLLM 等推理引擎在生成类任务中表现出色,已被广泛采用。而在 Embedding 与 Reranker 等检索相关场景下,mis-tei 作为专用推理组件,同样提供了高效且更贴合场景的能力。 mis-tei 专注于文本向量生成与重排序能力,广泛应用于检索增强(RAG)
阅读全文
posted @ 2026-04-01 09:58 GPUStack
阅读(87)
评论(0)
推荐(0)
公告