
vLLM
Translation
Part 2:扩展翻译推理:吞吐量 +82%
通过 AsyncLLMEngine 和合理配置 Continuous Batching,将 vLLM 推理吞吐量提升 82%
Ashar Mirza - VoicePing
3 min
VoicePing的见解、技巧和更新

通过 AsyncLLMEngine 和合理配置 Continuous Batching,将 vLLM 推理吞吐量提升 82%
分析 FastAPI + 多进程架构中阻碍高效 GPU 利用的架构瓶颈

构建用于面部分析、姿态估计和情绪检测的视频预处理流水线的研究报告。

2024年9月 - 基于 Python、aiohttp 和 BeautifulSoup 开发高效异步 Web 爬虫,用于大规模数据采集

基于 Llama 3.1 的英中双向翻译 RAFT 方法探索

基于 AISHELL-3 数据集和 Bert-VITS2 框架开发普通话语音合成系统的研究报告。