vLLM 的故事始于加州大学伯克利分校 Sky Computing Lab 里一群充满热情的学生与研究员。2023 年，他们开源了核心的 PagedAttention 技术，vLLM 在短短一年多内 GitHub Star 数突破 4 万，并迅速增长至如今的 6.5 万，如今已成为全球科技公司首选的推理引擎。 在这一成功背后 ...

大模型推理的基石 vLLM，现在成为创业公司了。 北京时间周五凌晨传来消息，由开源软件 vLLM 的创建者创立的人工智能初创公司 Inferact 正式成立，其在种子轮融资中筹集了 1.5 亿美元（约合 10 亿元人民币），公司估值达到 8 亿美元。 本轮融资由风险投资公司 ...