Runware 使用定制硬件和高级编排实现快速 AI 推理

Runware 是一家专注于AI推理（生成式AI）领域的初创公司，它通过使用定制硬件和高级编排技术来提高图像生成模型的推理速度。用户在Runware网站上输入提示并生成图像时，会发现生成速度极快，不到一秒即可完成。

公司自行制造服务器，优化软件层以消除瓶颈，并通过BIOS和操作系统优化来提高冷启动时间。Runware已经从Andreessen Horowitz的Speedrun、LakeStar的Halo II和Lunar Ventures获得了300万美元的融资。

Runware的业务模式与传统GPU托管公司不同，它不按GPU使用时间收费，而是提供基于API调用次数的传统计费结构的图像生成API。公司的目标是鼓励企业加速工作负载，并通过使用Flux和Stable Diffusion等流行AI模型来实现这一点。

Runware的联合创始人兼首席执行官Flaviu Radulescu表示，与竞争对手相比，Runware在生成图像的速度和成本上都具有优势。公司还计划在未来支持多个GPU供应商，以保持在AI推理领域的竞争力。

来源：techcrunch