vLLM

Высокопроизводительный открытый движок обслуживания LLM.

ИнференсOpen sourceОбслуживание моделей