Лёгкий ИИ-сервер на любой платформе

Ищете способ запускать языковые модели локально, не привязываясь к операционной системе? Проект ZML представил открытое решение — LLMD. Это кроссплатформенный сервер, который работает на Windows, macOS и Linux, включая ARM-архитектуру (например, Raspberry Pi). Главная «фишка» LLMD — минимализм. В отличие от громоздких решений вроде Ollama, этот сервер собран на базе собственного движка ZML и компилятора MLIR, что позволяет ему быть максимально лёгким. Весь бинарник вместе с моделью помещается в несколько мегабайт — это даёт возможность запускать ИИ даже на слабых устройствах. Как это работает? Вы качаете один исполняемый файл, указываете путь к модели (поддерживаются форматы GGUF и Safetensors) и запускаете. Сервер поднимается за секунду, сразу отвечая на запросы через HTTP. Никаких контейнеров, зависимостей Python или дополнительных библиотек — всё «из коробки». Почему это важно? Локальные модели становятся доступнее для разработчиков встраиваемых систем, киосков или для тех, кто хочет сохранить приватность данных. При этом производительность, благодаря оптимизациям ZML, не уступает «тяжёлым» решениям: инференс идёт на CPU или GPU с минимальной задержкой. Если вы устали от многочасовых настроек окружения и хотите просто запустить ИИ на своём ноутбуке или микрокомпьютере — LLMD станет вашим инструментом. Проект открыт на GitHub под лицензией Apache 2.0, так что можно смело интегрировать его в свои разработки. 📎 [Источник](https://zml.ai/posts/llmd/)