Все стеки
без облака
Локальный AI на ПК
Поднять чат с LLM на своём компьютере за один вечер.
Для кого: Кто хочет работать без облака / без утечки данных / при слабом VPN
Порядок использования
- 1LLM Checker🖥️ Локальный AI и Модели
LLM Checker — понять железо и модели
Определяет характеристики компьютера и подбирает подходящие локальные AI-модели для запуска
- 2
- 3
- 4Open WebUI🖥️ Локальный AI и Модели
llama.cpp — запасной лёгкий запуск
Удобный интерфейс для запуска и общения с локальными AI-моделями, включая Ollama, с поддержкой файлов, RAG и инструментов
- 5
- 6
- 7
Definition of Done
Открыт чат с локальной моделью (например Llama 3 / Qwen), ответ приходит без облачного API-ключа.
Типичная ошибка
Сразу качать огромную 35B-модель на ноутбуке с 8 ГБ RAM.