ИИ на вашем компьютере — без интернета и подписок
Локальные модели работают прямо на вашем железе. Все данные остаются у вас, никаких подписок, никаких лимитов, никаких проблем с оплатой и доступом из России. Это идеально для конфиденциальной работы и тех, кто хочет полную независимость. Расскажу что нужно от компьютера, помогу установить, подобрать модели под задачи.
Зачем это нужно
Полная приватность
Ни один байт не уходит за пределы вашего компьютера. Можно работать с коммерческой тайной, личными документами, медицинскими данными. Идеально для юристов, врачей, бизнеса с чувствительной информацией.
Без подписок
Один раз настроил — пользуешься годами. Не платишь $20 в месяц за каждый сервис. Если активно работаете с ИИ — окупается за пару месяцев. А модели всё лучше с каждым обновлением — бесплатно.
Без интернета
Работает в дороге, в дачном посёлке, в самолёте, в местах со слабым соединением. Один раз скачали модель — пользуетесь где угодно. Незаменимо для путешественников и удалёнки в глубинке.
Без цензуры
Локальные модели свободны от ограничений облачных сервисов. Можно работать с любыми темами — творческими, спорными, медицинскими, юридическими. Конечно, в рамках закона и этики.
Без лимитов
Никаких «достигнут лимит за час», «исчерпана квота на день». Генерируйте сколько угодно — ограничивает только мощность компьютера. Прекрасно для больших проектов и пакетной обработки.
Полный контроль
Настройка моделей под свои задачи: дообучение на ваших данных, специфические промпты, интеграция с локальными программами. Для тех, кто хочет глубже, чем просто пользоваться готовым.
Что нужно от компьютера
Главный ресурс для нейросетей — оперативная память (RAM) и видеопамять (VRAM). Чем больше — тем большие модели можно запустить. Вот примерные конфигурации под разные задачи.
Чат, простые вопросы, перевод
Без видеокарты или 4-6 ГБ VRAM
Длинные тексты, код, аналитика
Видеокарта 8-12 ГБ VRAM (RTX 3060, 4060)
Качество близкое к ChatGPT
Видеокарта 16-24 ГБ VRAM (RTX 4080, 4090)
Топовые модели без компромиссов
Видеокарта 48+ ГБ VRAM (две RTX 4090, A100, H100)
Stable Diffusion, FLUX
Видеокарта 8+ ГБ VRAM (RTX 3060+)
⚠️ На Mac M1/M2/M3 (16 ГБ объединённой памяти и больше) работает удивительно хорошо благодаря архитектуре. M3 Max с 64 ГБ может тянуть модели уровня GPT-3.5 без проблем.
Программы для запуска
🦙 Ollama
Самый простой способ запустить ИИ локально. Командная строка, но всё интуитивно понятно. Одна команда — модель скачивается и запускается. Подходит для Windows, Mac и Linux. Бесплатно.
🎨 LM Studio
Графический интерфейс — без терминала. Удобно искать модели, скачивать, переключаться. Похоже на ChatGPT по виду, только локально. Лучший выбор для тех, кто пугается чёрного экрана.
🔧 ComfyUI
Для работы с картинками — Stable Diffusion, FLUX. Узловая система: соединяете блоки как в схеме. Мощно, гибко, но требует освоения. Зато можно делать невероятные вещи, недоступные облачным сервисам.
📚 AnythingLLM
Локальный «помощник по документам». Загружаете файлы, потом задаёте вопросы на их основе. Идеально для работы с корпоративной базой знаний. Поддерживает все локальные модели.
🌐 Open WebUI
Веб-интерфейс для локальных моделей, очень похожий на ChatGPT. Поддерживает историю чатов, разные модели, расширения. Можно дать доступ нескольким пользователям в локальной сети — мини-«корпоративный ChatGPT».
🤖 Continue / Cline
Плагины для VS Code, дают возможность использовать локальные модели как ИИ-ассистента программиста. Замена Cursor и Copilot. Полностью локально, бесплатно.
Какие модели стоит попробовать
В сообществе появляются десятки моделей в месяц. Вот те, что стабильно показывают хорошее качество и подходят для разных задач.
Llama 3.x (Meta)
Эталон open-source. Версии от 1B до 405B параметров. Хорошо работает с русским. Огромное сообщество, тысячи производных моделей под специфические задачи (программирование, медицина, юридика).
Qwen 2.5 (Alibaba)
Лучшая модель для большинства задач, особенно для русского и кода. Версии от 0.5B до 72B. Эффективно использует память — на одинаковом железе работает быстрее Llama.
DeepSeek R1 (квантизированный)
Модель с возможностями рассуждения. Думает «вслух» перед ответом, показывая ход мысли. Сильно эффективна в логических задачах, математике, программировании. Тяжёлая, но того стоит.
Mistral / Mixtral
Французские модели. Mistral 7B — классика для слабого железа. Mixtral использует архитектуру MoE — большая модель, но требует памяти как средняя. Хороши для европейских языков.
GLM (Zhipu)
Китайская модель с хорошим русским. Особенно сильна в работе с длинными контекстами. Подходит для анализа документов, книг, больших корпусов данных.
Phi (Microsoft)
«Маленькие но умные» модели от Microsoft. Phi-4 в размере 14B показывает результаты сравнимые с гигантами. Отличный выбор для слабого железа, когда нужно качество без больших VRAM.
Что предлагаю
🔍 Оценка железа
Посмотрю что у вас за компьютер, скажу какие модели потянет, что нужно докупить для апгрейда. Подскажу разумный путь — без переплаты за лишние гигабайты VRAM.
⚙️ Установка и настройка
Поставлю и настрою Ollama, LM Studio, ComfyUI, AnythingLLM — что вам подходит. Подберу и скачаю модели, проверю работу, покажу как пользоваться. Удалённо или с выездом по Хабаровску.
🏢 Корпоративный сервер
Для компаний — настройка ИИ-сервера, к которому подключаются все сотрудники через браузер. Аналог ChatGPT внутри сети, никаких утечек данных. С контролем доступа и логированием.
📚 База знаний на ИИ
Через AnythingLLM делаю поиск по вашим документам с помощью локальной модели. Сотрудники задают вопросы — получают ответы из ваших же материалов. Без облака, полностью у вас.
🎓 Обучение работе
Покажу как пользоваться установленным, объясню разницу между моделями, научу подбирать под задачу. 1-2 занятия после настройки — и вы свободны от моей помощи.
🛠️ Локальная генерация картинок
Установка ComfyUI с FLUX или Stable Diffusion, набор нужных моделей, LoRA, узлов. Подобранные пайплайны под ваши задачи. Полная свобода от подписок Midjourney и аналогов.
Оценим что у вас получится
Расскажите коротко про ваш компьютер (модель ноутбука или характеристики ПК) и что хотите делать. Скажу что реально получится и стоит ли заморачиваться. Иногда проще доплачивать за облачный ИИ, иногда — наоборот, локальная модель окупит себя за месяц.