ИИ

Локальный ИИ для компании: что это и как внедрить

Опубликовано
Обновлено
5 мин чтения
5 мин чтения

Коротко

Локальный ИИ работает на собственном сервере компании или в среде, которую она контролирует, и данные эту среду не покидают. Так можно использовать ИИ для прайс-листов, чертежей или данных клиентов, не отправляя их в зарубежный сервис. Передача персональных данных за рубеж регулируется законом страны: в Туркменистане действует закон «Об информации о личной жизни и её защите». Внедрение сводится к трём задачам: выбрать модель, подобрать оборудование и настроить доступ.

Главное

  • При локальном развёртывании документы, вопросы и ответы остаются в сети компании.
  • Передача персональных данных в зарубежный ИИ-сервис подпадает под закон о персональных данных вашей страны.
  • Модели с открытыми весами (например, Llama, Qwen, Mistral, Gemma) можно запускать на своём оборудовании.
  • Не для каждой задачи нужна самая большая модель: классификацию и пересказ часто выполняет модель среднего размера.
Содержание
  1. Что такое локальный ИИ?
  2. Чем он отличается от облачных моделей?
  3. Что говорит закон о персональных данных?
  4. Какое оборудование нужно?
  5. Как внедрить по шагам?
  6. Гибридная схема: документы внутри, вычисления по выбору
  7. Частые вопросы
  8. Источники

Что такое локальный ИИ?

При локальном развёртывании веса языковой модели загружают на оборудование компании и запускают там. Вопросы, документы и ответы не покидают сеть компании. Обычно решение состоит из трёх слоёв:

  • Модель: языковая модель с открыто опубликованными весами. Выбирают модели, лицензия которых разрешает коммерческое использование.
  • Слой запуска: программа, которая запускает модель на сервере. Ollama удобна для небольших команд и проб, инструменты вроде vLLM рассчитаны на нагрузку от многих пользователей.
  • Поиск по документам (RAG): документы компании индексируются, и модель при ответе находит нужный документ и показывает его как источник.

Чем он отличается от облачных моделей?

Облачный API и локальная модель
КритерийОблачный APIЛокальная модель
Где данныеНа серверах поставщика, часто за рубежомВ сети компании
Срок запускаМинутыНесколько недель с оборудованием и настройкой
Сила моделиСамые сильные модели обычно в облакеХватает для многих задач, в самых сложных может уступать
Структура затратОплата за использованиеВложения в оборудование и сопровождение
ЗависимостьОт изменения цен и правил поставщикаМодель и версия под вашим контролем
ИнтернетНуженМожет работать в изолированной сети

Оба пути можно совмещать. Многие компании обрабатывают чувствительные документы локальной моделью, а для общих задач без персональных данных используют облачную. Какие данные куда можно отправлять, лучше заранее закрепить письменным правилом.

Что говорит закон о персональных данных?

В каждой стране свои правила обработки и передачи персональных данных за рубеж. В Туркменистане с 1 июля 2017 года действует закон «Об информации о личной жизни и её защите» (№ 519-V). Он регулирует сбор, обработку и защиту сведений о личной жизни человека, а надзор за его исполнением возложен на прокуратуру.

  • Если в запросах или документах, отправляемых ИИ-сервису, есть персональные данные, на эту обработку распространяется закон.
  • Для каждой цели (ответ, пересказ, обучение) нужно законное основание, и людей нужно информировать.
  • Если поставщик обрабатывает данные за рубежом, дополнительно действуют правила трансграничной передачи.

Локальная модель снимает вопрос передачи за рубеж для данных, которые она обрабатывает, потому что ничего не покидает вашу сеть. Остальные требования, такие как основание, информирование и безопасность, сохраняются.

Какое оборудование нужно?

Оборудование определяют три вещи: размер модели, сколько человек пользуются ею одновременно и как быстро нужен ответ.

  • Память GPU: в неё должна поместиться модель. Грубое правило: при 4-битном квантовании каждый миллиард параметров требует около половины гигабайта памяти плюс запас на работу.
  • Размер модели: моделей на 7-14 миллиардов параметров часто хватает для классификации, пересказа и поиска по документам. Более крупные модели лучше справляются с длинными и сложными текстами, но кратно увеличивают требования к оборудованию.
  • Одновременная работа: пробный запуск на одного человека и команда из двадцати человек не помещаются на один сервер. С ростом числа пользователей растут память и вычислительная мощность.
  • Только процессор: небольшие модели работают и без GPU, но медленно. Это подходит для пакетных задач, которые выполняются ночью.

Надёжнее всего подобрать размер, испытав две-три модели на ваших реальных документах и измерив качество. Сравнения на бумаге не показывают, как модель справится с вашей работой.

Как внедрить по шагам?

  1. Опишите сценарий и класс данных

    Какая задача, с какими документами, кто будет работать? Есть ли в документах персональные данные, коммерческая тайна или только общие сведения?

  2. Выберите модель на реальных документах

    Испытайте две-три модели с подходящей лицензией на своих примерах и измерьте точность и скорость.

  3. Подберите оборудование

    Определите сервер по выбранной модели, числу пользователей и ожидаемому времени ответа.

  4. Установите слой запуска и закройте доступ

    Сделайте сервер модели доступным только из внутренней сети и добавьте проверку подлинности.

  5. Настройте поиск по документам с учётом прав

    Модель должна находить только те документы, которые пользователь и так вправе видеть. Бухгалтерские файлы не должны попадать в ответы отделу продаж.

  6. Спланируйте журнал, мониторинг и обновления

    Записывайте, кто что спросил и какой документ использовался. Модели и программы сначала обновляйте в тестовой среде.

Гибридная схема: документы внутри, вычисления по выбору

Запускать всё внутри нужно не всегда. Практичный промежуточный вариант разделяет две плоскости. Документы, индекс и журнал аудита в любом случае остаются в здании. Наружу уходит только запрос на вычисление, в заранее одобренных компанией случаях и к выбранному ею поставщику. Такой запрос может считаться трансграничной передачей данных, поэтому его нужно закрепить договором и записывать.

Подробно эта схема описана на странице о локальном развёртывании. Как в такой среде работают агенты, рассказано в статье об ИИ-агентах.

Частые вопросы

Локальная модель так же хороша, как ChatGPT?

Самые сильные облачные модели обычно лидируют в сложных задачах. Для классификации документов, пересказа и поиска по файлам компании открытые модели часто дают достаточный результат. Решать стоит по итогам испытания на ваших документах.

Что такое Ollama?

Ollama позволяет одной командой загрузить модель с открытыми весами и запустить её на компьютере или сервере. Это простой старт для проб и небольших команд. Для нагрузки от многих пользователей выбирают серверные инструменты вроде vLLM.

Работает ли без интернета?

Да. Если модель и документы находятся в одной сети, подключение к интернету не нужно. Там, где безопасность критична, можно поставить изолированный сервер без внешних подключений.

Решает ли локальная модель все вопросы защиты данных?

Она снимает вопрос передачи за рубеж для данных, которые обрабатывает. Основание обработки, информирование, сроки хранения и безопасность нужно обеспечивать как при любой другой обработке.

Источники

Спросите ассистента

Откройте статью в ИИ-ассистенте, чтобы применить её к своей ситуации.

Поделиться

LinkedInXWhatsApp

Об этой статье

Entrida Technology & Consulting из Стамбула внедряет ИИ, автоматизацию и программное обеспечение для МСП. Факты в статье опираются на источники в конце. Если заметите ошибку, напишите на info@entrida.com.tr, мы исправим её и обновим дату.

Эта статья на других языках

Прочитали. Теперь измерим.

На первом пятнадцатиминутном звонке мы слушаем, как устроен ваш процесс, и вместе решаем, какую работу подключить к системе первой.