Локальный ChatGPT для работы с документами

Как мы собрали локальную версию ChatGPT для Университета Минстроя

Университет Минстроя обратился к нам с необычной задачей: им нужен был свой "ChatGPT", но с важным условием — система должна работать полностью локально, без отправки данных куда-либо вовне.

В чём была задача

Строительные нормы и технические регламенты — это сотни документов и тысячи страниц. Найти конкретный ответ там бывает настоящей головной болью. Университет хотел создать инструмент, который поможет сотрудникам и студентам быстро находить нужную информацию в этом море документации.

Требования были предельно конкретными:

• Всё должно работать на их собственном сервере
• LLM-модели должны крутиться там же с поддержкой GPU
• Интерфейс должен быть знакомым, как у ChatGPT
• Система должна уметь работать с загруженными нормативными актами (RAG)

Как решали

За основу взяли OpenWeb UI — это открытый интерфейс для работы с языковыми моделями. Но просто установить его было недостаточно. Пришлось хорошенько поработать над адаптацией под задачи университета.

Для локального размещения моделей выбрали Ollama — это такой легкий менеджер для запуска LLM моделей. Загрузили туда несколько разных моделей:

• DeepSeek R1
• Qwen Qwq
• Meta Llama 4
• Goolge Gemma 3

Каждая из них по-своему хороша в определенных задачах, и у пользователей теперь есть выбор.

Изюминки проекта

Самое интересное начинается в деталях. Мы разработали специальный конвейер для обработки документов. Когда в систему загружают очередной нормативный акт, он автоматически преобразуется в markdown. Звучит просто, но на практике это сильно повышает качество работы embedding-модели — она лучше "понимает" структурированный текст.

Интерфейс получился функциональнее оригинального ChatGPT. В нём можно:

• Управлять пользователями (кому какой доступ)
• Настраивать системные промпты под разные задачи
• Сравнивать, как разные модели отвечают на один и тот же вопрос
• Смотреть статистику — кто, что и когда спрашивал

А для тех, кому удобнее писать из мессенджера, добавили бота в Telegram. Теперь можно задать вопрос по нормативам прямо из чата.

Что получилось в итоге

Университет Минстроя теперь имеет свой собственный инструмент для работы с технической документацией. Всё работает на их инфраструктуре, ничего никуда не уходит. А главное — поиск ответов на технические вопросы стал в разы быстрее.

Без лишней скромности скажем: получилось действительно полезное решение, которое каждый день экономит время людей, работающих со строительными нормативами и стандартами.