01
Ядро и модели

Языковые модели работают на вашей видеокарте

Ollama держит модели, основная — Gemma 4 на 12 миллиардов параметров с контекстом 128–256К, быстрая — Gemma 4 E4B для коротких задач. Российские опции — T-Lite 8B и T-Pro 2.0 32B, резерв — Qwen: переключение без переустановки. GigaChat 3 Lite держим на проверке — пока не выясним условия self-hosted, в поставку её не ставим. Инференс целиком идёт на видеокарте, процессор остаётся свободным для остальных сервисов. Модель при этом решает меньше, чем кажется: без поиска по вашим документам любая из них выдумывает, с поиском разница между моделями на замере статистически не видна — разбор в хабе.
  • Gemma 4 12B и Gemma 4 E4B, контекст 128–256К
  • Вспомогательные модели без переустановки
  • Инференс полностью на видеокарте
02
База знаний

Гибридный поиск по документам со ссылкой на источник

Векторное хранилище Qdrant, эмбеддинги BAAI bge-m3 на 1024 измерения, переранжирование bge-reranker-v2-m3. Гибрид вектора и BM25 с весом 0.5 — находит и по смыслу, и по точной формулировке. Извлечение через Docling и собственный слой okb docling-shim: умный OCR и нарезка по разделам, а не вслепую по числу символов. Куда на самом деле уходит время ответа и почему не в модель — замер в хабе; почему русский скан ломает разбор — отдельно.
  • Qdrant и BM25, вес 0.5
  • OCR включается только там, где нужен
  • В ответе указан файл и раздел
03
Голосовой контур

Голосом с телефона, внутри своей сети

Распознавание — okb-stt на faster-whisper large-v3-turbo. Синтез — openedai-speech на XTTS. Доступ через веб-приложение PWA поверх HTTPS с локальным удостоверяющим центром: ставить ничего не нужно, работает из браузера телефона. На AI Core голос и работа с документами идут по очереди, на AI Power распознавание и синтез уезжают на вторую карту и работают параллельно. Почему кнопка микрофона упирается в сертификат — разбор в хабе.
  • faster-whisper large-v3-turbo
  • Синтез речи на XTTS
  • PWA поверх HTTPS, без установки
04
Сеть и периметр

Периметр закрыт
на уровне конфигурации

Caddy отдаёт HTTPS с локальным удостоверяющим центром, WireGuard держит защищённые каналы, okb-firewall фильтрует IPv4 и IPv6. Выход в интернет — только через собственный узел SearXNG: без рекламы, без профилирования и без утечки формулировок ваших запросов в чужие поисковики. Отдельно проверяем, не может ли входящий документ отдать команду ассистенту: на четырёх типовых закладках ни одна не сработала — как проверяли.
  • Caddy · HTTPS с локальным УЦ
  • WireGuard и okb-firewall
  • Поиск через собственный узел SearXNG
Ядро LLM
05
Данные и восстановление

Данные переживают и диск, и оператора

ZFS на зеркале из двух NVMe: тихая порча данных обнаруживается по контрольным суммам и чинится со второй копии. Ежедневный бэкап в 03:30 через systemd — снимки базы и векторных коллекций, семь поколений копий. Копии проверяются разворачиванием: учебное восстановление в изолированный экземпляр, со сверкой и проверкой, что поиск по восстановленным данным работает, проводится после каждого изменения схемы хранения и перед каждой поставкой — как прошло учение.
  • ZFS на зеркале: контрольные суммы и самовосстановление
  • Бэкап ежедневно в 03:30, семь копий
  • Учебное восстановление из копии