01
Ядро и модели

Языковые модели работают на вашей видеокарте

Ollama держит модели, основная — Gemma 3 на 12 миллиардов параметров с окном 16К, быстрая — Gemma 4 e4b для коротких задач. В резерве Gemma 2, Qwen 2.5 и Llama 3: переключение без переустановки. Инференс на 100% идёт на GPU, процессор остаётся свободным для остальных сервисов.
  • Gemma 3 12B, окно контекста 16К
  • Резервные модели без переустановки
  • Инференс полностью на видеокарте
02
База знаний

Гибридный поиск по документам со ссылкой на источник

Векторное хранилище Qdrant, эмбеддинги BAAI bge-m3 на 1024 измерения, переранжирование bge-reranker-v2-m3. Гибрид вектора и BM25 с весом 0.5 — находит и по смыслу, и по точной формулировке. Извлечение через Docling и собственный слой okb docling-shim: умный OCR и нарезка по разделам, а не вслепую по числу символов.
  • Qdrant и BM25, вес 0.5
  • OCR включается только там, где нужен
  • В ответе указан файл и раздел
03
Голосовой контур

Голосом с телефона, внутри своей сети

Распознавание — okb-stt на faster-whisper large-v3-turbo. Синтез — openedai-speech на XTTS. Доступ через веб-приложение PWA поверх HTTPS с локальным удостоверяющим центром: ставить ничего не нужно, работает из браузера телефона. Одной карты хватает, чтобы держать модель, распознавание и синтез одновременно для небольшой рабочей группы.
  • faster-whisper large-v3-turbo
  • Синтез речи на XTTS
  • PWA поверх HTTPS, без установки
04
Сеть и периметр

Периметр закрыт
на уровне конфигурации

Caddy отдаёт HTTPS с локальным удостоверяющим центром, WireGuard держит защищённые каналы, okb-firewall фильтрует IPv4 и IPv6. Выход в интернет — только через собственный узел SearXNG: без рекламы, без профилирования и без утечки формулировок ваших запросов в чужие поисковики.
  • Caddy 2.10 · HTTPS с локальным УЦ
  • WireGuard и okb-firewall
  • Поиск через собственный узел SearXNG
Ядро LLM
05
Данные и восстановление

Данные переживают и диск, и оператора

Локальное хранение на ZFS: защита от тихой порчи данных и самовосстановление контрольных сумм. Ежедневный бэкап в 03:30 через systemd — снимки базы и векторных коллекций, семь поколений копий. В контуре стоит Kaspersky Endpoint Security для Linux: для службы безопасности заказчика это обычно решающий аргумент.
  • ZFS: контрольные суммы и самовосстановление
  • Бэкап ежедневно в 03:30, семь копий
  • Kaspersky Endpoint Security для Linux