В результате выполнения шагов из данного руководства ожидается, что:
- Если все настроено корректно, и верно прописаны DNS-записи, при переходе в браузере на video.dion.vc пользователь из локальной сети попадает на гибрид — локальный экземпляр видео-портала.
- В нём недоступны облачные записи и файлы.
- Можно полноценно пользоваться порталом — работают все разделы, ссылки, можно загрузить видеофайл.
- При создании записи в гибридной конференции, она отображается на портале.
¶ Общая информация
|
Архитектура DION предусматривает возможность переноса части компонентов, отвечающих за обработку медиатрафика и создание/хранение записей конференции, на площадку организации. Такие компоненты называются гибридными узлами (hybrid node). Наличие гибридных узлов позволяет проводить конференции в защищенном контуре, не передавая медиатрафик в облако DION.
В гибридном сценарии связь гибридных узлов с облаком DION является обязательным условием для работы конференций, так как в облако передаются сигнальная информация и управляющие команды.
Все гибридные компоненты, доступные к установке, можно разделить на группы по функциональному назначению:
- служебные компоненты
- проведение конференций внутри контура
- создание записей конференций внутри контура
- видеопортал DION Video с хранением видео внутри контура
- SIP-звонки внутри контура
При развёртывании DION Video в гибридном варианте используется локальный экземпляр видеопортала. Все загружаемые туда видеофайлы хранятся в локальном S3-хранилище. Если развернуты сервисы записи, на портале также доступны записи гибридных конференций. На облачном видеопортале записи гибридных конференций никогда не отображаются.
В Административной панели DION можно включить параметр, позволяющий отображать весь контент, доступный на облачном видеопортале, в локальной версии Dion.Video.
Для направления локальных пользователей на локальный видеопортал, необходимо прописать соответствующие имена на корпоративном DNS-сервере.
В гибридном варианте реализации видеопортала все сопроводительные данные к видеофайлам, каналам и плейлистам, такие как название, описание, комментарии, таймкоды, хранятся в базе данных на стороне облачного DION в зашифрованном виде. Перед отправкой в облако вся информация шифруется ключом, который генерируется на основе информации из KMS (на данный момент поддерживается сервис HashiCorp Vault) на стороне компании. Все пользовательские запросы в облако могут быть перенаправлены на DLP компании.
Видеофайлы, загруженные через гибридный видеопортал, хранятся в локальном S3.
| На данный момент доступ к гибридному видео порталу, включая просмотр и загрузку новых видео, возможен только внутри корпоративного контурa. Для доступа извне необходимо использовать корпоративную сеть или VPN с корректным разрешением имен гибридного видеопортала. При доступе к видеопорталу извне, будут доступны только облачные записи. |
Схема взаимодействия компонентов представлена ниже:
_-_доступ_к_роликам_из_cloud_(1).jpg)
| Категория | Наименование компонента | Описание компонента |
|---|---|---|
| Видео | HLS Delivery, HLS Converter, Upload Companion, API Video Gateway, Dmz Video Gateway | Компоненты, отвечающие за создание, конвертацию и скачивание видео в формате HLS для платформы DION.Видео, а также передачу управляющих команд от DION.Видео в облако DION. |
| Видео | DLP adapter | Опциональный компонент, отвечающий за отправку метаданных видеозаписей на проверку в DLP. |
¶ Подготовительные действия
Прежде, чем перейти к редактированию конфигураций, убедитесь в том, что выполнены следующие шаги:
1. Изучите требования к ресурсам гибридных узлов DION для вашей инсталляции.
2. Разверните необходимое количество виртуальных машин/серверов и установите на них операционную систему Ubuntu 20.04.6 LTS.
3. Установите и запустите сервисы конференций, записи, SIP, если необходимо, по инструкции, доступной на данной странице.
4. Проверьте, что открыты все необходимые сетевые доступы.
5. Разверните S3-хранилище и получите учетные данные для доступа.
| В рамках пилотной инсталляции можно воспользоваться тестовым образом S3 Minio, предоставленным DION. Для этого в явном виде сообщите вашей аккаунт-команде о намерении использовать тестовый образ. |
| Обратите внимание, что на данный момент установка DION VIDEO поддерживается только на Ubuntu 20.04.6 LTS. |
¶ Таблица DNS-имен
Для работы сервисов DION.Video в гибридном режиме необходимо прописать ряд записей на локальном DNS-сервере:
| URL | Сервер назначения |
|---|---|
| api-video.dion.vc | API Video Gateway |
| upload-companion.dion.vc | Upload Companion |
| hls-delivery.dion.vc | HLS-delivery |
Сервер Dmz Video Gateway, расположенный в DMZ, должен разрешать все имена *.dion.vc в действительные адреса DION.
¶ Сертификаты
На вашем доверенном УЦ необходимо выпустить ключ и серверный сертификат со следующими именами:
- CN:
- video.dion.vc
- Alternames:
- api-video.dion.vc
- upload-companion.dion.vc
- hls-delivery.dion.vc
Формат: crt, key
Этот сертификат должен быть доверенным для всех устройств пользователей DION.
Также необходим CA-сертификат в формате pem.
¶ Получение образов компонентов DION
Образы будут поставлены в виде deb- (rpm-) пакетов и архивов .tar.gz в следующем составе:
- Сервис DMZ Video Proxy:
- dmz-video-proxy.deb
- Сервис HLS Converter:
- hls-converter.deb
- Сервис HLS Delivery:
- hls-delivery.deb
- Сервисы API Video Gateway + Upload Companion + DLP Adapter:
- api-video-gateway.deb
- upload-companion.deb
- dlp-adapter.deb
- frontend-video-app.tar.gz
- frontend-video-player.tar.gz
| Допустимо разнести сервисы API Video Gateway, Upload Companion и DLP Adapter по отдельным машинам. В целях экономии ресурсов рекомендуем ставить их вместе. |
- Текстовый файл:
- org_id.txt
- Сертификаты DION:
- сертификат и ключ для вашей организации (crt и key)
- сертификат удостоверяющего центра (pem)
- Если вы планируете инсталляцию с использованием демо-образа S3, вам также потребуется архив:
- minio_demo.zip (содержит три файла: readme, docker.image, yml)
¶ Установка демо-образа хранилища S3 для записей
|
Для пилотной инсталляции вы можете запросить демо-образ S3 у вашей аккаунт-команды. Рекомендуем установить minio на отдельной VM. Для установки на машине требуются docker и docker-compose.
| Демо-образ не подходит для продуктивной инсталляции, так как не поддерживает отказоустойчивость. |
¶ Настройка S3 для доступа к облачным видео
По умолчанию контент из облачного DION.Video недоступен в гибриде. Чтобы разрешить пользователям гибрида просматривать облачный контент на локальном портале, выполните следующие действия:
- В Административной панели DION перейдите в Настройки организации → Видеохостинг.
- Включите параметр Предоставление доступа к видео в клауде из гибрида.
- В настройках локального S3 добавьте правило на срок хранения файлов не более 1 дня для префикса cache.
¶ Развёртывание демо-образа S3
Чтобы развернуть демо-образ, выполните следующее:
1. Распакуйте полученный архив на виртуальную машину.
2. Установите docker и docker-compose. Рекомендуем воспользоваться официальной инструкцией на сайте Docker.
3. В файле docker-compose.yml посмотрите и поменяйте при необходимости логин и пароль для доступа к minio. Эти учетные данные используются при входе в minio через веб-интерфейс.
environment:
MINIO_ROOT_USER: {имя пользователя}
MINIO_ROOT_PASSWORD: {пароль}4. Выполните команду
docker load -i {/путь/minio-release-2023-01-31.docker.image}5. Перейдите в папку, где лежит файл docker-compose.yml и выполните команду:
docker-compose up -d6. Перейдите в веб-консоль minio по адресу http://{IP выбранной VM}:9000.
7. В веб-консоли создайте новый bucket и пару access-key и secret key. Сохраните имя бакета и ключи.
| Сохраните ключи сразу же в процессе создания, позже посмотреть их невозможно. |
Если произошла перезагрузка и демо-S3 не стартовал автоматически, выполните инструкции ниже, чтобы запустить сервис заново.
Перейдите в папку, где лежит файл docker-compose.yml и выполните команду:
docker compose up -dлибо (для docker-compose v1):
docker-compose up -d8. Перейдите в раздел Bucket и откройте созданный бакет.
9. Перейдите в настройки Lifecycle.
10. Создайте новое правило по образцу (это позволит не забивать кэш S3 копиями облачного контента).
¶ Установка DION.VIDEO
| Примеры в данном разделе приведены для ОС Ubuntu. |
¶ Подготовка
| На период установки гибридных нод необходимо наличие доступа в репозиторий операционной системы для установки необходимых зависимостей. При отсутствии доступа к публичному репозиторию некоторые пакеты не будут установлены корректно. |
1. Перенесите пакеты и архивы на соответствующие серверы/виртуальные машины.
2. Перенесите два комплекта сертификатов (выданные командой DION и сгенерированные вашим УЦ) на каждый из серверов/виртуальных машин.
|
¶ Установка и настройка nginx
|
nginx должен быть установлен на всех виртуальных машинах гибридного DION-Video, на которых развернуты сервисы:
Необходимо повторить шаги ниже на каждой виртуальной машине. Если все сервисы развернуты на одной машине, установка проводится на ней. |
|
Чтобы установить nginx:
1. Выполните команду (это необходимо сделать ДО установки сервисов DION):
apt update && apt install nginx2. Удалите стандартный конфигурационный файл:
rm /etc/nginx/sites-enabled/default3. Перезапустите nginx:
systemctl restart nginx4. Убедитесь, что сервис запущен без ошибок:
systemctl status nginxЕсли сервис не запускается, обратитесь к вашей аккаунт-команде за помощью в настройке.
¶ Сервис DMZ Video Proxy
1. Установите пакет dmz-video-proxy:
sudo apt install -f /полный путь к пакету/имя файла2. Откройте на редактирование конфигурационный файл /etc/dion/dmz-video-proxy.yml:
nano /etc/dion/dmz-video-proxy.yml3. Заполните конфигурационный файл в соответствии с комментариями в файле.
4. Сохраните изменения в файле: ctrl+O ctrl+X в Nano.
5. Запустите сервис:
systemctl restart dion-dmz-video-proxy6. Убедитесь, что сервис запущен без ошибок:
systemctl status dion-dmz-video-proxy
¶ Cервис API Video Gateway
| На машине необходим nginx. См раздел Установка и настройка nginx. |
1. Установите пакет dion-api-video-gateway:
sudo apt install -f /полный путь к пакету/имя файла
¶ Конфигурация nginx
- Откройте на редактирование конфигурационный файл /etc/nginx/conf.d/nginx_api_gateway_frontend.conf:
nano /etc/nginx/conf.d/nginx_api_gateway_frontend.conf2. Укажите в переменных ssl_certificate и ssl_certificate_key через пробел полный путь к файлам key и crt, которые вы получили через ваш удостоверяющий центр (УЦ). В конце строки сохраните точку с запятой.
| Отредактируйте конфигурационный файл до конца, сертификаты нужно указать несколько раз! |
¶ Конфигурация API Video Gateway
1. Откройте на редактирование конфигурационный файл /etc/dion/api-video-gateway.yml:
nano /etc/dion/api-video-gateway.yml Следуйте комментариям в файле и инструкции ниже.
|
2. Заполните конфигурационный файл согласно комментариям в файле. Ниже приведена дополнительная информация по заполнению отдельных переменных.
- (Опционально) В секции
# Настройки сервера grpcотредактируйте параметрmutual_tls:
Если необходимо включить взаимную межсервисную аутентификацию mutual TLS для взаимодействия сервисов Dion.Video между собой, внесите изменения:
a. Для переменной enabled укажите true,
b. Для переменной whitelist_cn укажите значение полей CN из сертификата, выданного вашим УЦ, в виде списка.
Например:
mutual_tls:
enabled: true
whitelist_cn:
- my_company.ru
- my_new_company.org
- В секции
# Настройки сервера→# Настройки сервера grpc→# Указываются локальные адреса нод dmz-video-proxyукажите локальные адреса узлов dmz-video-proxy в виде списка в переменнойaddresses, через двоеточие укажите порт 9764.
| На данный момент не поддерживается более одного экземпляра dmz-video-proxy. Поддержка планируется в Q3 2025. |
Например:
proxy_pass:
addresses:
- 192.168.0.1:9764
- Если в вашей организации используется Hashicorp Vault и вы хотите хранить в нем ключи для шифрования данных, которые передаются в облако DION, а также для шифрования видеозаписей при хранении в S3, внесите изменения в секции
# Настройки Hashicorp Vault.
В противном случае секреты для генерации ключей хранятся в конфигурационном файла Api Video Gateway.
- Если в вашей организации НЕ используется Hashicorp Vault, внесите изменения в секции
# Шифрование данных в БД.
Для получения значений key и iv можно воспользоваться криптографической библиотекой OpenSSL, используя следующую команду:
openssl enc -aes-256-cbc -k secret -P -md sha1 -nosalt | grep -E '(key\=[[:alnum:]]{64})|(iv \=[[:alnum:]]{16})' -o3. Сохраните изменения в файле: ctrl+O ctrl+X в Nano.
4. Запустите сервис:
systemctl restart dion-api-video-gateway5. Убедитесь, что сервис запущен без ошибок:
systemctl status dion-api-video-gateway6. Дополнительно проверьте логи на отсутствие ошибок:
journalctl -u dion-api-video-gateway -n 20Если сервис не запускается, обратитесь к вашей аккаунт-команде за помощью в настройке.
¶ Frontend для API Video Gateway
|
На подготовительном этапе на эту машину должны были быть перенесены два архива:
|
1. Перейдите в консоль виртуальной машины, на которой установлен сервис API Video Gateway.
2. Создайте каталог /app/dion/frontend/apps/player:
mkdir -p /app/dion/frontend/apps/player2. Распакуйте архив frontend-video-player.tar.gz в каталог /app/dion/frontend/apps/player/:
tar -xzvf /<путь_к_архиву> -C /app/dion/frontend/apps/player
|
Данная команда не всегда актуальна и приведена для примера. Вы можете использовать любую другую утилиту на ваше усмотрение или сначала распаковать архив, а затем разместить его на машине. |
Для проверки выполните команду ls /app/dion/frontend/apps/player и сравните вывод:
ls /app/dion/frontend/apps/player/
@mf-types __types_index.json index.html remoteEntry.js remoteEntry.js.gz static version.json3. Распакуйте архив frontend-video-app.tar.gz в каталог /app/dion/frontend/:
tar -xzvf /путь_к_вашему_архиву -C /app/dion/frontend/Для проверки выполните команду и сравните вывод:
ls /app/dion/frontend/
apps favicon.png fonts icons images index.html mail sounds static sw.js version.json
¶ Cервис Upload Companion
|
1. Установите пакет ImageMagick:
| В настоящее время Upload Companion совместим с версией пакета ImageMagick в диапазоне от 6.9.1-7 до 6.9.9-35. |
apt install imagemagick2. Установите пакет dion-upload-companion:
sudo apt install -f /полный путь к пакету/имя файла
¶ Конфигурация nginix
- Откройте на редактирование конфигурационный файл /etc/nginx/conf.d/nginx_upload_companion.conf:
nano /etc/nginx/conf.d/nginx_upload_companion.conf2. Укажите в переменных ssl_certificate и ssl_certificate_key через пробел полный путь к файлам key и crt, которыe вы получили через ваш удостоверяющий центр (УЦ). В конце строки необходимо сохранить точку с запятой.
¶ Конфигурация Upload Companion
1. Откройте на редактирование конфигурационный файл /etc/dion/upload-companion.yml:
sudo nano /etc/dion/upload-companion.yml Следуйте комментариям в файле и инструкции ниже.
|
2. Заполните конфигурационный файл согласно комментариям в файле. Ниже приведена дополнительная информация по заполнению отдельных переменных.
- В секции
# Настройки подключения к S3укажите IP-адрес или FQDN вашего S3-хранилища и порт доступа в переменнойapi_url.
Например:
api_url: 192.168.1.1:9000 или
api_url: my_s3_storage.company.ru:9000
- Для переменной
use_sslукажитеtrue, если ваш S3 поддерживает SSL и требуется использовать SSL при подключении. - Укажите
ACCESS_KEYиSECRET_KEYдля доступа к вашему S3 без кавычек через пробел:
access_key: {access_key}
secret_key: {secret}
- Укажите имя бакета, в котором будут храниться загруженные видеозаписи. Бакет должен быть создан заранее.
Например:
bucket_name: video3. Сохраните изменения в файле: ctrl+O ctrl+X в Nano.
4. Запустите сервис:
systemctl restart dion-upload-companion5. Убедитесь, что сервис запущен без ошибок:
systemctl status dion-upload-companion6. Дополнительно проверьте логи на отсутствие ошибок:
journalctl -u dion-upload-companion -n 20Если сервис не запускается, обратитесь к вашей аккаунт-команде за помощью в настройке.
¶ Cервис HLS Delivery
| На машине необходим nginx. См раздел Установка и настройка nginx. |
1. Установите пакет dion-hls-delivery:
sudo apt install -f /<полный путь к пакету>/<имя файла>
¶ Конфигурация nginx
- Откройте на редактирование конфигурационный файл /etc/nginx/conf.d/nginx_hls_delivery.conf:
nano /etc/nginx/conf.d/nginx_hls_delivery.conf2. Укажите в переменных ssl_certificate и ssl_certificate_key через пробел полный путь к файлам key и crt, которыe вы получили через ваш удостоверяющий центр (УЦ). В конце строки сохраните точку с запятой.
¶ Конфигурация HLS Delivery
- Откройте на редактирование конфигурационный файл /etc/dion/hls-delivery.yml
sudo nano /etc/dion/hls-delivery.yml Следуйте комментариям в файле и инструкции ниже.
|
2. Заполните конфигурационный файл согласно комментариям в файле. Ниже приведена дополнительная информация по заполнению отдельных переменных.
- В секции
# Подключение к hls-delivery в клаудепосле строкиtime_between_retry: 500msдобавьте следующую строку:
grpc_enabled: true
- В секции
# Настройки подключения к S3для каждого из двух блоков (dion-conferences,dion-video) укажите значения переменных:api_url— IP-адрес или FQDN вашего S3 хранилища и порт доступа,use_ssl—true, если ваш S3 поддерживает SSL и требуется использовать SSL при подключении,access_key— ACCESS_KEY для доступа к вашему S3 без кавычек через пробел,secret_key— SECRET_KEY для доступа к вашему S3 без кавычек через пробел,bucket_name— отличается в каждом из блоков.
В блоке dion-conferences укажите имя бакета, в котором хранятся записи конференций. Бакет должен быть создан заранее и прописан в конфигурационном файле сервиса записи recorder.conf.
Например:
bucket_name: records В блоке dion-video укажите имя бакета, в котором будут храниться загруженные видеозаписи. Бакет должен быть создан заранее.
Например:
bucket_name: video3. Сохраните изменения в файле: ctrl+O ctrl+X в Nano.
4. Перезапустите сервис:
systemctl restart dion-hls-delivery5. Убедитесь, что сервис запущен без ошибок:
systemctl status dion-hls-delivery6. Дополнительно проверьте логи на отсутствие ошибок:
journalctl -u dion-hls-delivery -n 20Если сервис не запускается, обратитесь к вашей аккаунт-команде за помощью в настройке.
¶ Cервис HLS Converter
1. Установите пакеты ffmpeg и ImageMagick.
| В настоящее время Upload Companion совместим с версией пакета ImageMagick в диапазоне от 6.9.1-7 до 6.9.9-35. |
apt install ffmpeg
apt install imagemagick2. Установите пакет dion-hls-converter:
sudo apt install -f /полный путь к пакету/имя файла3. Откройте на редактирование конфигурационный файл /etc/dion/hls-converter.yml:
sudo nano /etc/dion/hls-converter.yml Следуйте комментариям в файле и инструкции ниже.
|
4. Заполните конфигурационный файл согласно комментариям в файле. Ниже приведена дополнительная информация по заполнению отдельных переменных.
- В секции
# Настройки клиентских подключений→# Настройки клиентского подключения gRPC→# подключение к DION KMSукажите в переменнойaddressesадрес узла KMS, если имеется:
addresses:
- 192.168.0.1:9135
- В секции
# Настройки подключения к S3для каждого из трёх блоков (dion-conferences,dion-video,speech-to-text) укажите значения переменных:api_url— IP-адрес или FQDN вашего S3 хранилища и порт доступа,use_ssl—true, если ваш S3 поддерживает SSL и требуется использовать SSL при подключении,access_key— ACCESS_KEY для доступа к вашему S3 без кавычек через пробел,secret_key— SECRET_KEY для доступа к вашему S3 без кавычек через пробел,bucket_name— отличается в каждом из блоков.
В блоке dion-conferences укажите имя бакета, в котором хранятся записи конференций. Бакет должен быть создан заранее и прописан в конфигурационном файле сервиса записи recorder.conf.
Например:
bucket_name: records В блоке dion-video укажите имя бакета, в котором будут храниться загруженные видеозаписи. Бакет должен быть создан заранее.
Например:
bucket_name: videoВ блоке speech-to-text укажите имя любого существующего бакета, он пока не будет использоваться.
Например:
bucket_name: records5. Сохраните изменения в файле: ctrl+O ctrl+X в Nano.
6. Перезапустите сервис:
systemctl restart dion-hls-converter7. Убедитесь, что сервис запущен без ошибок:
systemctl status dion-hls-converter8. Дополнительно следует проверить логи на отсутствие ошибок:
journalctl -u dion-hls-converter -n 20Если сервис не запускается, обратитесь к вашей аккаунт-команде за помощью в настройке.
¶ Cервис DLP Adapter
1. Установите пакет dion-dlp-adapter:
sudo apt install -f /полный путь к пакету/имя файла2. Откройте на редактирование конфигурационный файл /etc/dion/dlp-adapter.yml:
sudo nano /etc/dion/dlp-adapter.ymlsudo nano /etc/dion/dlp-adapter.yml Следуйте комментариям в файле и инструкции ниже.
|
3. В секции # настройки подключения к DLP выполните следующие действия:
- В переменной
hostукажите локальный адрес вашего DLP. - В переменной
portукажите порт для доступа к DLP. - В переменных
full_pathиfast_pathукажите пути для полной и быстрой проверки соответственно.
4. В секции # настройки подключения к DLP → # заголовки запроса к DLP добавьте/отредактируйте заголовки запроса к вашему DLP.
5. В секции # Настройка gRPC сервера укажите в переменных ниже через пробел полный путь к файлам pem, key и crt, которые вы получили от команды DION:
ca: <путь_к_сертификату_DION>.pemcert: <путь_к_сертификату_DION>.crtkey: <путь_к_ключу_DION>.key
6. Сохраните изменения в файле: ctrl+O ctrl+X в Nano.
7. Запустите сервис:
systemctl start dion-dlp-adapter8. Убедитесь, что сервис запущен без ошибок:
systemctl status dion-dlp-adapter9. Дополнительно проверьте логи на отсутствие ошибок:
tail -f /var/log/syslog | grep dion-dlp-adapterили
journalctl -u dion-hls-converter -n 20Если сервис не запускается, обратитесь к вашей аккаунт-команде за помощью в настройке.
¶ Доступ к “облачным” видеозаписям
Вы можете просматривать “облачные” видеозаписи в “гибридном” видеопортале. Для это включите соответствующий параметр в Панели администрирования и сконфигурируйте службу hls-delivery:
1. На сервере с установленным сервисом hls-delivery откройте конфигурационный файл /etc/dion/ hls-delivery.yml:
2. Для переменной delivery_mode измените значение с redirect на proxy:
delivery_mode: proxy3. Для переменной client.grpc.hls_delivery.grpc_enabled измените значение с false на true:
client:
grpc:
hls_delivery:
grpc_enabled: true
| В более ранних версиях сервиса hls_delivery эта переменная может отсутствовать. В таком случае либо обновите пакет до актуальной версии (рекомендуется), либо впишите переменную самостоятельно (работоспособность не гарантирована). |
4. Перезапустите службу:
sudo systemctl restart dion-hls-delivery.serviceВ результате в “гибридном” видеопортале ваши видео из облака будут отображаться с пометкой "Cloud":
¶ Устранение неисправностей
- Ошибки в логах сервиса.
- В случае возникновения ошибок в логах сервиса, обратитесь к вашей аккаунт-команде за помощью в настройке.
- Сервис не запускается.
- Некорректно заполнен конфигурационный файл сервиса (некорректно указана “табуляция”, указаны некорректные значения для переменных);
- Некорректно настроены сетевые доступы для сервисов;
- Не распакованы образы Frontend из архивов .tar.gz.