Подсистема для выгрузки, быстрого поиска и анализа журнала регистрации 1С в Elasticsearch
Комментарии
В избранное
Подписаться на ответы
Сортировка:
Древо развёрнутое
Свернуть все
В статье не описано, но обычно интересует следующее:
Как реализована выгрузка: один раз выгружаются данные и анализируются, или периодически выгружаются только новые данные или ещё как-то?
Есть зависимость от формата ЖР?
Как реализована выгрузка: один раз выгружаются данные и анализируются, или периодически выгружаются только новые данные или ещё как-то?
Есть зависимость от формата ЖР?
Не анализировали случайно сколько места будет потреблять 1 день журнала регистрации? Например если сравнить занимаемый объем за день ldf / ldg файла и залитый этот же день в Elasticsearch ?
Ищу какое нибудь решение которое позволит загружать большие журналы регистрации (цифры идут около 25 ГБ в сутки). Когда то рассматривал варианты Elasticsearch или ClickHouse от яндекса, но дальше рассматривания дело не дошло)
Или может кто-то может порекдомендовать решение кто и как складирует монструозные объемы логов ?
Ищу какое нибудь решение которое позволит загружать большие журналы регистрации (цифры идут около 25 ГБ в сутки). Когда то рассматривал варианты Elasticsearch или ClickHouse от яндекса, но дальше рассматривания дело не дошло)
Или может кто-то может порекдомендовать решение кто и как складирует монструозные объемы логов ?
(9) У нас выбор был между InfluxDB и Elastic. Остановились на втором варианте, поскольку был какой то опыт работы с ним. Размеры прогнозировать сложно, все зависит от количества записей в журнале, и размеров строк в записях. Если отталкиваться от размеров журнала в месяц то в Elastic он занимает в 2-3 раза больше места. Но опять же есть настройки самого Elastic которые могут сокращать или увеличивать этот размер, зависит от того что важнее нагрузка на железо или занимаемое место.
Подскажите, а как вы решаете вопрос с идентификацией объектов. Для примера какой пользователь проводил тот или иной документ? Может у вас есть отдельные таблички с идентификаторами, и вы их соединяете или как некоторые выгружаю в индекс сразу с понятным названием?
(11) По умолчанию выгружается представление объектов (для документа по умолчанию дата и номер) и вполне можно по нему найти все операции. Имя пользователя и его идентификатор так же выгружаются по умолчанию, если необходимо то есть возможность добавлять поля на стороне 1с при выгрузке в elastic (программно), например поля конкретных объектов. При загрузке elastic автоматически добавляет необходимые поля в структуру, так же есть возможность самому редактировать структуру полей через rest api, но это в данной подсистеме не реализовано.