0. Nikolo17 34 15.05.19 14:00 Сейчас в теме

Подсистема для выгрузки, быстрого поиска и анализа журнала регистрации 1С в Elasticsearch

Elasticsearch - это opensource решение для очень быстрого поиска данных в больших массивах информации.
Использование этого решения позволит решить проблемы с поиском и анализом больших объемов информации журнала регистрации.
Протестировано на платформах начиная с 8.3.10.2580.

Перейти к публикации

Комментарии
Избранное Подписка Сортировка: Древо
1. pbabincev 112 15.05.19 14:49 Сейчас в теме
2. GreenDragon 15.05.19 15:00 Сейчас в теме
С какой версией elastic общается подсистема?
4. Nikolo17 34 16.05.19 07:40 Сейчас в теме
(2) Должна работать начиная с 6 версии, на текущий момент обновлялись до версии 6.7.
6. GreenDragon 16.05.19 07:46 Сейчас в теме
(4) Ковыряюсь с 7. Много различий с 6?
Предыдущая версия подобной подсистемы работала с 5 и отличий был вагон
7. Nikolo17 34 16.05.19 07:58 Сейчас в теме
(6) Да API 6 версии сильно отличается от 5, тоже сначала с 5 работали. На 7 версию в планах переходить, по описанию существенных изменений в API не увидел.
8. GreenDragon 16.05.19 08:01 Сейчас в теме
(7) Спасибо за информацию. В таком случае после сегодняшнего хакатона будем качать и пробовать.
3. metmetmet 72 15.05.19 19:47 Сейчас в теме
В статье не описано, но обычно интересует следующее:
Как реализована выгрузка: один раз выгружаются данные и анализируются, или периодически выгружаются только новые данные или ещё как-то?
Есть зависимость от формата ЖР?
5. Nikolo17 34 16.05.19 07:44 Сейчас в теме
(3) Выгружаются данные за промежуток времени один раз, далее подгружаются актуальные данные с настаиваемой периодичностью. От формата жр зависимости нет.
9. user612295_death4321 19.05.19 19:07 Сейчас в теме
Не анализировали случайно сколько места будет потреблять 1 день журнала регистрации? Например если сравнить занимаемый объем за день ldf / ldg файла и залитый этот же день в Elasticsearch ?

Ищу какое нибудь решение которое позволит загружать большие журналы регистрации (цифры идут около 25 ГБ в сутки). Когда то рассматривал варианты Elasticsearch или ClickHouse от яндекса, но дальше рассматривания дело не дошло)

Или может кто-то может порекдомендовать решение кто и как складирует монструозные объемы логов ?
10. Nikolo17 34 20.05.19 12:42 Сейчас в теме
(9) У нас выбор был между InfluxDB и Elastic. Остановились на втором варианте, поскольку был какой то опыт работы с ним. Размеры прогнозировать сложно, все зависит от количества записей в журнале, и размеров строк в записях. Если отталкиваться от размеров журнала в месяц то в Elastic он занимает в 2-3 раза больше места. Но опять же есть настройки самого Elastic которые могут сокращать или увеличивать этот размер, зависит от того что важнее нагрузка на железо или занимаемое место.
11. Semyonat 21.05.19 11:27 Сейчас в теме
Подскажите, а как вы решаете вопрос с идентификацией объектов. Для примера какой пользователь проводил тот или иной документ? Может у вас есть отдельные таблички с идентификаторами, и вы их соединяете или как некоторые выгружаю в индекс сразу с понятным названием?
Оставьте свое сообщение
Новые вопросы с вознаграждением
Автор темы объявил вознаграждение за найденный ответ, его получит тот, кто первый поможет автору.

Вакансии

Автор новостных обзоров на тему 1С и бухучета
Санкт-Петербург
По совместительству

Программист 1С
Санкт-Петербург
зарплата до 120 000 руб.
Полный день

Работа от Инфостарт
Санкт-Петербург
Временный (на проект)

Программист 1С
Новосибирск
зарплата от 80 000 руб.
Полный день

Руководитель отдела внедрения 1С
Новосибирск
зарплата от 60 000 руб. до 160 000 руб.
Полный день