Ускорение типовой 1С

09.12.19

База данных - Журнал регистрации

Упрощаем журнал регистрации.

Скачать файлы

Наименование Файл Версия Размер
Ускорение типовой 1С:
.epf 6,88Kb
6
.epf 6,88Kb 6 Скачать

Если количество пользователей программы растет, то рано или поздно приходится отключать подробный журнал регистрации.

Потому что нагруженная система не может зависеть от последовательной записи в текстовый файл. Потому что записи журнала регистрации не информативны. Например, при изменении цен в журнал регистрации для каждой строки регистра добавляется запись. 

Другие компании тоже отключают подробный журнал регистрации.

У нас порядка 200 пользователей, отключение журнала улучшило глобальный APDEX на 10%. Это самое заметное изменение с начала наблюдений. 

Что же нужно сделать прежде, чем зайти темной ночью в конфигуратор и нажать Администрирование – Настройка журнала регистрации ?


Чтобы сохранять информацию о записи - сделаем подписки при записи

  • ПриЗаписиРегистрСведенийНаборЗаписейВместоЖурналаРегистрации()
  • ПриЗаписиСправочникаВместоЖурналаРегистрации()
  • ПриЗаписиДокументаВместоЖурналаРегистрации()

Запись в СУБД происходит гораздо быстрее, чем в журнал. Тексты процедур прилагаются в модуле обработки, их нужно копировать в общий модуль вашей программы, создать подписки.

Для исключения отдельных объектов из мониторинга, применяем функцию "ИсключаемыеОбъекты()". Ее можно поместить в тот же общий модуль вашей программы, или повторно-используемый модуль, если вы будете делать в функции запрос к данным.

Список исключаемых объектов обязательно должен содержать некоторые системные объекты. Кроме этого, можно исключить регистры, которые изменяются документами и регистры, которые заполняются автоматически. Их удобно находить по большому количеству записей, пример в модуле формы обработки, процедура ПриСозданииНаСервере(), смотрите в отладчике.

В программе должны быть включены замеры времени (APDEX, БСП). Все фрагменты кода тестированы на УТ 11.4.9.82, платформа 8.3.12.1714. Ответственность автора не превышает 4 SM. Техподдержка в комментариях.

отключить журнал регистрации

См. также

Журнал изменений с восстановлением состояния ссылочных объектов и архивацией по HTTP / COM (расширение + конфигурация, 8.3.14+, ЛЮБАЯ конфигурация)

Архивирование (backup) Журнал регистрации Поиск данных Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 1С:Управление торговлей 11 Платные (руб)

База данных «сама» меняет данные в документах/справочниках? Тогда данный журнал изменений для Вас! Практически не влияет на скорость записи объектов за счет быстрого алгоритма! Скорость работы почти в 2 раза выше типового механизма "История изменений"! Позволяет следить за изменениями и удалением в любых ссылочных объектах конфигурации, с возможностью архивации по HTTP(!) или COM, и сверткой данных. А так же, может восстановить состояние реквизитов (значения) до момента изменения или удаления объекта из базы. Есть ДЕМО-база где можно самостоятельно протестировать часть функционала! Работает на любых платформах выше 8.3.14+ и любых конфигурациях! Версия 3.1 от 24.08.2023!

19200 руб.

15.05.2017    42518    10    24    

38

Версионирование объектов для Альфа-авто, ред 4 и 5.

Оптовая торговля Розничная торговля Журнал регистрации Платформа 1С v8.3 Конфигурации 1cv8 Автомобили, автосервисы Управленческий учет Платные (руб)

Подсистема версионирования объектов для конфигураций Рарус: Альфа-авто на базе типовой подсистемы от 1С. Позволяет хранить историю изменений документов и справочников, кто, что, когда и какие данные изменял, а так же вернуться к предыдущим версиям объекта.

4800 руб.

03.09.2016    42252    33    24    

37

LogManager - Внешний журнал регистрации в SQL

Журнал регистрации Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

Журнал регистрации платформы 1С в SQL. Общая база хранения всех журналов. Через com-подключение регламентным заданием периодически догружает журналы регистраций из рабочих баз. Предоставляет настраиваемый доступ к журналам по правам подразделений. Формирует отчеты по пользователям и данным.

10000 руб.

23.05.2014    55469    52    16    

47

Мониторинг баз и серверов 1С

Журнал регистрации Мониторинг Платформа 1С v8.3 Платные (руб)

В сферу обязанностей при работе с клиентами входит контроль работы баз данных и серверов 1С. Нужно понимать что происходит в базах, есть ли ошибки, зависания у пользователей и фоновых задач, блокировки или какое-то необычное поведение системы, получение информации о причинах возникновения проблем и их оперативное устранение и т.д. В качестве источников информации использую консоль кластеров 1С, технологический журнал 1С, журналы регистрации базы 1С. Для автоматизации части операций мониторинга и анализа создал инструмент на основе 1С.

9000 руб.

28.08.2019    30954    14    21    

66

LogiCH - хранение и анализ журнала регистрации в сверхбыстрой СУБД ClickHouse

Журнал регистрации Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

Конфигурация LogiCH эффективно решает проблему хранения и анализа записей журналов регистрации. Разработка использует столбцовую СУБД ClickHouse, одну из самых быстрых Big Data OLAP СУБД. Любой анализ журнала можно выполнить в одном отчете, в котором доступны все возможности СКД с учетом ограничений RLS. Количество подключаемых баз не ограничено и не влияет на скорость построения анализа.

5000 руб.

28.11.2018    19543    13    6    

36

Регламентное сокращение журнала регистрации

Инструменты администратора БД Журнал регистрации Платформа 1С v8.3 1С:Управление торговлей 11 Абонемент ($m)

Внешняя обработка для регламентного сокращения журнала регистрации для конфигураций на базе БСП и платформы 8.3.20+

1 стартмани

29.12.2023    1243    12    dima_gsv    1    

12

Магия преобразований: ЖР, ТЖ, RAS/RAC, логи - универсальное решение Vector

Мониторинг Журнал регистрации Технологический журнал Абонемент ($m)

Как легко и быстро с помощью специализированных решений собирать, парсить и передавать логи и метрики.

1 стартмани

13.11.2023    2967    4    AlexSTAL    0    

42

Мониторинг состояния с отправкой в telegram

Журнал регистрации Инструменты администратора БД Мониторинг Мессенджеры и боты Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Управление холдингом 1С:Комплексная автоматизация 2.х Абонемент ($m)

Внешняя обработка для БСП-конфигураций с простым программным интерфейсом. Предназначена для мониторинга состояния системы. Базово реализована отправка ошибок из журнала регистрации, но можно легко добавить мониторинг других журналов, каких-либо действий пользователей, состояния системы (например закрытие месяца).

3 стартмани

26.09.2023    1753    11    doom2good    10    

13
Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. sapervodichka 6697 09.12.19 10:16 Сейчас в теме
А если отключить сбор данных APDEX в программе глобальный APDEX это улучшит?
dabu-dabu; acanta; +2 Ответить
4. vtv74 45 09.12.19 11:21 Сейчас в теме
(1) Здравствуйте !

APDEX собираем на сервере СУБД, где запись сильно оптимизирована, а журнал регистрации - на сервере приложений, последовательно в текстовый файл.

Поэтому разница огромная.

При отключении APDEX вау-эффекта не было.
5. sapervodichka 6697 09.12.19 12:58 Сейчас в теме
(4) Пару лет уже не видел текстовые файлы журналов регистрации, вы уверены что они текстовые?
7. vtv74 45 09.12.19 14:43 Сейчас в теме
(5) В приведенном примере Билайн формат файла старый, то есть текстовый. У нас встречаются оба варианта.
21. sapervodichka 6697 09.12.19 22:14 Сейчас в теме
(7) Какую-то картошку с макаронами пытаетесь подсунуть =) Не знаю кто это творение будет применять... если кто-то будет, то "Азамат, где логика?" напишите зачем это придумали ))) В примере Билайн?! Ну конечно а я то думал Теле2
27. vtv74 45 10.12.19 08:05 Сейчас в теме
(21) Зря Вы становитесь на темную сторону, Дмитрий !
Журнал регистрации must die.
Нормальные пацаны его не используют.
Вместо того, чтобы троллить бедную девочку
Лучше поделитесь своим опытом, как Вы делаете

??
29. nomad_irk 71 10.12.19 08:17 Сейчас в теме
(27)И давно нормальные пацаны перестали использовать ЖР?
dabu-dabu; sapervodichka; +2 Ответить
31. vtv74 45 10.12.19 08:30 Сейчас в теме
(29) Думаете, в системах 500+ пользователей кто-то использует полный журнал регистрации ? Серьезно ?
34. nomad_irk 71 10.12.19 08:50 Сейчас в теме
(31)Вполне.
Прикрепленные файлы:
35. vtv74 45 10.12.19 08:58 Сейчас в теме
(34) Внушительно, но еще не 500+
36. nomad_irk 71 10.12.19 09:00 Сейчас в теме
(35)Так и файлы ЖР не видны среди таких, в которые запись происходит с какой-то большой скоростью.
37. vtv74 45 10.12.19 09:14 Сейчас в теме
(36)
1. Конфигурация сильно отличается от типовой ?
2. Насколько вырастает ЖР за день ?
38. nomad_irk 71 10.12.19 09:25 Сейчас в теме
(37)1. Сильно.
Прикрепленные файлы:
sapervodichka; +1 Ответить
39. vtv74 45 10.12.19 09:34 Сейчас в теме
(38) У нас был такой же объем журнала. То, что в него не происходит запись - не показатель. Кеш диска занят, оперативная память тоже. Попробуйте сделать ЖР менее подробным. Благодарить потом будете. (Но будет поздно.)
40. nomad_irk 71 10.12.19 09:37 Сейчас в теме
(39)Так может все же разобраться с причинами занятости кэша диска и оперативной памяти, прежде чем городить вот это все, не?
У нас нет необходимости снижать уровень детализации ЖР, во всяком случае пока.
41. vtv74 45 10.12.19 09:48 Сейчас в теме
(40) если нет проблем с быстродействием, то ничего не нужно, это правда.
2. nomad_irk 71 09.12.19 10:48 Сейчас в теме
(0)Из публикации абслютно не понятно, какие еще действия административного характера были произведены прежде, чем прибегнуть к кардинальным мерам, т.е. снижению уровня детализации ЖР.
dabu-dabu; ixijixi; t278; sapervodichka; +4 Ответить
3. vtv74 45 09.12.19 11:17 Сейчас в теме
(2) Здравствуйте !

Действий административного характера нам не потребовалось: наши пользователи не смотрят в журнал. События регистрируются также полно, как и раньше но теперь в регистре. Можно делать отчеты.
6. sapervodichka 6697 09.12.19 14:06 Сейчас в теме
Вячеслав Гилёв (>_<) /* наверное нервно закурил в сторонке, подумывая: "А не открыть ли часом бьюти блог на youtube?!"
dabu-dabu; ixijixi; acanta; nomad_irk; +4 Ответить
8. acanta 09.12.19 14:44 Сейчас в теме
10. vtv74 45 09.12.19 14:59 Сейчас в теме
(8) Здравствуйте, Анна !

это видео про технологический журнал, а не про журнал регистрации ?
14. acanta 09.12.19 15:26 Сейчас в теме
(10) мы никогда не включаем подробнее чем 3 уровень детализации, обычно 2. При необходимости включается технологический журнал как в видео.
9. vtv74 45 09.12.19 14:46 Сейчас в теме
(6) Кстати, в Вашей фирме наверное давно отказались от подробного журнала регистрации ?
11. leemuar 09.12.19 15:07 Сейчас в теме
В целом направление, конечно, правильное: не нужно логировать ненужную информацию, логирование не должно ощутимо замедлять работу системы.

Обратите внимание, что запись в регистр имеет свои недостатки, о которых я рассказывал в докладе "Логирование в приложениях" на Инфостарт 2018:

- у вас растет таблица регистра, а это влияет на время резервного копирования и восстановления, размер бекапов. При большом объеме логов - существенно.
- в отличие от журнала регистрации, с регистром вы не можете записывать ошибки в транзакции. Вы не увидите в регистре запись, если ошибка произошла в транзакции. ПриЗаписи выполняется в транзакции.


Еще одним решением проблемы может быть вынесение жернала регистрации на отдельный сервер. Но такой вариант емнип очень дорог в реализации из-за лицензирования и необходимости администрирования лишних вычмощностей, поэтому зачастую не применяется
12. nomad_irk 71 09.12.19 15:11 Сейчас в теме
(11)ИМХО, оптимальный способ: выгружать ЖР во внешнюю БД и выполнять усечение оперативного ЖР. Размер оперативного ЖР - 3-5-7 дней - этого вполне достаточно для анализа.
Ну и выделение под ЖР отдельного физического диска - это вообще первое, что необходимо сделать.
16. vtv74 45 09.12.19 15:46 Сейчас в теме
(12) У нас проблемы были не из-за места, а из-за замедления записи на сервере приложений.
46. DonAlPatino 176 13.12.19 12:45 Сейчас в теме
(16) SSD под текущие журналы, а остальное в архив?
45. DonAlPatino 176 13.12.19 12:44 Сейчас в теме
(12) В ELK, в ELK грузите! Сложнейшая загрузка журнала регистрации в ElasticSearch
PS
Сейчас придет comol и предложит ClickHouse c Grafana:-)
15. vtv74 45 09.12.19 15:45 Сейчас в теме
(11) Здравствуйте !

- в отличие от журнала регистрации, с регистром вы не можете записывать ошибки в транзакции. Вы не увидите в регистре запись, если ошибка произошла в транзакции. ПриЗаписи выполняется в транзакции.


Спасибо за уточнение. Нужно иметь ввиду, что журнал регистрации тоже неполный: в технологическом журнале регистрируется больше ошибок.
13. leemuar 09.12.19 15:11 Сейчас в теме
> Запись в СУБД происходит гораздо быстрее, чем в журнал

На сколько быстрее? Вы проводили замеры на сколько именно? И с чем это связано?
Например, СУБД может работать на быстрых дисках, а журнал регистрации размещен на обычных дисках, в разделе ОС с постоянными очередями к диску.
dabu-dabu; ixijixi; Ганс; collider; +4 Ответить
17. vtv74 45 09.12.19 15:49 Сейчас в теме
(13) Замеры не производили.
18. milanse 38 09.12.19 18:09 Сейчас в теме
(13) Тоже с трудом верится в такие чудеса, если только на сервере 1С совсем уж убогая дисковая подсистема, но тогда решением было бы перенос папок на более быстрый диск.

Сам использую ЖР в текстовом виде, потом выгружаю его в отдельную базу, при загрузке откидываю лишнее.
19. vtv74 45 09.12.19 19:02 Сейчас в теме
(18) Здравствуйте !

Мы не проводили замеры скорости диска, но APDEX заметно изменился.

Система не убогая, скорее наоборот: породистое СХД.

За день журнал вырастал до 1 Гб. Это сопоставимо с ростом основной базы.

У вас сколько пользователей ? На сколько растет журнал ? Попробуйте отключить ?
22. milanse 38 09.12.19 23:05 Сейчас в теме
(19) пользователей порядка 200, журналы тоже могут быть по гигу и более. У меня было много логов в файлы, их передали на логи в жр, тут скорость возросла. Но чтобы жр переделать на регистр не задумывались. Я правильно понимаю что у вас жр старого формата, не sqlite ? Может есть какие особенности конфы / релиза 1с . ? Я точно знаю что в нашей конфе есть приличный запас по оптимизации кода , поэтому переделывать жр пока нет времени. Но по возможности обязательно попробую
47. DonAlPatino 176 13.12.19 12:47 Сейчас в теме
(19) "породистое СХД" к сожаление не отменяет "убогости". И чем выше "породистость", тем более высокая квалификация администраторов требуется, чтобы все это быстро работало..
20. handscenter 59 09.12.19 20:28 Сейчас в теме
В использовании ЖР главная проблема не запись, а чтение. Если кто то попробует сделать какой то отбор( особенно с динамически) по ЖР с большим количеством записей. То это приводит к "зависанию" работы всех пользователей до завершения такого отбора.
Не верите? :)
WellMaster; triviumfan; +2 Ответить
23. triviumfan 92 10.12.19 01:23 Сейчас в теме
(20) Верим, уже пробовали.
26. vtv74 45 10.12.19 08:00 Сейчас в теме
(20) Здравствуйте !

Верим, видели такое чудо.
Когда откажетесь от подробного журнала, все станет лучше: и запись и чтение.
Зря Вы пользователей пускаете в журнал.
Когда перенесете запись в регистр - нужно будет дополнительный отчет делать.

Кстати, похожий отчет можно сделать по регистру сведений "Версионирование..".
Он менее подробный, зато можно получать объекты.
24. triviumfan 92 10.12.19 01:23 Сейчас в теме
Я бы сменил заголовок, он путает. Или это для кликабельности?!
25. vtv74 45 10.12.19 07:56 Сейчас в теме
(24) Здравствуйте !

В статье описывается способ ускорить типовую конфигурацию без изменений.

Что бы Вы изменили ?
28. nomad_irk 71 10.12.19 08:11 Сейчас в теме
(25)
В статье описывается способ ускорить типовую конфигурацию без изменений.

Да ладно? А процедуры общих модулей святым духом в конфигурацию попадут, как и подписки на события их использующие?
sapervodichka; +1 Ответить
30. vtv74 45 10.12.19 08:27 Сейчас в теме
(28) Это не изменение, а дополнение конфигурации. Почувствуйте разницу.
32. nomad_irk 71 10.12.19 08:33 Сейчас в теме
(30) Для работы дополнения необходимо включать возможность изменения конфигурации. Это во-первых.
Во-вторых: для того, чтобы вообще работало дополнение конфигурации, сама конфигурация должна быть в режиме совместимости не меньше чем, 8.3.чего-то там.
sapervodichka; +1 Ответить
33. vtv74 45 10.12.19 08:44 Сейчас в теме
(32) Включить возможность изменений и добавить объект это не то же самое,
что изменить типовой объект.

Пожалуйста, не путайте механизм расширения конфигурации
с объектами, которые конфигурацию дополняют.
42. mikele_bes 8 10.12.19 10:11 Сейчас в теме
Не согласен с позицией автора.
1. Журнал регистрации полезен, он содержит данные об авторизации, отказе в доступе к метаданным, ошибки, информацию об изменении данных. Часто пишу в него дополнительную информацию. Имхо, единственное, что стоило бы отключить (если бы это было возможно) - это данные об изменении регистров, как раз они абсолютно неинформативны и отбирают много места.
2. Журнал работает очень быстро. Его надо поместить на ssd отдельно от баз SQL и tempdb.
3. Как уже правильно заметили, запись в регистр не сможет содержать данные отмененных транзакций, вряд ли будет быстрее записи в журнал регистрации.

Я использую журнал регистрации, ночью данные фильтруются и переносятся во внешнюю базу. Журнал режется до нескольких недель.
43. vtv74 45 10.12.19 10:47 Сейчас в теме
(42) Здравствуйте !

Не буду с вами спорить: если Вы всем довольны - значит, вы правы.

Уже упоминали, что в журнал регистрации не попадают многие ошибки, которые есть в технологическом журнале.
44. mikele_bes 8 10.12.19 11:49 Сейчас в теме
Я не писал, что не использую технологический журнал. Использую.
Одно другому не мешает, а дополняет.
48. VKislitsin 960 22.12.19 15:15 Сейчас в теме
Мария, я поставил плюс. Но вынужден не согласиться :) Особенно с формулировкой на картинке.
Зачастую ЖР - единственный источник информации для расследования вопросов вида "а кто это сделал?"
И заранее предвидеть какой будет вопрос и когда он возникнет, невозможно. Поэтому хранить нужно всю доступную информацию.
В комментариях приводились скриншоты с неким, достаточно большим количеством пользователей. Я не могу привести скриншоты, могу лишь бездоказательно сообщить что в некоторых из "моих" систем, работает больше 1000 пользователей (одновременно). ЖР собирается полный. В "старом" формате. Регулярно архивируется (непосредственно из базы доступны последние 2 недели) и хранится не менее 3 лет, согласно регламенту.
Возможно, для кого-то Ваше предложение имеет практический смысл. Спасибо что продемонстрировали числовой эффект в процентах от такого решения. Излишним я считаю лишь категоричность утверждения.
Оставьте свое сообщение