Чтение логов технологического журнала

12.09.13

База данных - Технологический журнал

Обработка позволяет читать логи технологического журнала и формировать на основании данных отчет.

Скачать файлы

Наименование Файл Версия Размер
Чтение логов технологического журнала (8.1)
.erf 15,80Kb
1677
.erf 15,80Kb 1677 Скачать
Чтение логов технологического журнала (8.2)
.erf 19,25Kb
465
.erf 19,25Kb 465 Скачать

Так как парсеров логов технологического журнала найти не смог - пришлось писать обработку самому.

Для формирования отчета используется схема компоновки данных - соответственно настраивайте выходную форму как захочется.


Обновление 13.09.2012:

  1. Переделал код в одну строку. Прирост к скорости чтения до 30%.

Обновление 28.09.2012:

  1. Алгоритм обработки полностью переписан. Старая версия обработки оставлена на всякий пожарный.
  2. Значительно увеличена скорость чтения данных.
  3. Убран индикатор чтения строк. Вместо него добавлено количество обработанных файлов в статус формы.
  4. Убран заголовок отчета
  5. Зафиксированы максимальная высота и ширина ячеек.
  6. Расширен список считываемых событий.
  7. Период чтения данных расширен до секунд.
  8. Добавлен флаг "НеСбрасыватьНастройкиСКД". Если он установлен - при чтении файла не сбрасываются настройки компановки, установленные пользователем. При выключенном состоянии в отчет попадают только непустые события.

Обновление 13.09.2012:

  1. Удалил старую версию обработки (многие путались и скакачивали ее).
  2. Обновил скриншот.
  3. Для ленивых добавил версию под 8.2.

См. также

Магия преобразований Vector, часть 2: технологический журнал

Технологический журнал Мониторинг Абонемент ($m)

Как легко и быстро с помощью специализированных решений собирать, парсить и передавать логи и метрики.

1 стартмани

15.11.2023    759    4    AlexSTAL    0    

8

Магия преобразований: ЖР, ТЖ, RAS/RAC, логи - универсальное решение Vector

Мониторинг Журнал регистрации Технологический журнал Абонемент ($m)

Как легко и быстро с помощью специализированных решений собирать, парсить и передавать логи и метрики.

1 стартмани

13.11.2023    2962    4    AlexSTAL    0    

42

«Монитор» – простой анализ производительности

Администрирование СУБД Технологический журнал Бесплатно (free)

Для расследования проблем производительности недостаточно просто проанализировать технологический журнал. Нужен парсинг контекста событий, его сопоставление с информацией из Extended Events и логов, агрегация огромного количества информации.

21.09.2023    5715    Andreynikus    14    

79

Экспорт технологического журнала 1С в Elastic с помощью Logstash

Технологический журнал Платформа 1С v8.3 Абонемент ($m)

Целью данного решения является организация хранения и анализа данных из технологического журнала 1С с использованием стека Elasticsearch + Logstash + Kibana.

5 стартмани

18.09.2023    3267    huxuxuya    3    

23

Мобильный помощник эксперта 1С (приложение android, позволяющее строить отчеты на СКД по логам технологического журнала и не только)

Технологический журнал Мониторинг Платформа 1С v8.3 Конфигурации 1cv8 Бесплатно (free)

Приложение на мобильной платформе 1С Предприятие, позволяющее разбирать все, что может быть разобрано в командной строке linux, и выводить полученный результат типовыми методами системы компоновки данных. По мотивам направления Эксперт по технологическим вопросам

16.05.2023    3314    capitan    0    

23

Разбор технологического журнала без боли и страданий

Технологический журнал Абонемент ($m)

Технологический журнал - мощный инструмент логирования, используемый для анализа проблем производительности 1С. Но он обладает одним огромным недостатком, в "сыром виде" он почти не поддается адекватному анализу из-за своей структуры. Существует довольно много способов "разобрать" технологический журнал, но все опробованные способы обладают теми или иными недостатками. Предлагаю вам мой вариант "велосипеда" для разбора ТЖ и хранения разобранного в различных форматах.

1 стартмани

12.12.2022    8148    37    Segate    26    

86

Выполняем в СУБД запрос из ТЖ

Технологический журнал Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

Обработка для подстановки или нумерации параметров в тексте запроса из технологического журнала.

1 стартмани

24.11.2022    2855    3    VKislitsin    1    

17
Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. Serj1C 483 24.04.09 14:01 Сейчас в теме
Долго грузится и вываливается на 100%
Код
{Форма.ФормаОтчета(40)}: Преобразование значения к типу Дата не может быть выполнено
   СтрокаТаблДанных.Дата=Дата(ДатаФайлаСтр+Сред(ТекСтрока,1,2)+Сред(ТекСтрока,4,2));
Показать полностью

2. Широкий 692 24.04.09 14:31 Сейчас в теме
3. German 413 25.04.09 10:10 Сейчас в теме
>Так как парсеров логов технологического журнала найти не смог
Плохо смотрели http://main.1c-ei.ru/Articles/trassirovka
4. Широкий 692 27.04.09 09:22 Сейчас в теме
Вроде разные вещи: трассировка запросов используя ТЖ и трассировка ТЖ для формирования отчетов..
5. неадекват 29.04.09 03:31 Сейчас в теме
Точно и понятно, своевременно, спасибо. Как-бы научить читать все логи из "корневой" папки для логов?
6. Широкий 692 29.04.09 09:00 Сейчас в теме
Не понял... она вроде это умеет
7. azhdan 29.04.09 10:43 Сейчас в теме
а Логи сервера (процесса rphost) должна обработка читать?
8. Широкий 692 29.04.09 10:46 Сейчас в теме
Должна читать все логи ТЖ.. к конкретике привязки нет
9. Широкий 692 29.04.09 10:47 Сейчас в теме
azhdan или я вопроса не понял
10. Широкий 692 30.04.09 10:46 Сейчас в теме
Поправил ошибку совместного доступа к файлам лога
11. max44 30.04.09 12:21 Сейчас в теме
{Форма.ФормаОтчета(83)}: Поле объекта не обнаружено
СтрокаТаблДанных[ВернутьИмяКолонкиТаблДанных(НаименованиеПараметра)]=ЗначениеПараметра;
12. Широкий 692 30.04.09 12:45 Сейчас в теме
Скинь мне пример лога
13. max44 30.04.09 14:06 Сейчас в теме
(12) как его переслать? почту? выкладывать в общий дуступ не хочу...
14. DionisioSPb 30.04.09 16:39 Сейчас в теме
В процедуре ПрочитатьДанныеФайлов() замените условие
Если Сред(Строка,3,1)=":" Тогда
на
Если Сред(Строка,3,1)=":" И Сред(Строка,6,1)="." Тогда

так как в некоторых случаях текст, например запросов, может содержать символ двоеточия.
15. Широкий 692 30.04.09 16:44 Сейчас в теме
Да нет - тут все верно - так начинается строка лога (это минуты и секунды события)
16. Широкий 692 30.04.09 18:43 Сейчас в теме
max44, поправил - проверяй
DionisioSPb, на всякий случай вставил твою проверку
17. sashocq 193 10.07.09 12:57 Сейчас в теме
Не пашет :-(
Могу выслать логи на почту.
18. Широкий 692 13.07.09 14:21 Сейчас в теме
19. tormozit 7136 05.08.09 15:58 Сейчас в теме
Вот бы их на лету почитать от клиентского приложения.
20. Широкий 692 05.08.09 16:03 Сейчас в теме
34. sashocq 193 26.01.10 16:59 Сейчас в теме
{Форма.ФормаОтчета(20)}: Ошибка при вызове метода контекста (Добавить): Неверное имя колонки
ТаблДанныхКолонки.Добавить(ИмяКолонки,Новый ОписаниеТипов("Строка",,Новый КвалификаторыСтроки(1000, ДопустимаяДлина.Переменная)),ПредставлениеКолонки);
по причине:
Неверное имя колонки

Могу прислать логи на мыло
36. Широкий 692 27.01.10 09:25 Сейчас в теме
(34) Мое мыло в личку кинул
37. Широкий 692 31.01.10 18:45 Сейчас в теме
Обновил обработку.
(34) Проверяй
38. artbear 1448 01.02.10 08:10 Сейчас в теме
39. Широкий 692 01.02.10 10:34 Сейчас в теме
(38)
1. Переделал общий принцип парсинга строк. К сожелению новый алгоритм немного медленнее старого, но ,по-крайней мере, избавляет от ошибок чтения.
2. Ухожу от идеи обобщения значений параметров от разных событий в одно (они практически все пересекаются)
3. Добавил осмысленную расшифровку параметров.

Список известных мне параметров теперь находится в макете обработки. Если при парсинге параметр в макете не найден - он воспринимается как значение какого то другого параметра. Поэтому, кому не лень - просмотрите макет на выявление лишних или недостающий параметров и сообщите сюда. Я буду редактировать список.
40. sashocq 193 17.02.10 11:46 Сейчас в теме
(38) Да, все читает нормально, спасибо :-)
Только вот еще что (в прошлый раз забыл написать): почему у тебя нет такого важного поля, как длительность?
В поей простецкой обработке она получалась так:
Длительность = Число(Сред(ТекСтрока, 7, 4));

Получается значение в десятитысячных долях секунды
41. Широкий 692 17.02.10 11:50 Сейчас в теме
(40) Ааа.. так это длительность .. а я то думал - что это за параметр :))
Если не трудно.. кинь мне лог на почту.. я поправлю
21. tormozit 7136 05.08.09 17:35 Сейчас в теме
текущие файлы заблокированы.
22. Широкий 692 05.08.09 17:37 Сейчас в теме
точно последней версией пробовал?
23. tormozit 7136 05.08.09 17:57 Сейчас в теме
Да без ВК тут точно не решится. А может и вообще не решится. Дело в том, что у технологера есть потоковый буфер. И отсюда самые свежие данные (а именно они мне и нужны) не могут быть получены.
24. tormozit 7136 05.08.09 17:58 Сейчас в теме
Таким способом текущие файлы не копируются:
КопироватьФайл(ИмяФайла,ИмяВременногоФайла);
25. tormozit 7136 05.08.09 17:59 Сейчас в теме
А вот через ~30 сек после отключения ТЖ, они освобождаются и все доступно.
26. tormozit 7136 05.08.09 18:05 Сейчас в теме
Мечта у меня такая. В консоли запросов быстро поиметь SDBL и SQL/DBENG/... варианты выполненного запроса.
27. Широкий 692 05.08.09 18:10 Сейчас в теме
А проводником скопировать файлы можно?
29. tormozit 7136 05.08.09 18:24 Сейчас в теме
28. Широкий 692 05.08.09 18:19 Сейчас в теме
Пробую прямо на живой базе читать логи - нормально отрабатывает.. Может прав нет?
30. tormozit 7136 05.08.09 18:26 Сейчас в теме
Собственно я не могу решить задачу: выполнить по кнопке запрос и быстро вывести его выполненную SDBL версию.
31. Широкий 692 05.08.09 18:28 Сейчас в теме
Блин .. ну вот я на сервак закинул конфиг - данные идут, обработка медленно но читает..
Может у тебя конфиг какой то хитрый.. запости - я на нем проверю
32. sashocq 193 26.01.10 16:46 Сейчас в теме
Добавить бы еще индикатор загрузки. А то вот загружает сейчас что-то - и непонятно, долго ли еще, или может, повис вообще
33. Широкий 692 26.01.10 16:50 Сейчас в теме
(32) Индикатор внизу формы есть
35. sashocq 193 27.01.10 09:19 Сейчас в теме
(33) Да, я его потом увидел. Просто сначала она дооолго что-то еще делала перед показом индикатора.
42. Широкий 692 17.02.10 12:28 Сейчас в теме
Добавил длительность
44. myniko 03.03.10 12:24 Сейчас в теме
(42) Помарочка. Длительность идёт сразу после даты. В обработке же - <уровень>.

mm:ss.tttt-d, <наименование>, <уровень>, <ключевые свойства>
· mm — номер минуты в текущем часе;
· ss — номер секунды в текущей минуте;
· tttt — номер десятитысячной доли текущей секунды;
· d — длительность события в десятитысячных секунды;
· <наименование> — наименование события;
· <уровень> — уровень события в стеке текущего потока;
43. Трактор 1246 19.02.10 16:29 Сейчас в теме
Как-то не с первой попытки отображается отчёт. Поставил отбор - сразу увидел. Чудеса.
45. Широкий 692 04.03.10 11:10 Сейчас в теме
Исправил параметры уровень и длительность (в сек).

Параметр "tttt" — номер десятитысячной доли текущей секунды, добавлять не стал (думаю он не нужен)
46. sashocq 193 31.03.10 13:59 Сейчас в теме
Все замечательно! Только номер десятитысячной доли текущей секунды помог бы при сортировке - для правильного отображения последовательности событий. Можно его добавить отдельным полем.
47. Широкий 692 06.04.10 13:13 Сейчас в теме
Обновил обработку.
Добавил доли секунды и сортировку по-умолчанию
48. trancer 15.04.10 09:36 Сейчас в теме
49. Господин ПЖ 11.11.10 11:54 Сейчас в теме
Что может быть с обработкой? Открываю под 8.1.15.4 - 1С с грохотом падает. даже не попадая в точку останова ПриОткрытии
50. Широкий 692 11.11.10 12:05 Сейчас в теме
Попробуй платформу переустановить.
Или по-крайней мере попробовать на другой машине.
Похоже на проблему инициализации СКД
51. Господин ПЖ 11.11.10 12:13 Сейчас в теме
52. Господин ПЖ 11.11.10 12:14 Сейчас в теме
Что в схеме СКД должно быть? У меня кроме источника в виде табл. значений ничего нет. Ни полей ни прочих цацек.
53. Широкий 692 11.11.10 12:15 Сейчас в теме
Может права? На другой конфигурации пробовал?
54. Господин ПЖ 11.11.10 12:18 Сейчас в теме
пробовал... такое впечатление что "внутренности" битые после выкачки. Права есть, read only не стоит
55. Широкий 692 11.11.10 12:21 Сейчас в теме
Только что скачал, попробовал - все нормально.
У тебя 8.1.15.4 или все-таки 8.1.15.14?
56. Господин ПЖ 11.11.10 12:25 Сейчас в теме
57. Господин ПЖ 11.11.10 12:30 Сейчас в теме
на мыло из профиля можешь от себя скинуть?
58. Широкий 692 11.11.10 12:36 Сейчас в теме
Я твое мыло не вижу.
Только это ничего не поменяет. Я уже писал что только что скачивал с сайта обработку и проверил ее
59. Господин ПЖ 11.11.10 12:46 Сейчас в теме
Ладно, буду шаманить дальше в чем проблема. Спасибо что откликнулся.
60. Широкий 692 24.11.10 17:22 Сейчас в теме
Обновил обработку.
Дополнил отчет несколькими дополнительными колонками из лога (колонки "Поток является источником блокировки","Поток является жертвой блокировки" и т.д.)
61. Bitnikov 386 29.11.10 12:12 Сейчас в теме
Широкий,
доработал твою обработку на фильтр по периоду на момент чтения файлов ТЖ.
Т.к. обычно нужно смотреть логи, например, за последний час. Понятно что можно было задать фильтр уже после прочтения в настройках СКД, но если логов очень много, то на это тратится время, поэтому удобней установить фильтр при чтении.
А так, спасибо за обработку!
Сэкономил кучу времени на написании чего то подобного.

Если понравится фильтр - может обновить свой дистрибутив)
Прикрепленные файлы:
ЧтениеЛоговТехнологическогоЖурнала.erf
user700035_6550355; Широкий; +2 Ответить
131. user700035_6550355 29 06.12.18 12:27 Сейчас в теме
(61) нормально работает, только Длительность(сек) нужно еще на 100 поделить чтобы получились секунды
62. Yashazz 4709 15.12.10 11:42 Сейчас в теме
Была б к блоку справка - было б хорошо.
63. Широкий 692 13.01.11 12:52 Сейчас в теме
Bitnikov пишет:

Широкий,

доработал твою обработку на фильтр по периоду на момент чтения файлов ТЖ.

Т.к. обычно нужно смотреть логи, например, за последний час. Понятно что можно было задать фильтр уже после прочтения в настройках СКД, но если логов очень много, то на это тратится время, поэтому удобней установить фильтр при чтении.

А так, спасибо за обработку!

Сэкономил кучу времени на написании чего то подобного.



Если понравится фильтр - может обновить свой дистрибутив)
Показать


Пытался открыть твою. обработку - выбивает ошибку при выполнении файловой операции.
Она случаем не под 8.2?
64. cool.vlad4 2 13.01.11 12:59 Сейчас в теме
(63) нет не 8.2 скачал под 8.2 просит конвертировать
65. Bitnikov 386 13.01.11 13:03 Сейчас в теме
Широкий, cool.vlad4 - под 8.1 (релиз 8.1.15.14)
Только что скачал ее для теста с сайта (моего комментария) по ссылке Скачать - открывается без всяких проблем.
66. Широкий 692 13.01.11 14:04 Сейчас в теме
Обновил обработку - добавил бантик от Bitnikov
Так как файлы лога хранятся с периодичностью в час - выбор периода так же ограничил до выбора целого часа
67. Bitnikov 386 13.01.11 16:23 Сейчас в теме
Широкий, в моем бантике можно было читать логи и за последние 10 минут... Не обязательно кратно 1-му часу.
Дело конечно Ваше, но ИМХО зря сразу делать такое ограничение.
68. aspirator23 339 16.01.11 06:32 Сейчас в теме
(67) Почему то не читает. Указываю интервал. Пишет копирование во временный каталог. Нажимаю сформировать - пустой журнал. 8.1.15
(66) Автор, если не сложно, сделай пожалуйста, возможность установки интервала более тонкую, до минут(десятков минут). Час это очень много, на больших журналах вываливается километровая портянка. Понимаю что это можно затем отбором фильтровать. Но если есть основной фильтр туда уже не с руки лазить. И мелкая просьба - выбор периода лучше разместить в одной строке с выбором каталога. Для больших журналов на небольших мониторах каждая строчка свободного места нужна.Фраза Печатная форма - тоже отъедает полезную площадь. Как и любые заголовки в самой печатной форме. Кто пользуется тот и так знает что это.
Кроме того обнаружил такую особенность. При чтении большого журнала - 500000 строк, бодро начинает читать, затем замедляется и на 180000 строке останавливается. Проверил на последней и предпоследней версии обработки. Старая версия redlog читает нормально весь журнал. Места на диске много, памяти с большим запасом. Запускал обработку на сервере 1с. Один из процессоров сервера уходит в 100% при этом, там и остается.
70. Широкий 692 16.01.11 11:46 Сейчас в теме
aspirator23 пишет:

(67) Почему то не читает. Указываю интервал. Пишет копирование во временный каталог. Нажимаю сформировать - пустой журнал. 8.1.15

Если журнал пустой - то тут либо на самом деле ничего нет, либо фильтры поставлены неправильно.

(66) Автор, если не сложно, сделай пожалуйста, возможность установки интервала более тонкую, до минут(десятков минут). Час это очень много, на больших журналах вываливается километровая портянка. Понимаю что это можно затем отбором фильтровать. Но если есть основной фильтр туда уже не с руки лазить.

На самом деле идеология другая - набор файлов читаем только один раз, а потом отборами фильтруем необходимую выводимую информацию.
Ты же предлагаешь каждый раз эти файлы читать - я считаю это не корректным.
Если напрягает, что при выборе периода сразу формируется отчет - отрежь это сам в коде. Код я не закрывал - переделывайте под себя.

И мелкая просьба - выбор периода лучше разместить в одной строке с выбором каталога. Для больших журналов на небольших мониторах каждая строчка свободного места нужна.Фраза Печатная форма - тоже отъедает полезную площадь. Как и любые заголовки в самой печатной форме. Кто пользуется тот и так знает что это.

Удивлен что до сих пор кто то юзает мелкие мониторы :)
Поправил обработку - добавил на командную панель кнопку "Панель чтения" - она регулирует видимость настроек.

Кроме того обнаружил такую особенность. При чтении большого журнала - 500000 строк, бодро начинает читать, затем замедляется и на 180000 строке останавливается. Проверил на последней и предпоследней версии обработки. Старая версия redlog читает нормально весь журнал. Места на диске много, памяти с большим запасом. Запускал обработку на сервере 1с. Один из процессоров сервера уходит в 100% при этом, там и остается.


Насчет замедления чтения - тут скорее всего кончается оперативка и начинает свопирование в виртуалку. Я бы не рекомендовал такие большие объемы считывать - для анализа сложно и комп насилуешь.
aspirator23; +1 Ответить
71. aspirator23 339 16.01.11 14:49 Сейчас в теме
(70) спасибо за доработку. Большие выборки приходится делать тогда когда нужно посмотреть за неделю аварийные завершения. В журнал кроме аварий пишется и CONN, он занимает больше всего места. А первичное чтение читает всех поголовно в том числе и CONN. Поэтому и получается 500000 строк. Проблема зависания обработки не связана с памятью. Обработка запускается на сервере. Общей памяти на сервере с большим запасом. При работе обработки потребление память на сервере не растет. На сервере запущено несколько rphost. На всех них память распределена примерно равномерно и она очень невелика - 200мб на момент измерений. Свободного места на диске С тоже достаточно. Многократно больше файла подкачки. Как и писал один из процессоров уходит в 100% и там и остается. Приходится снимать аварийно. Посмотрел код - подозрение на вот этот цикл. Еще не проверял, но возможно он из него на каком-то файле не выходит. Строка 131-152. Конкретно 132-133 строки.

		Пока Истина Цикл
			Строка=ЧтениеТекста.ПрочитатьСтроку();
			Если Строка=Неопределено Тогда
				Прервать;
			КонецЕсли; 
			
			КоличествоОбработано=КоличествоОбработано+1;
			.......................................
		КонецЦикла;
Показать


Посмотрел старую версию там ты для чтения файл используешь FileSystemObject. Старая версия не виснет.
74. artbear 1448 17.01.11 08:25 Сейчас в теме
(71) Да, при работе с большими текстовыми данными FileSystemObject надежнее будет, он давно проверен.
72. Широкий 692 16.01.11 21:54 Сейчас в теме
aspirator23 пишет:

(70) спасибо за доработку. Большие выборки приходится делать тогда когда нужно посмотреть за неделю аварийные завершения. В журнал кроме аварий пишется и CONN, он занимает больше всего места. А первичное чтение читает всех поголовно в том числе и CONN. Поэтому и получается 500000 строк. Проблема зависания обработки не связана с памятью. Обработка запускается на сервере. Общей памяти на сервере с большим запасом. При работе обработки потребление память на сервере не растет. На сервере запущено несколько rphost. На всех них память распределена примерно равномерно и она очень невелика - 200мб на момент измерений. Свободного места на диске С тоже достаточно. Многократно больше файла подкачки. Как и писал один из процессоров уходит в 100% и там и остается. Приходится снимать аварийно. Посмотрел код - подозрение на вот этот цикл. Еще не проверял, но возможно он из него на каком-то файле не выходит. Строка 131-152. Конкретно 132-133 строки.


Хочешь сказать , что встроенный 1с объект по чтению из потока глючит?
73. aspirator23 339 17.01.11 07:28 Сейчас в теме
(72) Посмотрел в отладчике. Виснет, точнее не виснет а очень долго обрабатывает в процедуре
ДобавитьДанныеВТаблицуДанных(СтрокаДанных,ДатаФайлаСтр)
в нее передается строка вида
08:39.3911-0,EXCPCNTX,0,ClientComputerName......
которая имеет огромный размер. В ней идет описание какого-то сумасшедшего запроса, длина которого более 200 тыс.слов
В процедуре входим в цикл(строка 76)
Для НомерСтроки=1 По МногострочнаяЧастьКолСтрок Цикл
.........

И вот тут-то и происходит долгая обработка. В конце концов она его обрабатывает и идет дальше.
Так что претензии которые раньше высказывал в (71) снимаются.
Возможное решение этой проблемы - обрезать строки. Добавить в настройки флаг "Отражать строки сокращенно" и резать по нему длинные строки до каких-то разумных пределов, например 200-500. В отчете все равно такой "сверхзапрос" невозможно просмотреть.
Может для полного счастья отражать в отчете что данная строка отражена сокращенно.
Могу прислать этот лог, если есть желание с ним "побороться".
77. Широкий 692 17.01.11 10:06 Сейчас в теме
(73) Мне необходимо полностью пропарсить строку, какого бы размера она не была. Если я буду резать строку, то могу пропустить некоторые параметры.
А в отчет данные же попадают усеченные до 1000 символов
78. aspirator23 339 17.01.11 10:56 Сейчас в теме
79. Широкий 692 17.01.11 11:32 Сейчас в теме
(78) Можно сделать вообще крутяк.. С каждого файла будет читаться первые 500 символов..
Глядишь и чтение ускорится и висеть не будет, и портянка будет мааааленькая :).
80. aspirator23 339 19.01.11 21:10 Сейчас в теме
(79) Возможно убрать заголовок в выходной форме, а вместо этого зафиксировать шапку отчета: когда пролистываешь вниз огромное количество строк, начинаешь забывать название колонок? Поднимаюсь наверх, кладу палец и опять вниз :) .
69. Широкий 692 16.01.11 11:13 Сейчас в теме
Bitnikov пишет:

Широкий, в моем бантике можно было читать логи и за последние 10 минут... Не обязательно кратно 1-му часу.

Дело конечно Ваше, но ИМХО зря сразу делать такое ограничение.


Расскажи, каким же образом? То, что ты сделал период с точностью до сек ничего не меняет :)
Файлы лога хранятся с периодичностью один час.
Чтобы сделать большую точностью, надо уже анализировать не имя файла, а его содержимое - т.е. строки.
А это по ресурсоемкости примерно то же, что и считать один файл без анализа строк но при формировании поставить фильтр на время.
75. Bitnikov 386 17.01.11 09:32 Сейчас в теме
Широкий пишет:
Расскажи, каким же образом? То, что ты сделал период с точностью до сек ничего не меняет
Файлы лога хранятся с периодичностью один час.
Чтобы сделать большую точностью, надо уже анализировать не имя файла, а его содержимое - т.е. строки.
А это по ресурсоемкости примерно то же, что и считать один файл без анализа строк но при формировании поставить фильтр на время.


Сделал фильтр при чтении каждой строки, анализирующий период с точностью до секунды.
Если период не подходит - строка не добавляется в таблицу СКД.
76. Широкий 692 17.01.11 10:03 Сейчас в теме
Bitnikov пишет:
Сделал фильтр при чтении каждой строки, анализирующий период с точностью до секунды. Если период не подходит - строка не добавляется в таблицу СКД.

В твоей обработке этого нет.
И как я описал это раньше - делать это считаю не разумным
81. Широкий 692 19.01.11 21:50 Сейчас в теме
aspirator23,
Заголовок можно убрать в настройках построителя.
А фиксацию сделать нельзя.. к сожалению.. Это же СКД - там можно сделать одновременный вывод и 5 таблиц сразу
82. aspirator23 339 21.01.11 12:59 Сейчас в теме
(81) насчет заголовка знаю. А вот насчет фиксации, думал это возможно в СКД. Спасибо
83. aspirator23 339 02.03.11 08:06 Сейчас в теме
(81) Столкнулся с проблемой чтения больших логов.
Включен Полный технологический журнал. Логи за сутки 24ГБ.
Возникает проблема чтения их.
Первая - долго читает, но это как-то еще можно оправдать.
Вторая - при попытке сформировать отчет - падает с нехваткой памяти.
Пример:
Выбрал интервал один час, прочитал файлы. Память съел 2ГБ.
Указал фильтр - без CONN. Задал фильтр выборки интервала событий - всего 15 минут.
Запустил отчет Сформировать. Память доросла до 3.8Гб и "упала" программа с "нехваткой памяти".
Запускал на сервере (64-разряда) где памяти 16Гб и доступно было 12ГБ. Возможно есть ограничение на размер выделяемой памяти на процесс на сервере, либо это проблема приложения 1с.
Как победить эту проблему? Как читать большие логи?
84. Широкий 692 02.03.11 09:23 Сейчас в теме
(83) Ниче так.. 24 гига :)
Считанные данные хранятся в памяти - поэтому такой объем и прочитать и вывести не получится.
В твоем случае надо делать свою базу - туда кидать данные.. А потом запросами получать нужное.
Структуру базы можно глянуть проанализировав обработку
85. aspirator23 339 02.03.11 10:57 Сейчас в теме
(84) А если хотя бы добавить возможность обработки больших данных кусками: наполнять ТЗ до определенного размера, сбросить их в промежуточный файл, а затем следующий кусок..?

Широкий пишет:
(83)
В твоем случае надо делать свою базу - туда кидать данные.. А потом запросами получать нужное.


Возможно в обработке добавить возможность сохранения данных в SQL базу? Потребность в использовании технологических журналов как правило возникает именно на больших базах, с большими логами.
91. Широкий 692 09.11.11 12:34 Сейчас в теме
Пуд пишет:

Привет автор! Обработка хорошая, но на больших ТЖ повисает и отрубается. Когда уже 1С станет нормально обрабатывать нехватку памяти....


Читай посты с (83) по (86)
86. Широкий 692 02.03.11 11:06 Сейчас в теме
aspirator23 пишет:
А если хотя бы добавить возможность обработки больших данных кусками: наполнять ТЗ до определенного размера, сбросить их в промежуточный файл, а затем следующий кусок..?

У тебя и так данные в логах сидят.. ты тупо прочитать не можешь.

aspirator23 пишет:
Возможно в обработке добавить возможность сохранения данных в SQL базу?

Почему именно скуль? Чем отдельная конфигурация на 1с не подходит.

aspirator23 пишет:
Потребность в использовании технологических журналов как правило возникает именно на больших базах, с большими логами.


Не надо про большие базы..
У нас документооборот 3-5 тыс документов/день. И у меня ни разу не возникало потребностей анализировать кусок лога даже на 50 мегов. Ты просто задолбаешься их читать.

Или делай корректную настройку logcfg.xml - чтобы только нужные события попадали или делай отдельную базу и грузи туда
87. aspirator23 339 02.03.11 11:48 Сейчас в теме
(86) Убедил, пойду logcfg.xml править.
88. al2ko 71 29.09.11 10:48 Сейчас в теме
Простая и удобная обработка. Спасибо.
89. fggf 17.10.11 06:54 Сейчас в теме
вообще крутяк, крутяк крутяков, крутяк крутецкий, просто крутитецкий:)мне нужны бонусы, чтобы слить одну гребанную обработку, поэтому я пишу тут всякую хрень, сорри поцики
90. Пуд 09.11.11 12:30 Сейчас в теме
Привет автор! Обработка хорошая, но на больших ТЖ повисает и отрубается. Когда уже 1С станет нормально обрабатывать нехватку памяти....
92. ILIAS 5 09.01.12 10:58 Сейчас в теме
А не планируется перевод обработки на 8.2 УФ ?
94. Seeker 11.01.12 09:40 Сейчас в теме
(92) в 8.2 можно запустить в толстом клиенте в обычном приложении
95. ILIAS 5 11.01.12 11:38 Сейчас в теме
(94) - всё правильно, но хотелось-бы запускать обработку и в режиме управляемого приложения.
96. GreenFox 28.03.12 00:10 Сейчас в теме
(95) Вы хотите применять обработки подобного рода через WEB-морду?
93. Широкий 692 09.01.12 11:05 Сейчас в теме
Обычные формы разве недоступны?
97. пользователь 20.04.12 08:24
Сообщение было скрыто модератором.
...
98. lees 20.04.12 13:02 Сейчас в теме
Нашему администратору пригодилась
Оставьте свое сообщение