Сценарное сравнение данных (версия 1.5.12)

25.02.21

Задачи пользователя - Поиск данных

Прикладное решение Сценарное сравнение данных (ССД) предназначено для автоматизации процесса поиска расхождений в данных.

Скачать исходный код

Наименование Файл Версия Размер
Сценарное сравнение данных
.cf 512,03Kb
29
.cf 1.5.12 512,03Kb 29 Скачать

Ядром решения является обработка Консоль сравнения данных (КСД). Консоль сама по себе позволяет в один момент времени провести только одно сравнение между данными из двух источников по заданным пользователям правилам. Текущее же прикладное решение позволяет вручную либо с помощью механизма регламентных заданий выполнить цепочку операций сравнения с уведомлением о результате сравнения по заданным пользователем каналам связи.

Возможно сравнение данных, полученных из следующих источников:

  • информационные  базы  1С  (через  COM,  а  также  текущая  информационная  база,  если конфигурацию ССД объединить с конфигурацией рабочей базы);
  • базы  данных  SQL  (Microsoft  SQL  Server,  PostgreSQL  и  др.,  для  которых  есть  подходящий драйвер);
  • файлы формата CSV/TXT/DBF/XLS/XML.

Алгоритм работы с прикладным решением:

  1. Формирование списка всех возможных «точек контроля» (неудачный термин, но пока я не придумал более подходящий) в учетных системах (или файлах), равенство данных в которых важно для  компании  (остатки  и  обороты  на  р/с,  остатки  и  обороты  дебиторской  и  кредиторской задолженности, синхронизируемые документы и элементы справочников и т.д).
  2. Создание для каждой «точки контроля» одной или нескольких операций сравнения данных с  помощью Консоли сравнения данных (например,  для  контроля  поиска  расхождений остатков  по  остаткам  на  расчетных  счетах    между  данными  торговли  и  бухгалтерии,  как минимум, нужна операция (1) для сравнения, собственно, остатков, затем операция (2) сравнения суммы оборотов за последние Х дней как ближайший кандидат на расхождение, затем операция (3) сравнения суммы оборотов по дням за эти же Х дней для выявления дня (вместо дней можно, взять любую другу подходящую под данную ситуацию аналитику или несколько аналитик (регистратор, номер расчетного счета и т.д.) по выбору пользователя).
  3. Настройка  всех  возможных  комбинаций  вариантов  передачи  сообщений  (запись  в  файл, запись в журнал регистрации, отправка по электропочте, отправка в корпоративный чат  MyChat) и событий, инициирующих отправку сообщения (совпадение данных, расхождение данных, ошибка) (например, при любых ошибках сообщение должно быть записано в файл и журнал регистрации, а также отправлено на электронную почту и в чат техническому специалисту, при расхождении данных в одних «точках контроля» – отправка сообщения на электронную почту ответственным сотрудникам  и  запись  расхождений  в  файл,  при  расхождении  в  других  –  отправка  и  только техническому специалисту и запись расхождений в файл и т.д.).
  4. Создание сценария для каждой или нескольких «точек контроля», в котором будет указана последовательность и условия выполнения операций сравнения (например, для поиска расхождения остатков  на  р/с  необходимо  определить,  имеет  ли  место  факт  расхождения  (чтобы  не сравнивать сразу обороты, что отнимет больше ресурсов у сервера, чем получение остатков) с помощью операции (1), в случае расхождения с помощью операции (2) необходимо определить, есть ли  расхождения  в  сумме  оборотов  за  последние  Х  дней/месяцев,  если  есть  расхождения,  то  с помощью  операции  (3)  будет  найден  день  (или  другая  аналитика),  в  котором  возникли расхождения,  а  если  за  последние  Х  дней  расхождений  в  суммах  не  найдено,  то  требуется повторить операции (2) и (3) для предыдущего/следующего периода и т.д.).
  5. Логическая  группировка  сценариев  по  времени  и  частоте  выполнения  в  зависимости  от загрузки  сервера,  времени  работы  пользователей  и  др.,  создание  для  каждой  группы  сценариев отдельного регламентного задания.

Требуется версия платформы 8.3.7.1759.

При возникновении вопросов пишите в комментах, в личку, на электропочту или в скайп (данные есть в справке конфигурации).

С помощью данного прикладного решения, оперирующего само собой, объектами 1С, не стоит сравнивать таблицы значений из сотен тысяч и более строк, для этого стоит поискать более высокопроизводительный инструмент.

P.S. Благодарю пользователя Alxby за возможность использовать его библиотеки для работы с графической схемой, а также пользователей starik-2005 и kosmo0 за конструктивные диалоги в комментариях к Консоли сравнения данных, подтолкнувшие меня к написанию конфигурации ССД.

сравнение данные сценарий сравнить SQL TXT DBF CSV XML контроль сопоставление сопоставить

См. также

Быстрый поиск дублей с четким/нечетким поиском по любому сочетанию реквизитов/реквизитов таб. частей с отбором и быстрой заменой значений в ЛЮБЫХ базах 8.1-8.3 (УТ 10.3, БП 2, ЗУП 2.5, КА 1.1, УТ 11, БП 3, УНФ 1.6/3.0, КА 2, ЗУП 3 и т.д.)

Поиск данных Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Платные (руб)

Обработки помогут Вам легко и, главное, быстро (в 5 раз и быстрее штатной обработки 1С), выполнить поиск дублирующих данных в Ваших базах 1С на платформах 8.1-8.3. Это позволит уменьшить объем лишней информации в справочниках и документах, планах видов характеристик и др., упростит работу с данными пользователям. А так же можно, одним нажатием, узнать в каких ссылочных объектах есть вообще дубли! Понятное расположение команд и настроек, в сочетании с описанием и справкой, еще упростят процесс. А так же обновления Вы получаете бесплатно в течение года с момента приобретения данных обработок! (Обновление от 27.11.2023, версия 6.12)

10800 руб.

14.05.2012    155527    327    252    

559

Журнал изменений с восстановлением состояния ссылочных объектов и архивацией по HTTP / COM (расширение + конфигурация, 8.3.14+, ЛЮБАЯ конфигурация)

Архивирование (backup) Журнал регистрации Поиск данных Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 1С:Управление торговлей 11 Платные (руб)

База данных «сама» меняет данные в документах/справочниках? Тогда данный журнал изменений для Вас! Практически не влияет на скорость записи объектов за счет быстрого алгоритма! Скорость работы почти в 2 раза выше типового механизма "История изменений"! Позволяет следить за изменениями и удалением в любых ссылочных объектах конфигурации, с возможностью архивации по HTTP(!) или COM, и сверткой данных. А так же, может восстановить состояние реквизитов (значения) до момента изменения или удаления объекта из базы. Есть ДЕМО-база где можно самостоятельно протестировать часть функционала! Работает на любых платформах выше 8.3.14+ и любых конфигурациях! Версия 3.1 от 24.08.2023!

21600 руб.

15.05.2017    42620    10    24    

38

Кто такая Мантикора?

Поиск данных Платформа 1С v8.3 Россия Абонемент ($m)

Статья об опыте развертывания и интеграции с базой данных Manticore Search для быстрого полнотекстового поиска.

1 стартмани

30.11.2023    3223    andreysidor4uk    16    

46

PowerOffice

Поиск данных Корректировка данных Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

PowerOffice - обработка для поиска, просмотра и обработки данных для пользователей. Доступ к объектам на просмотр и редактирование данных определяется правами пользователя.

1 стартмани

05.06.2023    1971    23    PowerBoy    1    

15

Получение ссылки по бинарной строке PostgreSQL или MSSQL

Поиск данных Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Абонемент ($m)

Получение ссылки в 1С по бинарной строке из PostgreSQL в виде строки формата bytea или из MSSQL в виде шестнадцатиричной строки. Кроме ссылочных объектов ссылки могут быть получены и для перечислений. Это может быть полезно при анализе логов журнала регистрации или СУБД.

1 стартмани

04.04.2023    2634    2    berserg    2    

12

Поиск документов с ошибками проведения, универсальный

Поиск данных Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Абонемент ($m)

Обработка позволяет найти проведенные документы без движений и, наоборот, НЕ проведенные документы с движениями. Подходит для любой конфигурации.

1 стартмани

18.08.2022    3021    22    KVIKS    3    

10

Поиск и замена значений + Поиск дублирующихся элементов справочников с подключением к внешней базе

Поиск данных Корректировка данных Платформа 1С v8.3 Управляемые формы Платформа 1C v8.2 Конфигурации 1cv8 Платные (руб)

Обработка предназначена для гибкого поиска и дальнейшей замены дублей справочников, документов, а также планов видов расчетов и планов видов характеристик. В обработку включена возможность проверки наличия ссылки во внешней базе (по УИДу), поиска дублей с предварительным отбором, а также произвольной обработки реквизитов перед поиском (например, возможно удалить определенные символы из наименования).

3600 руб.

30.03.2022    8612    3    0    

5
Комментарии
Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. sertak 314 18.08.19 12:13 Сейчас в теме
Актуальная инструкция к конфигурации доступна здесь.
wowik; cheburashka; 27272; +3 Ответить
2. sertak 314 20.08.19 09:36 Сейчас в теме
Версия 1.1.2:
обновлены отчеты и обработки до последних версий;
режим совместимости изменен на 8.3.6.
3. kosmo0 108 22.08.19 08:51 Сейчас в теме
Опять укажу потенциальную граблю. Если сравнение идет ТОЛЬКО по представлению, то в некоторых случая возможны ошибки. Было дело пришлось менять какой-то документ по зарплате и персоналу. Что-то в табличной части менял/добавлял руками. По итогу сравнивал с движениями этого же документа до изменений - изменений не было (вроде как). Сам удивляюсь, как заметил что в одной строке "Иванов Иван Иваныч" ранее был из справочника ФизЛицо, а я поставил из справочника Сотрудники. То есть тип столбца в документе включал эти оба справочника. И по представлению нельзя определить из какого справочника элемент.
4. sertak 314 22.08.19 08:52 Сейчас в теме
(3) Пользователь, использующий инструмент, САМ выбирает ключи. Можно сделать составной, указав тип во втором столбце ключа, можно вытянуть GUID, да что фантазия позволит, то и можно.

И обсуждать такие темы удобнее напрямую в публикации с самой обработкой КСД: https://infostart.ru/public/581794/, а текущая публикация - это инструмент для автоматического выполнения уже заполненной обработки КСД.
5. sertak 314 04.02.20 10:49 Сейчас в теме
Версия 1.1.3:
отчеты и обработки обновлены до последних версий.
6. cheburashka 41 25.04.20 21:40 Сейчас в теме
Мелочь, конечно, но у поля "Пароль" в форме настройки подключения к базе лучше включить режим пароля.
7. sertak 314 26.04.20 22:19 Сейчас в теме
8. cheburashka 41 27.04.20 21:55 Сейчас в теме
(7) Еще несколько нюансов, на которые я обратил внимание. Прошу не принимать их близко к сердцу. Возможно в следующей версии вашей разработки они найдут свое место в ней:
1) в учетной записи электронной почты наименование слишком короткое;
2) было бы отлично иметь возможность протестировать настройки учетной записи эл. почты;
3) диалог выбора каталога расхождений в сценарии;
4) возможность указания нескольких получателей эл. письма (списком или через разделитель в строке);
5) флажок "Актуальность" у сообщений лучше сразу устанавливать в Истину при создании нового элемента, иначе его легко пропустить. Я пропустил уже дважды;
6) в инструкции сказано "Консоль заданий, входящая в прикладное решение", но никакой консоли заданий я не нашел.

Судя по скринам в инструкции у вас есть сообщение для отправки писем всем пользователям. Но как я понял отправляется только файл CSV, который обычным пользователям просматривать очень неудобно. Я правильно понял, что альтернатив кроме CSV нет?
9. sertak 314 27.04.20 22:46 Сейчас в теме
(8) Спасибо за обратную связь! Проверю все и отпишусь в личку по каждому пункту.
11. sertak 314 28.04.20 12:05 Сейчас в теме
(8) Реализовано в версии 1.2.0.
10. sertak 314 28.04.20 12:05 Сейчас в теме
Версия 1.2.0:
при создании нового элемента справочника Шаблоны сообщений флаг Актуальность устанавливается по умолчанию;
в форме справочника Учетные записи электронной почты добавлена возможность тестирования подключения;
увеличена длина наименования справочника Учетные записи электронной почты;
отчеты и обработки обновлены до последних версий;
режим совместимости изменен на 8.3.7.
P.S. Спасибо пользователю cheburashka за идеи и конструктивную критику.
12. cheburashka 41 28.04.20 15:56 Сейчас в теме
(10) Отлично, спасибо! Ваша разработка действительно хороша и сейчас очень актуальна для меня. Единственное я так и не получил ответ на вопрос:
Судя по скринам в инструкции у вас есть сообщение для отправки писем всем пользователям. Но как я понял отправляется только файл CSV, который обычным пользователям просматривать очень неудобно. Я правильно понял, что альтернатив кроме CSV нет?


Если в планах добавлять другие варианты нет, то я сам сделаю и потом могу поделиться с вами. Мне важно чтобы пользователи могли без моего участия разбираться в расхождениях. Для этого им нужно удобное представление расхождений.
13. sertak 314 28.04.20 16:28 Сейчас в теме
(12) Я писал в личку. Продублирую здесь:
На данный момент нет, обработка выгружает в таблицу значений, а из нее в csv. В принципе можно допилить выгрузку в другие форматы, если есть предложения.

У меня пользователем являюсь я ), поэтому csv меня устраивает. Вполне можно доработать, какие форматы для выгрузки таблицы расхождений вы видите удобными для конечных пользователей?
14. sertak 314 30.04.20 16:56 Сейчас в теме
Версия 1.3.5:
реализована возможность отправки файла расхождений по электронной почте;
обработка КСД обновлена до последней версии (теперь поддерживается выгрузка файла расхождений в форматах CSV, DOCX, HTML, MXL, ODS, PDF, TXT, XLS, XLSX).
15. sertak 314 06.05.20 22:32 Сейчас в теме
Версия 1.3.6:
обработка КСД обновлена до последней версии (исправлена ошибка, возникавшая при сравнении по составному ключу в последней версии обработки).
16. sertak 314 17.05.20 14:30 Сейчас в теме
Версия 1.4.7:
реализована возможность гибкой настройки формата имен файлов расхождений;
обработка КСД обновлена до версии 15.2.51 (теперь поддерживается предварительный просмотр данных из каждого источника).
17. sertak 314 03.09.20 10:23 Сейчас в теме
Версия 1.4.8:
при пометке сценария на удаление не проверяются никакие требования к заполнению реквизитов и т.п.;
добавлена команда О программе;
обработка КСД обновлена до версии 15.2.53.
18. sertak 314 18.02.21 10:27 Сейчас в теме
Версия 1.4.10:
обработка КСД обновлена до версии 15.6.58.
19. sertak 314 23.02.21 12:32 Сейчас в теме
Версия 1.4.11:
обработка КСД обновлена до версии 15.9.61.
20. sertak 314 25.02.21 11:16 Сейчас в теме
Версия 1.5.12:
добавлена команда "Консоль сравнения данных" для обеспечения возможности одновременного открытия нескольких экземпляров консоли сравнения данных;
реализована возможность сохранения/загрузки сценария в файл/из файла;
реализована возможность добавления собственного произвольного префикса к именам автоматически выгружаемых файлов расхождений;
реализована возможность передачи параметров из сценария в запросы 1С операций сравнения (ранее такая возможность была реализована только для параметров ДатаНачала и ДатаОкончания);
справочник ВС_СценарииСравненияДанных стал иерархическим для обеспечения удобства группировки сценариев.
21. sertak 314 25.02.21 11:19 Сейчас в теме
Коллеги, извиняюсь, что не успеваю актуализировать инструкцию. При возникновении вопросов пишите в комментах, в личку, на электропочту или в скайп (данные есть в справке конфигурации).
22. softbear 2 28.09.21 17:16 Сейчас в теме
Как получить параметр запроса если надо значение COMОбъект
Например COMОбъект.ПланыВидовХарактеристик.ВидыСубконтоХозрасчетные.Номенклатура
Оставьте свое сообщение