Область применения
Внешняя обработка поддерживает 3 способа обмена - ФАЙЛ, HTTP, COM: Система слежения за дублями предопределенных элементов при загрузке; Система поиска связей объектов для выгрузки; Отборы для каждого объекта конфигурации в отдельности; Динамическая замена произвольных ссылок при обмене; Выбор регистров движений для выгрузки.
Для обмена по HTTP необходимо приобрести дополнительно позицию к основной поставке "(Расширение + конфигурация для УФ) Фоновая выгрузка-загрузка между похожими конфигурациями с поддержкой HTTP". Данная разработка работает только в паре с обработкой для управляемых форм версии 9.0 и выше!
- НОВОЕ В ВЕРСИИ 10.0! Добавлена возможность конвертировать выгружаемые объекты в режиме «Похожие объекты»! Достаточно в обработчиках «Перед выгрузкой» конвертируемых объектов прописать полное имя объекта-приемника в соответствующе колонке, и система автоматически создаст или найдет по ссылке объект-приемник и загрузит данные из реквизитов, которые совпадают по имени. Так же, перед выгрузкой вы можете заменить реквизиты, удалить или менять их значения программно в обработчике. Пока конвертировать можно ссылочные объекты в ссылочные и наборы регистров сведений в наборы регистров сведений. Но программно можно сделать что угодно, если вы сильны в языке 1С.
- НОВОЕ! Выгрузка только измененных данных, зарегистрированных в каком-либо имеющемся в базе узле планов обмена. Для выгрузки измененных нужно выбрать режим "Выгрузка измененных данных" и на второй странице выбрать план обмена и узел. Система сформирует дерево объектов по данным состава плана обмена и посчитает количество зарегистрированных объектов для каждого вида объекта. В данном режиме пока не работает отбор выгружаемых данных! Выгружаются все зарегистрированные данные для выбранных видов объектов.
- НОВОЕ! Очистка зарегистрированных данных для выбранных видов объектов при режиме выгрузки "Выгрузка измененных данных".
- 2 режима обмена - для объектов с ОДИНАКОВОЙ структурой в обменивающихся базах и ОТЛИЧАЮЩИХСЯ структурой (набором реквизитов/измерений/ресурсов, табличных частей, реквизитов табличных частей, типами реквизитов). Ранее, при обмене баз с одинаковой конфигурацией изменение хотя б одного реквизита (удаление/добавление/изменение имени) могло не дать загрузить данный объект. Например, в одной базе в документ добавили реквизит/удалили/добавили таб. часть/удалили таб часть/добавили тип. Стандартными обработками обмена между одинаковыми конфигурациями, обмен был не возможен при таких изменениях. Теперь все это в прошлом! Не нужно искать различия в объектах конфигураций после обновлений! Теперь загрузка пройдет успешно, а сопоставление данных будет выполнено по имени объекта и имени реквизита/табличных частей! Главное - это чтоб имена обменивающихся объектов конфигураций были одинаковы. Скорость при обмене объектами с одинаковой структурой выше по сравнению с отличающейся на 30%. Если Вы знаете, что структура одинакова объектов в конфигурациях, то смело выбирайте режим "Одинаковые конфигурации или объекты" - скорость будет максимальна. Если нет, то режим "Похожие конфигурации или объекты" - скорость будет ниже, но данные точно будут загружены. Стандартная обработка 1С "Выгрузка и загрузка XML" (2.1.8) таким функционалом не обладает! Если объем данных велик, то желательно его делить на порции, используя отбор и уровни ссылочности.
- Возможность обмена через ФАЙЛ или HTTP или COM! Для работы понадобится установить специальное расширение в базу-приемник «ФоноваяВыгрузкаЗагрузкаМеждуПохожимиКонфигурациями.cfe», которое можно приобрести в данной публикации, и выполнить публикацию HTTP-сервиса UploadData! Данное расширение работает только с обработкой версии 9.0 и выше! Обработка приобретается отдельно! Расширение без обработки не работает!
- НЕ создает дубли предопределенных элементов, счетов, при загрузке в конфигурациях, работающих на интерфейсе "такси" и платформе 8.3, за счет алгоритма обработки данных при загрузке, который практически не влияет на скорость загрузки (стандартная обработка 1С "Выгрузка и загрузка XML" (2.1.8) создает дубли).
- Малый размер файла выгрузки т.к. нет дублирования ссылок при выгрузке;
- Выгрузка 3х уровней ссылок - выгрузка выбранного объекта -> выгрузка реквизитов выбранного объекта -> рекурсивная выгрузка реквизитов объекта, полученного из реквизитов выбранного объекта; (например, если выбран справочник для выгрузки "Пользователи", а у него есть реквизит "Сотрудники" (справочник "Сотрудники"), а у справочника сотрудники есть реквизит "Подразделение" (Справочник "Подразделение"), то будут выгружена указанная в реквизите ссылка на справочник "Сотрудники" и указанная в реквизите справочника "Сотрудники" ссылка на справочник "Подразделение");
- Уровень выгрузки ссылок выставляется переключателем. Если выбран "1" - выгрузиться только сам объект, "2"- Выгрузиться сам объект и объекты из его реквизитов, "Все" - выгрузиться объект и реквизиты реквизитов объекта и прочие, для поддержания целостности данных.
- Для каждого объекта можно установить свой произвольный отбор, в том числе по реквизитам табличных частей. Выгрузка будет идти именно по данному отбору!. Если установлен период выгрузки, то данный период примениться как отбор ко ВСЕМ отборам объектов (если установлена галка "Для всех объектов").
- Если нужно выгрузить несколько видов документов с отбором по организации/подразделению и т.д., то можно установить отбор по организации/подразделению в одном документе, а затем нажав на элемент отбора правой клавишей мышки и выбрать из меню "Установить фильтр по данному полю для всех объектов". При это будет добавлен выбранный элемент отбора для каждого выбранного документа (выбранного в дереве галкой). Чтоб удалить данный элемент отбора во всех выбранных документах, нужно стать на элемент отбора и в контекстном меню выбрать "Удалить фильтр по данному полю для всех объектов".
- Есть возможность произвольной программной обработки каждого объекта перед выгрузкой / перед записью/ после записи. Для этого имеются 3 обработчика с конструктором запроса для каждого вида объектов / объекта метаданных, который можно вызвать, выделив нужный запрос в тексте обработчика. Обработчики срабатывают при каждой выгрузке объекта / структуры объекта или набора записей. Если будет ошибка в обработчике - система остановит выгрузку / загрузку и выдаст сообщение об ошибке. Теперь вы можете выполнять самостоятельное заполнение реквизитов нужными значениями, очищать реквизиты, задавать новые номера, добавлять текстовые маяки в комментарии и многое другое.
- Обработка одна из самых быстрых в своем классе! Быстрее типовых обработок 1С в несколько раз!;
- Динамическая подмена ссылок во время загрузки данных из файла или во время выгрузки через COM. Данная система нужна, например, когда нужно заменить контрагента и договор в определенных документах при загрузке. Список ссылок для подмены указывается на закладке "Данные для подмены" и для каждого выбранного объекта отдельно. Это позволяет при подмене ссылок, выполнять подмену именно в выбранных объектах метаданных замену, а не во всех выгружаемых данных! Так же, при указании данных для подмены для удобства, система будет отображать количество данных для каждого выбранного вида метаданных в виде "[Количество]" перед названием объекта.
- На закладке "Данные для подмены" указываем ссылку, которая используется в базе-источнике, указываем наименование и код элемента, который будет найден в базе-приемнике. Данная таблица при выгрузке передается в базу-приемник и система, на основании наименования и кода, пытается найти нужную ссылку в базе-приемнике для замены. Приоритет поиска без учета регистра: 1. Наименование+Код => 2. Код => 3. Наименование. Если система не находит ссылку по указанным данным в базе-приемнике, то такая строка удаляется из таблицы замены и больше не используется в данном сеансе загрузки. Для того, чтоб система подмены заработала при загрузке, обязательно нужно установить флаг, перед загрузкой из файла или выгрузке через COM, "Выполнять подмену выбранных ссылок при загрузке".
- Для упрощения добавления одинаковых ссылок для подмены в различные объекты метаданных, имеется команды "Копировать в буфер обмена" и "Вставить из буфера обмена" на закладке "Данные для подмены". При нажатии "Копировать в буфер обмена", система скопирует все строки, которые относятся к выбранному объекту метаданных, в буфер обмена для последующей вставки в другие объекты метаданных. При вставке идет проверка на наличие дублей ссылок для замены!
- Если выгружается документ с движениями, то замена будет выполнена и в движениях тоже.
- Замена возможна только ссылок справочников и планов видов характеристик!
- Данные, на которые будут заменяться ссылки уже должны существовать в базе!
- Имеется возможность изменять нумерацию новых документов при загрузке согласно порядку следования их в базе - приемнике. Регулируется флагом "Выполнять сброс нумерации документов при загрузке". Для того, чтоб система сработала, флаг должен быть установлен до ЗАГРУЗКИ данных или перед выгрузкой через COM!
- Есть возможность определять вхождение выбранного объекта конфигурации в другие объекты конфигурации. Найденные объекты в дереве помечаются на выгрузку. И при этом, если был установлен отбор на искомый объект в дереве, то он автоматически будет проставлен на реквизит найденных объектов связи, который ссылается на выбранный объект конфигурации. После, Вам остается только убрать галки с ненужных объектов в дереве. Это полезно когда Вы не знакомы со связями данных в конфигурации, и не можете точно определить какие данные выгружать. Данная процедура выполнятеся командами "Определить связанные объекты по реквизитам с текущим объектом" и "Определить связанные объекты по реквизитам / таб. частям с текущим объектом". Последняя команда выполняет поиск связей и в реквизитах табличных частей, а не только в реквизитах объекта.
- Данные регистров накопления, бухгалтерии, расчета выгружаются как движения выбранных документов, при указании галки "Выгружать движения документов". При этом в дереве объектов можно выбрать движения, которые будут выгружены, а каки нет. Галка "Выгружать движения документов" должна стоять.
- Движения выгружаются при любом уровне ссылок;
- Есть возможность просмотреть объекты, которые будут выгружены, регистры в том числе. Для этого выбираем галкой в дереве нужный вид объекта и переходим на закладку "Объекты, которые будут выгружены". Там будут указаны ссылки или ключи записей регистров сведений с учетом наложенных отборов на данный объект. Любую ссылку или ключ записи можно открыть.
- Для периодических регистров сведений можно выгрузить записи за период, срез первых на начало/конец периода, срез последних на начало/конец периода.
- При загрузке данных, поиск объектов идет по уникальному идентификатору и полям поиска. Если УИД не будет найден в базе-приемнике, и будут заданы поля поиска, то система будет пробовать получить нужный объект. Если не найдет, то будет создан объект из файла. Если установлен флаг "Записывать только новые объекты при загрузке", то система просто подставит ссылку, но не обновит данные объекта в базе-приемнике.
- Сохранение и восстановление всех настроек обработки(выбранных элементов,отборов для каждого вида объектов);
- Есть возможность загружать отборы по ссылкам из файла с расширением .xlsx определенного строения. В файле обязательно должны быть 3 колонки (с названиями точно как написано) : ЕстьВПриемнике (Да/Нет), ПолноеИмя (в виде Документ.АвансовыйОтчет), СсылкаКЗ (сериализованная ссылка функцией ЗначениеВСтрокуВнутр). Названия колонок должны присутствовать в файле в начале, расположение не критично в рамках файла. Для чего это нужно? Это позволяет выгружать единичные документы разного вида, например, не тратя время на задание какие документы брать. Так же эта функция дает возможность работать в паре с обработкой для сравнения данных моего производства (//infostart.ru/public/692252/). Из данной обработки вы сохраняете результат сравнения в файл с такими колонками, как указано выше. Далее, вы в этом файле оставляете то, что вам нужно, путем удаления не нужных строк. Этот файл загружаем на этапе выгрузки данных в базе-источнике, на странице выбора объектов для выгрузки, в меню «Операции с объектами» - «Загрузить список данных для отбора». Система прочитает данные и по полным имена объектов установит отборы по реквизиту «Ссылка». Отборы дополняются данными из файла, а не перезаписываются.
- Есть возможность при загрузке документов, делать их не проведенными, если они были проведенными в базе-источнике. При этом система снимает флаг ПРОВЕДЕН = ЛОЖЬ, но не выполняет запись с отменой проведения в угоду скорости записи объектов. Следовательно, очистка регистров не происходит. Поэтому, если выполняется перенос документов, то не нужно ставить флаг «Выгружать движения», а иначе в базе-приемнике будут не проведенные документы с движениями!
С конфигурациями 8.1 обработки работают только в режиме совместимости с 8.2 (обычное приложение)!
COM-соединение идет через V82.Comconnector (V83.Comconnector). Возможно, может не быть установлен на компьютере данный компанент. Как устанавливать читаем здесь http://forum.infostart.ru/forum24/topic45491/
Возможно, что при выборе справочника/документа/регистра/ПВХ, в таблице отбора, не будет доступных полей для отбора в управляемой форме. Это значит у Вас не включена функциональная опция, которая блокирует использование данного объекта! Это особенности управляемого приложения и СКД!
Данные обработки могут перенести данные без потерь между одинаковыми конфигурациями или похожими, с различными версиями релизов, такими как:
- УТ 11 <-> УТ 11
- УТ 10.3 <-> УТ 10.3
- БП 2 <-> БП 2
- БП 3 <-> БП 3
- КА 1 <-> КА 1
- КА 2 <-> КА 2
- Розница 2 <-> Розница 2
- УНФ 1.6 <-> УНФ 1.6
- ЗУП 2.5 <-> ЗУП 2.5
- ЗУП 3 <-> ЗУП 3
- и т.д.
Возможны так же обмены между следующими базами, но перенесены будут только объекты которые называются одинаково в обоих базах, и только те реквизиты, которые имеют одинаковые имена в данных объектах:
- УТ 11 <-> УТ 10.3
- БП 2 <-> БП 3
- КА 1 <-> КА 2
- ЗУП 2.5 <-> ЗУП 3
- и т.д.
В клиент-серверном варианте работы обработка не видит файлы на локальной машине, данные должны быть на сервере, чтобы служба 1С их видела!
Немного технических данных об обработке:
- Код открыт, можно дорабатывать самостоятельно
- Общее количество строк кода около 5200! И модернизация не прекращается...
- Выгрузка всех видов документов (более 32,5 тыс.) с движениями в файл на уровне "Все" (3) в режиме "Одинаковые объекты" занимает около 15 минут. При этом выгружается около 107 000 объектов (Конфигурация "Бухгалтерия предприятия 3.0"). Стандартная обработка 1С "Выгрузка и загрузка XML" (2.1.8) выполняет данные действия за 35 мин!
- Выгрузка всех видов документов (более 32,5 тыс.) с движениями в файл на уровне "Все" (3) в режиме "Схожие объекты" занимает около 25 минут. При этом выгружается около 107 000 объектов (Конфигурация "Бухгалтерия предприятия 3.0"). Стандартная обработка 1С "Выгрузка и загрузка XML" (2.1.8) этого не умеет!
- Обмен тестировался на отличающихся релизах бухгалтерии 3.0, а так же успешно проходил обмен документами (с нюансами) между УТ 11 для России и УТ для Казахстана. Эти конфигурации сильно отличаются друг от друга, но информация по имени смогла сопоставиться в большинстве случаев, что является показателем универсальности данной обработки.
Рекомендации по переносу данных с помощью обработки:
- Сперва выгружаем-загружаем ссылочные данные - справочники, планы видов характеристик, виды расчетов, планы счетов и т.д.
- Потом константы
- После, документы (можно с движениями), задачи, бизнес-процессы с отборами по дате с интервалами месяц - год. Решаете сами, в зависимости от мощности сервера и объема данных
- Не забываем ставить отборы на документы вида Проведен = Истина или ПометкаУдаления = Ложь, чтоб не переносить лишнее
- При загрузке может быть полезно снять флаг "Прервать процесс загрузки при возникновении ошибок", т.к. если в конфигурации есть проверка перед записью на какой-нибудь реквизит, а он не пришел еще в базу, а будет далее загружен, то загрузка будет прервана, что может и не нужно. В таком случае, есть смысл снять галку и попробовать загрузить данные либо раздельно, либо просто дважды.
Не забываем делать бэкапы баз-приемников!
Данная обработка входит в Топ-100 продаж сайта "Инфостарт" за все время!
Видеопример работы обработки для УФ версии 9:
Видео сравнение выгрузки номенклатуры между версией 9 и типовой с ИТС
Видео сравнение выгрузки документов между версией 9 и типовой с ИТС
Обновление от 22.07.2023, версия 10.0 (УФ)!
- Добавлена возможность конвертировать выгружаемые объекты в режиме «Похожие объекты»! Достаточно в обработчиках «Перед выгрузкой» конвертируемых объектов прописать полное имя объекта-приемника в соответствующе колонке, и система автоматически создаст или найдет по ссылке объект-приемник и загрузит данные из реквизитов, которые совпадают по имени. Так же, перед выгрузкой вы можете заменить реквизиты, удалить или менять их значения программно в обработчике. Например, нам нужно выгрузить реализацию в поступление. Без проблем! В обработчике «Перед выгрузкой» напротив вида объектов «Реализация товаров и услуг» прописываем полное имя документа-приемника «Документ.ПриобретениеТоваровУслуг». И меняем или устанавливаем нужные нам реквизиты. Все, готово! Теперь просто выгружаем данные и загружаем. Результат можем видеть ниже. Пока конвертировать можно ссылочные объекты в ссылочные и наборы регистров сведений в наборы регистров сведений. Но программно можно сделать что угодно, если вы сильны в языке 1С.
Обновление от 02.04.2023, версия 8.10 - 9.5 (УФ, ОФ)!
- Более чем в 10 раз уменьшился размер выходного файла с данных за счет сжатия данных при выгрузке. Например, выгрузка одних и тех же данных ранее весила 802 Мб, теперь занимает 19.8 Мб (В 40 раз уменьшился размер!).
- Увеличена на 30% скорость выгрузки зарегистрированных данных из планов обмена.
- Исправлена ошибка при загрузке сохраненных настроек, когда дерево объектов могло не восстанавливаться в том виде, в котором сохранялось.
- Обновлено расширение для фоновой выгрузки-загрузки по http.
Обновление от 10.02.2023, версия 8.9 - 9.4 (УФ, ОФ)!
- Добавлена возможность выгружать измененные данные, зарегистрированные в каком-либо имеющемся в базе узле планов обмена. Для выгрузки измененных нужно выбрать режим "Выгрузка измененных данных" и на второй странице выбрать план обмена и узел. Система сформирует дерево объектов по данным состава плана обмена и посчитает количество зарегистрированных объектов для каждого вида объекта. В данном режиме пока не работает отбор выгружаемых данных! Выгружаются все зарегистрированные данные для выбранных видов объектов. Остальное поведение осталось без изменения.
- Добавлена возможность так же очищать зарегистрированные данные для выбранных в дереве видов объектов через команду в меню "Операции с объектами" - "Удалить регистрацию для выбранных объектов".
- В режиме выгрузки измененных данных, система в списке "Объекты, которые будут выгружены" показывает только зарегистрированные объекты.
Обновление от 13.01.2023, версия 8.8-9.3 (ОФ, УФ)!
-
Улучшен вывод ошибок при поиске данных по полям поиска при загрузке. Теперь если есть ошибка при чтении данных, то система смотрит на флаг "Прервать процесс загрузки при возникновении ошибки" и если он установлен, то прерывает загрузку. Если нет - продолжает дальше загрузку, но выводит информацию в лог.
-
Теперь если не указаны поля поиска для какого-нибудь вида объектов, то система предупредит об этом в логе, но продолжит загрузку таких данных с поиском по уникальному идентификатору (ссылке). Это полезно, когда нужно искать не все загружаемые объекты по полям поиска. В предыдущих версиях прерывало процесс полностью и не давало загружать.
Обновление от 18.12.2022, версия 9.2 (УФ)!
- Исправлена ошибка при загрузке данных, когда файл не видела обработка, если он располагался в том месте, где служба 1С сервера не видела файл с данными.
Обновление от 20.09.2022, версия 8.7-9.1!
- Исправлена ошибка, при которой, если выбрать сперва документы в дереве объектов, а уже потом ставить галку "Выгружать движения документов", то регистры документов были не выбраны и выгрузка движений не шла. Нужно было в ручном режиме ставить галки на каждый регистр каждого выбранного документа.
Обновление от 13.10.2021, версия 9.0 (пока только для УФ)!
- Переработана полностью система работы с обработчиками событий и настройками полей поиска! Теперь список объектов представляет дерево всех объектов конфигурации, где открыта обработка. Это упрощает процесс поиска нужных объектов и не нужно обращаться к конфигуратору. Более подробно описано в справке
- Создано расширение "ФоноваяВыгрузкаЗагрузкаМеждуПохожимиКонфигурациями.cfe" для возможности работы в фоне данной обработки и поддержки обмена по HTTP. Режим совместимости 8.3.12+
- Обработка научилась работать в фоне! Для работы в фоне нужно установить специальное расширение «ФоноваяВыгрузкаЗагрузкаМеждуПохожимиКонфигурациями.cfe», которое приобретается отдельно, и в основную конфигурацию добавить регламентное задание и общий модуль из прилагаемой конфигурации. Как это сделать – описано в другой справке «Инструкция по установке и настройке выгрузки-загрузки в фоновом режиме», которую так же можно скачать в данной публикации по ссылке в самом начале справки.
- Добавлен механизм обмена через протокол HTTP! Выгрузить-загрузить данные стало и просто и быстро! Для работы так же понадобится установить специальное расширение в базу-приемник «ФоноваяВыгрузкаЗагрузкаМеждуПохожимиКонфигурациями.cfe» и выполнить публикацию HTTP-сервиса UploadData! Данное расширение работает только с обработкой версии 9.0 и выше!
- Доработан механизм уведомления от системы поиска ссылочных данных по полям поиска. Теперь если будут ошибки, то они буду выведены сразу по всем данным в удобном формате, где будет видно и название вида объекта, и его синоним, и какой это объект – предопределенный или нет, и значения полей поиска. Ранее система прерывала выполнение на каждом таком этапе. Флаг «Прервать процесс загрузки при возникновении ошибки» не влияет на данные проверки! Если будут неоднозначные данные, то загрузка будет прервана в любом случае!
- Обновлена справка по обработке (все новшества описаны в конце) и создана новая "Инструкция по установке и настройке выгрузки-загрузки в фоновом режиме".
История обновлений
Техническая поддержка и обновления
Бесплатный период техподдержки составляет 1 месяц со дня покупки
Также после приобретения вы получаете 12 месяцев бесплатных обновлений.
По окончанию бесплатного периода вы можете приобрести услугу технической поддержки с доступом к обновлениям на месяц на платной основе.
Проверить наличие обновлений можно в личном кабинете. Если обновления недоступны - загрузить новую версию можно после покупки обновлений/технической поддержки.
Задать вопрос по программе можно по кнопке "Техподдержка" на странице описания.
При создании тикета необходимо предоставить:
- Номер заказа
- Описание вопроса. Если это ошибки - напишите порядок ваших действий с программой, которые к ней привели (приложите видео/скриншоты/отчеты об ошибке)
- Точную конфигурацию 1С, и версию платформы, на которой используете купленное решение (наименование и версию 1С можно взять из раздела "О программе"), версию купленной программы.
К созданной заявке подключается специалист. Дальнейшее обсуждение проблемы будет проходить в тикете техподдержки. Срок реакции - от 24 до 72 часов в рабочие дни с момента обращения.
Причины купить
- Быстрый алгоритм выгрузки данных.
- Возможность выбрать связанные объекты, если не знаете устройство конфигурации. Экономит силы и время.
- Несколько уровней выгрузки ссылок на разные случаи
- Возможность выбрать различные регистры движения для выгрузки данных
- Сохранение настроек с отборами
- Установка общих отборов для всех выбранных объектов конфигурации, что экономит время и силы.
