Синхронизация данных не справляется с БП Агрокомплекс
Подскажите в какую сторону копать?
Из за большого количества проводок, документы из БП 3.0 очень долго выгружаются в центральную базу УХ. Прогноз передачи всего объема данных оценивается порядка месяца. Т.е. на этот период синхронизация данных будет работать только на передачу этих документов, что недопустимо.
Подробнее.
Агропромышленная компания занимающаяся растениеводством: Есть центральная база УХ(3.0.5.9) на платформе 8.3.16.1063 и несколько периферийных баз БП(3.0.81.25) на платформе 8.3.15.1830 с расширением отраслевого решения "Агрокомплекс".
Данные бухгалтерского учета из периферийных баз консолидируются в центральной посредством механизма "Синхронизация данных".
Синхронизация настроена через ftp хранилище.
Проблема состоит в особенности распределения косвенных затрат. В течении всего года косвенные затраты аккумулируются на 25 и 26 счетах, а в конце календарного года происходит распределение на затраты основного производства(счет 20). Наверно, упоминание счетов особого значения не имеет. Здесь я хотел только сказать про особенность учета сельскохозяйственного производства, которое имеет годовой цикл.
В результате 31 декабря в базах БП формируется несколько бухгалтерских документов с огромным количеством проводок, которые по синхронизации данных передаются в центральную базу УХ. Передачи всего этого объема нет возможности дождаться, т.к. обмен блокируется для передачи другой оперативной информации на очень долгий срок порядка месяца.
Вопрос: какие варианты решения проблемы передачи большого объема данных существуют?
Хочу попробовать провести обмен через конвертацию данных.
Крайний вариант, в центральную базу не передавать все проводки, а только их результат(итоговые остатки), но для этого придется решать проблему не только технически, но и методологически, убеждая Заказчика смириться с отсутствием оборотов за период.
Из за большого количества проводок, документы из БП 3.0 очень долго выгружаются в центральную базу УХ. Прогноз передачи всего объема данных оценивается порядка месяца. Т.е. на этот период синхронизация данных будет работать только на передачу этих документов, что недопустимо.
Подробнее.
Агропромышленная компания занимающаяся растениеводством: Есть центральная база УХ(3.0.5.9) на платформе 8.3.16.1063 и несколько периферийных баз БП(3.0.81.25) на платформе 8.3.15.1830 с расширением отраслевого решения "Агрокомплекс".
Данные бухгалтерского учета из периферийных баз консолидируются в центральной посредством механизма "Синхронизация данных".
Синхронизация настроена через ftp хранилище.
Проблема состоит в особенности распределения косвенных затрат. В течении всего года косвенные затраты аккумулируются на 25 и 26 счетах, а в конце календарного года происходит распределение на затраты основного производства(счет 20). Наверно, упоминание счетов особого значения не имеет. Здесь я хотел только сказать про особенность учета сельскохозяйственного производства, которое имеет годовой цикл.
В результате 31 декабря в базах БП формируется несколько бухгалтерских документов с огромным количеством проводок, которые по синхронизации данных передаются в центральную базу УХ. Передачи всего этого объема нет возможности дождаться, т.к. обмен блокируется для передачи другой оперативной информации на очень долгий срок порядка месяца.
Вопрос: какие варианты решения проблемы передачи большого объема данных существуют?
Хочу попробовать провести обмен через конвертацию данных.
Крайний вариант, в центральную базу не передавать все проводки, а только их результат(итоговые остатки), но для этого придется решать проблему не только технически, но и методологически, убеждая Заказчика смириться с отсутствием оборотов за период.
Ответы
Подписаться на ответы
Инфостарт бот
Сортировка:
Древо развёрнутое
Свернуть все
(1)
Что за документы формируются?
Что там за оперативная информация которая блокирует на месяц обмен?
В результате 31 декабря в базах БП формируется несколько бухгалтерских документов с огромным количеством проводок, которые по синхронизации данных передаются в центральную базу УХ.
Что за документы формируются?
т.к. обмен блокируется для передачи другой оперативной информации на очень долгий срок порядка месяца.
Что там за оперативная информация которая блокирует на месяц обмен?
В том то и проблема, что изменение частоты выгрузки не поможет, т.к. большое количество проводок появляется 31 декабря. И этот объем необходимо выгрузить за приемлемый срок - например, за ночь.
Документ, генерирующий большое количество проводок (порядка 100 тысяч штук) называется "Регламентная операция".
Помимо консолидации фин. данных, должна происходить синхронизация НСИ, например, контрагенты. Поэтому когда обмен занят синхронизацией проводок, контрагенты не передаются, а это мешает повседневной деятельности.
Технология обмена типовая, настраивается в администрировании в разделе "Синхронизация данных".
Документ, генерирующий большое количество проводок (порядка 100 тысяч штук) называется "Регламентная операция".
Помимо консолидации фин. данных, должна происходить синхронизация НСИ, например, контрагенты. Поэтому когда обмен занят синхронизацией проводок, контрагенты не передаются, а это мешает повседневной деятельности.
Технология обмена типовая, настраивается в администрировании в разделе "Синхронизация данных".
(8)Сложно так подсказать что то, не видя проводок, файла обмена, что зарегистрировано к обмену и тд
Можно предположить что проблема долгой выгрузки может быть связана с форматом выгружаемых данных, когда каждая проводка выгружается в отдельный узел xml. Тогда будет выгружаться долго и файл будет весить много.
Надо смотреть что за проводки формируются и действительно их должно быть 100К, нельзя ли их свернуть. Сколько объектов зарегистрировано к обмену, в каком формате выгрузятся проводки и тд.
Можно написать свой перенос только для этих документов, выгрузили проводки в свой формат, на другой стороне загрузили. В узле сняли проводки с регистрации. Остальные объекты типовым обменом.
Можно предположить что проблема долгой выгрузки может быть связана с форматом выгружаемых данных, когда каждая проводка выгружается в отдельный узел xml. Тогда будет выгружаться долго и файл будет весить много.
Надо смотреть что за проводки формируются и действительно их должно быть 100К, нельзя ли их свернуть. Сколько объектов зарегистрировано к обмену, в каком формате выгрузятся проводки и тд.
Можно написать свой перенос только для этих документов, выгрузили проводки в свой формат, на другой стороне загрузили. В узле сняли проводки с регистрации. Остальные объекты типовым обменом.
(9) Спасибо за совет - изучу получаемую структуру xml.
Вариант со сворачиванием проводок и исследованием на некорректное поведение системы - тоже вариант.
Два параллельных переноса - и эта идея мне нравится!
Наверно, теперь есть куда идти, спасибо, что помогли освежить взгляд на эту проблему!
Вариант со сворачиванием проводок и исследованием на некорректное поведение системы - тоже вариант.
Два параллельных переноса - и эта идея мне нравится!
Наверно, теперь есть куда идти, спасибо, что помогли освежить взгляд на эту проблему!
(1)
Думаю, что оптимально будет регламентные операции из баз БП в УХ по синхронизации не выгружать, вынести этот обмен в отдельные правила обмена,созданные в КД.
31 декабря в базах БП формируется несколько бухгалтерских документов с огромным количеством проводок, которые по синхронизации данных передаются в центральную базу УХ.
Думаю, что оптимально будет регламентные операции из баз БП в УХ по синхронизации не выгружать, вынести этот обмен в отдельные правила обмена,созданные в КД.
Если нужно перенести только операцию то сделайте через какуюнить условную ексель дбв, в которой будут только кода справочников для субконто (контрагентов, номенклатур) и что там у вас, с дебитом кредитом, количеством и суммой (будет весить фигню) и соот. так же его загружайте в УХ (вопрос как это там отражается, так же операцией, или конвертируется в сто тыщ разных документов.
(13)
Не будет быстрее.
У вас проблема в одном документе, если вы его вынесете в отдельный план, будет та же проблема, только в отдельном плане обмена. Так же будет "застревать" один документ с 100К проводками.
Снимите с регистрации все объекты кроме вашей рег операции у которой 100К проводок и попробуйте выгрузить.
Да, попробую это. Ни как руки не дойдут проверить насколько это быстрее будет
Не будет быстрее.
У вас проблема в одном документе, если вы его вынесете в отдельный план, будет та же проблема, только в отдельном плане обмена. Так же будет "застревать" один документ с 100К проводками.
Снимите с регистрации все объекты кроме вашей рег операции у которой 100К проводок и попробуйте выгрузить.
Для получения уведомлений об ответах подключите телеграм бот:
Инфостарт бот