Планы обмена. Квитировать или гарантировать?
Комментарии
В избранное
Подписаться на ответы
Сортировка:
Древо развёрнутое
Свернуть все
ИМХО, гораздо интереснее была бы статья, описывающая "живой" опыт построения РИБ с гарантированной доставкой на сервисах очередей и описанием проблем, с которыми пришлось столкнуться.
А так, 90% статьи - невнятное описание стандартных механизмов и потрясающее заключение: лучше быть богатым и здоровым, оказывается.
А так, 90% статьи - невнятное описание стандартных механизмов и потрясающее заключение: лучше быть богатым и здоровым, оказывается.
Обычно вместо использования сторонних сервисов (RabbitMQ, MSMQ и т.д.) изобретаю свой велосипед решаю задачу средствами самой же 1С: делаю очередь сообщений, например, в виде регистра сведений: туда пишу сообщение обмена и сразу удаляю регистрацию изменений.
(2) Приведу пример из своей практики.
Для одного очень тяжёлого обмена, тестовый пакет XML которого "весил" 100 Мб, мы делали так :
1. Своя регистрация изменений в регистре сведений в хронологическом порядке (по сути очередь).
2. Свой компактный формат XML, имеющий только те данные, которые изменились (гранулярность регистрации изменений - поле таблицы, реквизит объекта).
3. Использование для доставки SQL Server Service Broker (транспорт).
4. Загрузка пакетов XML в 1С средствами C# с генерацией T-SQL кода (для работы с XML на уровне SQL Server писались свои CLR хранимые процедуры).
Целевым временем загрузки XML пакета "весом" 1 Гб считалось 10 минут. Это без учёта выгрузки и транспорта. Мы укладывались в это время. Даже с запасом.
В результате была полностью решена проблема блокировок при регистрации и выгрузке изменений. Загрузка в общем-то тоже не доставляла каких-то особенных проблем. Удаление регистрации изменений никому не мешало, так как удалялись уже обработанные сообщения из очереди (регистра сведений) по дате последней выгрузки. Все традиционные проблемы РИБ были полностью решены.
Проблемы, с которыми столкнулись: сложность программирования всего этого. Три человека в течение одного-полутора месяцев всё это делали: программист 1С, программист C# и программист SQL. В процессе эксплуатации проблем не было вообще. Мы даже иногда забывали, что обмен работает =) Вспоминали только когда сеть "ложилась" и какие-то данные не долетали до нужных баз - пользователи напоминали. Админы "шевелили" сеть и всё снова работало.
В обмене участвовало 4 базы: оперативная (торговля), web-портал B2B, база для отчётов и диспетчерская база для маршрутизации пакетов при помощи Service Broker. Как-то так.
Для одного очень тяжёлого обмена, тестовый пакет XML которого "весил" 100 Мб, мы делали так :
1. Своя регистрация изменений в регистре сведений в хронологическом порядке (по сути очередь).
2. Свой компактный формат XML, имеющий только те данные, которые изменились (гранулярность регистрации изменений - поле таблицы, реквизит объекта).
3. Использование для доставки SQL Server Service Broker (транспорт).
4. Загрузка пакетов XML в 1С средствами C# с генерацией T-SQL кода (для работы с XML на уровне SQL Server писались свои CLR хранимые процедуры).
Целевым временем загрузки XML пакета "весом" 1 Гб считалось 10 минут. Это без учёта выгрузки и транспорта. Мы укладывались в это время. Даже с запасом.
В результате была полностью решена проблема блокировок при регистрации и выгрузке изменений. Загрузка в общем-то тоже не доставляла каких-то особенных проблем. Удаление регистрации изменений никому не мешало, так как удалялись уже обработанные сообщения из очереди (регистра сведений) по дате последней выгрузки. Все традиционные проблемы РИБ были полностью решены.
Проблемы, с которыми столкнулись: сложность программирования всего этого. Три человека в течение одного-полутора месяцев всё это делали: программист 1С, программист C# и программист SQL. В процессе эксплуатации проблем не было вообще. Мы даже иногда забывали, что обмен работает =) Вспоминали только когда сеть "ложилась" и какие-то данные не долетали до нужных баз - пользователи напоминали. Админы "шевелили" сеть и всё снова работало.
В обмене участвовало 4 базы: оперативная (торговля), web-портал B2B, база для отчётов и диспетчерская база для маршрутизации пакетов при помощи Service Broker. Как-то так.
Вопрос к знатокам, берем модификацию имеющегося примера:
"Номер сообщения изменился. Это означает, что наше изменение было успешно отправлено в сообщении номер 1. Теперь зарегистрируем изменение другого объекта того же типа.
Если теперь снова попытаться выполнить выгрузку, то в выборку изменений попадут оба изменения. Это означает, что изменение, отправленное ранее в сообщении номер 1, будет отправлено ещё раз."
Что будет, если мы, выгрузив первый пакет, зарегистрируем не другой объект в этот узел, а тот же самый? Причем успеем сделать это до того, как вернется квитанция об успешной загрузке? При этом надо понимать, что объект этот был изменен.
Как я полагаю, когда квитанция вернется, регистрация к обмену снимется, и объект останется в этом узле измененный, а в новый контур обмена не полетит, и в другой базе он останется в старой версии.
Поправьте меня, если я не прав.
"Номер сообщения изменился. Это означает, что наше изменение было успешно отправлено в сообщении номер 1. Теперь зарегистрируем изменение другого объекта того же типа.
Если теперь снова попытаться выполнить выгрузку, то в выборку изменений попадут оба изменения. Это означает, что изменение, отправленное ранее в сообщении номер 1, будет отправлено ещё раз."
Что будет, если мы, выгрузив первый пакет, зарегистрируем не другой объект в этот узел, а тот же самый? Причем успеем сделать это до того, как вернется квитанция об успешной загрузке? При этом надо понимать, что объект этот был изменен.
Как я полагаю, когда квитанция вернется, регистрация к обмену снимется, и объект останется в этом узле измененный, а в новый контур обмена не полетит, и в другой базе он останется в старой версии.
Поправьте меня, если я не прав.
(4) Если Вы измените тот же самый объект после его выгрузки в пакет, то получите новую регистрацию того же самого объекта со значением реквизита "НомерСообщения" равным NULL. Когда квитанция "прилетит" она будет искать кого бы снять с регистрации по номеру, а он будет равен NULL, то есть квитанция никого не найдёт и новые изменения попадут в следующий пакет обмена.
Подробнее здесь:
Подробнее здесь:
(6)
А если используем снятие с регистрации не по номеру сообщения, а по ссылке - в таком случае объект будет снят с регистрации и новое состояние объекта другая база так и не увидит.
Когда квитанция "прилетит" она будет искать кого бы снять с регистрации по номеру, а он будет равен NULL, то есть квитанция никого не найдёт и новые изменения попадут в следующий пакет обмена.
А если используем снятие с регистрации не по номеру сообщения, а по ссылке - в таком случае объект будет снят с регистрации и новое состояние объекта другая база так и не увидит.
(6) Дмитрий , интересно Ваше мнение по вопросу "Когда заканчивается Enterprise Data и начинается RabbitMQ ?"
парни из 1с мне ответили
- Пропускная способность ED ими не тестирована .
- достоинство шины - сама определяет получателя и доставку сообщение ему те задача источника только выплюнуть сообщение в шину и тут резко снижается риск блокировок таблиц изменений. потому что узел обмена у центральной базы будет только один - шина.
да книжка классная , сейчас читаю.
парни из 1с мне ответили
- Пропускная способность ED ими не тестирована .
- достоинство шины - сама определяет получателя и доставку сообщение ему те задача источника только выплюнуть сообщение в шину и тут резко снижается риск блокировок таблиц изменений. потому что узел обмена у центральной базы будет только один - шина.
да книжка классная , сейчас читаю.
Прикрепленные файлы:
PROGRAMMING_Shablony_integratsii_korporativnykh_prilozhenii_774.pdf