Многопоточность. Универсальный «Менеджер потоков» (фреймворк) с отслеживанием зависимости объектов

0. Иван Филимонов (DarkAn) 706 24.05.17 09:22 Сейчас в теме
Восстановление партий, расчет зарплаты, пакетное формирование документов или отчетов - теперь все это стало доступнее.
* Есть желание повысить скорость работы медленных алгоритмов! Но...
* Нет времени думать о реализации многопоточности?
* о запуске и остановке потоков?
* о поддержании потоков в рабочем состоянии?
* о передаче данных в потоки и как получить ответ из потока?
* об организации последовательности?
Тогда ЭТО - то что надо!!!

Перейти к публикации

Лучшие комментарии
42. Ольга Петровская (pt_olga) 62 18.07.17 11:49 Сейчас в теме
эпохальный труд! респект!
ybatiaev; abadonna83; Alligator84; graphbuh; Darklight; igo1; support; +7 Ответить
53. SergeyFirst (SergeyFirst) 58 19.09.17 11:35 Сейчас в теме
Взрослый подход к разработке и документированию!
user747571; ybatiaev; +2 Ответить
72. Олег Ковалев (kudzia) 14 16.02.18 20:38 Сейчас в теме
Автор - ты реально крутой мужик !
user642047_ziborov.roman; +1 Ответить
Остальные комментарии
1. Александр Монагаров (promogiantworm) 59 29.05.17 10:47 Сейчас в теме
Верните картинки!
KazanKokos; TreeDogNight; +2 Ответить
2. Иван Филимонов (DarkAn) 706 29.05.17 10:58 Сейчас в теме
(1) Сейчас решим с модераторами
3. Иван Филимонов (DarkAn) 706 29.05.17 11:08 Сейчас в теме
4. Иван Филимонов (DarkAn) 706 29.05.17 11:23 Сейчас в теме
5. Анатолий Лукьянов (KazanKokos) 11 29.05.17 11:26 Сейчас в теме
6. Иван Филимонов (DarkAn) 706 29.05.17 11:32 Сейчас в теме
7. Анатолий Лукьянов (KazanKokos) 11 29.05.17 11:33 Сейчас в теме
(6) имеется ввиду в самой публикации вместо картинок крестики
8. Иван Филимонов (DarkAn) 706 29.05.17 11:35 Сейчас в теме
(7) А сейчас? Просто - у меня все ок. Если нет - еще раз перезалью
9. Анатолий Лукьянов (KazanKokos) 11 29.05.17 11:41 Сейчас в теме
у меня так и так далее по всей странице
Прикрепленные файлы:
11. Иван Филимонов (DarkAn) 706 29.05.17 11:56 Сейчас в теме
(9) Перезалил картинки и перебил ссылки. Теперь видно?
10. Анатолий Лукьянов (KazanKokos) 11 29.05.17 11:55 Сейчас в теме
12. Иван Филимонов (DarkAn) 706 29.05.17 11:56 Сейчас в теме
13. Виталий Барилко (Diversus) 1765 29.05.17 15:41 Сейчас в теме
Не совсем понятны результаты до и после. Т.е. с использованием механизма и без него.
Сколько по времени занимало?
14. Иван Филимонов (DarkAn) 706 29.05.17 16:09 Сейчас в теме
(13) Результаты из первой таблицы?
Колонки с месяцами - это месяцы за который восстанавливались партии.
Есть 2а показателя: "Однопоточное восстановление" и "Параллельное восстановление"

Первый показывает сколько времени занимало восстановление партий в типовом варианте (один поток): для восстановления партий за "Ноября 2016" при первом запуске было затрачено 293 мин. При повторном (сразу после первого) запуске - 265 мин.

При этом при использовании механизма распараллеливания тот же самый период "Ноябрь 2016" при первом запуске завершился за 30 мин, а при повторном за 24 мин.

Точно так же по остальным месяцам

Да, забыл дать пояснение, Это время при распараллеливании на 10 потоков
15. Иван Филимонов (DarkAn) 706 29.05.17 16:10 Сейчас в теме
(13) Ответ ниже - дал без ссылки на ваше сообщение :)
16. Виталий Барилко (Diversus) 1765 29.05.17 16:30 Сейчас в теме
(15) Почти линейно для 10 потоков... Не плохо...
17. Иван Филимонов (DarkAn) 706 29.05.17 16:43 Сейчас в теме
(16) тут есть одно уточнение... По графикам ниже видно, что распараллеливание не напрямую на 10 потоков идет, а в зависимости от количеств "свободных" документов (если они в графе не зависят от других документов). Более того в обработке отключена процедура "СдвигПоследовательностиВперед" и "пропускаются" приходные документы. За счет этого и достигается ускорение близкое к х10. Если бы база была с 2 поступления на 2 склада по 1-номенклатуре и 10000 документов списания (с этих складов), то тут уже не получилось бы распараллелить больше чем на х2 :).
EMelihoff; kiruha; +2 Ответить
18. kiruha Д (kiruha) 366 29.05.17 18:22 Сейчас в теме
Вижу восстановление партий . Но в бух нет партий , а есть последовательности - с измерением Организация и СостояниеПроведения.
Ничего больше нет.
Аналогично в регистре бухгалтерии только Организация. валюта, подразделение - так что и модифицировать последовательность не удасться.
Бухи и так отдельно по организациям перепроводят.
Правильно ли понимаю - что в данном случае (типовые Бух и все что на них) - Ваша обработка никак не поможет ?
19. Иван Филимонов (DarkAn) 706 29.05.17 18:40 Сейчас в теме
(18) На БУ не тестировал, затачивал под УПП. Но суть одна и та же. Типовые метаданные не меняются, добавляется новый общий модуль. Последовательность в УПП тоже только в разрезе "Организаций". Типовой код изменен не значительно, примерно как в "Общей схеме". Также в цикле перебираются документы подаются в "менеджер потоков" - он уже строит по документам зависимость на основании Ресурсов (см. раздел "Расчет ресурсов") - рассчитанных ВАМИ (см. раздел "Обработать события разработчика") и посылает их по потоки. Мое "Восстановление партий" можно рассматривать, как еще один вариант примеров, но у кого-то результат и на нем заработает :). Для БУ - не помню архитектуру, но по прикидкам основное распараллеливание будет по субконто 10/41/43 счетов.
21. kiruha Д (kiruha) 366 29.05.17 18:52 Сейчас в теме
(19)
вариант примеров, но у кого-то результат и на нем заработает :). Для БУ - не помню архитектуру, но по прикидкам основное распараллеливание будет по субконто 10 счета
Не понял. В бухии идут проводки зависящие от других проводок сделанных ранее по организации, с разными счетами и субконто. Не только ресурсы - но счета и субконто. Например - зачет авансов по документу если стоит - будут сформированы проводки по зачету авансов. Не представляю как все это можно распараллелить (в рамках одной организации)
23. Иван Филимонов (DarkAn) 706 29.05.17 19:00 Сейчас в теме
(21) тут не надо путать теплое и мягкое. Последовательность партий восстанавливается своей обработкой, а последовательность взаиморасчетов своей - ни та ни другая документы не перепроводит. Они двигают свои регистры / счета. Вот в рамках этих обработок и происходит "вклинивание" и описание правил по распараллеливанию.
24. kiruha Д (kiruha) 366 29.05.17 19:10 Сейчас в теме
(23)
Вы можете хотя бы схематично/на пальцах описать как для типовой бухгалтерии 3.0 или 2.0 использовать фреймворк ?
26. Иван Филимонов (DarkAn) 706 29.05.17 19:19 Сейчас в теме
(24) Без проблем:
Создаете общий модуль "МенеджерПотоков" - туда переноситься весь код из модуля объекта - предоставляемой обработки. Затем по рекомендации, создаете еще один общий модуль Имя без разницы (укажите его при Инициализации) с экспортной функцией "ОбработатьСобытиеРазработчика" В этой функции на примере картинки из (http://infostart.ru/public/626117/#Функция «ОбработатьСобытиеРазработчика()») описываете свой код. По обработке документа, расчету ресурсов, получению ответ ну в принципе и все
27. Иван Филимонов (DarkAn) 706 29.05.17 19:22 Сейчас в теме
(24) Как писать код можно посмотреть в домообработках (скачать можно бесплатно). Например в "РЛ-Параллельно (события в произвольном модуле)"
75. Сергей Козынкин (Ulus) 248 13.04.18 06:38 Сейчас в теме
(27) я скачал примеры. Не увидел там пример РЛ.
76. Иван Филимонов (DarkAn) 706 13.04.18 09:13 Сейчас в теме
(75) РЛ, листы были в первой статье, во второй я их решил не выкладывать, т.к. они имеют все же определенную специфику, а не общее решение. Прикладываю обработку по РЛ, но под версию 2.0 ее придется чуток подправить "напильником"
Прикрепленные файлы:
! РЛ - Параллельно.epf
28. Иван Филимонов (DarkAn) 706 29.05.17 19:24 Сейчас в теме
(24) Ваш вариант (если не надо получать ответ от потоков) -

ИначеЕсли РазрезМенеджеров = "РЛ - Зависимость по 1-ой букве (сохраняем на сервере потока)" Тогда
.....
25. Иван Филимонов (DarkAn) 706 29.05.17 19:13 Сейчас в теме
(21) Попробую на пальцах объяснить на взаиморасчетах. Есть:
Док1 (Поступление) - Контрагент1, Договор1 5000
Док2 (Поступление) - Контрагент1, Договор2 4000
Док3 (Поступление) - Контрагент2, Договор3 3000
Док4 (Взаимозачет) - Контрагент1, Договор1 / Контрагент2, Договор3 5000 - перенос долго
Док5 (Платежка) Контрагент2, Договор3
Док6 (Платежка) Контрагент1, Договор2

что примерно приведет к тому что на рисунке. На каждой итерации будет проведено столько документов сколько показано, на первой 3, на второй 2, на третьей 1. В итоге 6 документов проведено за 3 шага, вместо 6 при стандартном подходе

Но для ресурсов Вы должны написать свой алгоритм в событии "ПриПолученииМассиваРесурсов".
(Пример взят из головы)
Прикрепленные файлы:
29. Иван Филимонов (DarkAn) 706 30.05.17 09:19 Сейчас в теме
(25) Перепутал местами на скрине 2 и 3 документ
57. г. Казань Рустем Гумеров (Rustig) 887 12.02.18 10:51 Сейчас в теме
(25) в строительстве больше разрезов при проведении документов - объект строительства, договор, заказ, склад, организация, номенклатура, документ-партия для материалов - все это "измерения" в терминах 1С для учета.
1) пробовали ли вы использовать для перепроведения последовательности документов стандартный механизм восстановления последовательности по измерениям?
2) главный фокус статьи - это разделение всех документов по разрезам учета (см. первый абзац) - добавив в учет дополнительные таблицы для хранения этой информации?
когда я столкнулся с проблемой перепроведения документов для пересчета определенного показателя, я реализовал и описал в статье подобный подход https://infostart.ru/public/195627/
58. Иван Филимонов (DarkAn) 706 12.02.18 14:36 Сейчас в теме
(57)
в строительстве больше разрезов при проведении документов
- разрезов больше, но тех что не вызывают блокировок значительно меньше. Например в БУ, можете сколь угодно много добавлять разрезов, но "мельче" чем "Склад"+"Номенклатура" раздробить (распараллелить) не получиться.

(57)
пробовали ли вы использовать для перепроведения последовательности по измерениям?

Вы меня сейчас озадачили... Какой стандартный механизм позволяет восстанавливать последовательность по измерениям. Единственное измерение стандартного механизма - это "Организация", ну еще "УУ" и "БУ". Все, больше мне ни какие измерения для восстановления в стандартном механизме не доступны (мне не известны).

(57)
главный фокус статьи - это разделение всех документов по разрезам учета
Если под разрезами вы понимаете "УУ" и "БУ", в принципе можно и так сказать, но в данной статье я его не использовал, каждый документ восстанавливался одновременно по двум учетам. Распараллеливание идет на уровне данных документа. Грубо, если у вас есть два склада не связанных между собой (и производства в том числе), то восстановление можно запустить в 2 потока.

(57)
добавив в учет дополнительные таблицы для хранения этой информации?
- нет в БД ни какие новые объекты метаданных создавать не надо. Все рассчитывается и формируется "на лету" согласно заложенных Вами алгоритмов.

(57)
описал в статье подобный подход https://infostart.ru/public/195627/
с Вашей статьей я знаком
60. г. Казань Рустем Гумеров (Rustig) 887 13.02.18 00:16 Сейчас в теме
(58)
Вы меня сейчас озадачили... Какой стандартный механизм позволяет восстанавливать последовательность по измерениям. Единственное измерение стандартного механизма - это "Организация", ну еще "УУ" и "БУ". Все, больше мне ни какие измерения для восстановления в стандартном механизме не доступны (мне не известны).


дополнительные измерения можно запрограммировать, чтобы ускорить общее перепроведение - вот статьи об этом:
https://its.1c.ru/db/v8doc#content:59:1:issogl3_5.9.4.2.%D1%81%D0%B2%D0%BE%D0%B9%D1%81%D1%82%D0%B2%D0%B0%D0%BF%D0%BE­%D1%81%D0%BB%D0%B5%D0%B4%D0%BE%D0%B2%D0%B0%D1%82%D0%B5%D0%BB­%D1%8C%D0%BD%D0%BE%D1%81%D1%82%D0%B8%D0%B4%D0%BE%D0%BA%D1%83­%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2

суть такая - Измерения. Последовательности могут иметь подчиненные объекты, называемые измерениями, которые создаются на закладке Данные окна редактирования.

Если для последовательности не создано ни одного измерения, то при восстановлении данной последовательности будут перепроводиться все входящие документы. Если требуется, чтобы данная последовательность учитывала не все, а вполне определенные ситуации, то в последовательность включают измерение. В этом случае перепроводить нужно будет только те документы, которые изменяют состояние регистра с учетом свойств измерения.

Если изменяется состояние регистров, участвующих в последовательности, то неактуальными становятся более поздние документы с теми же значениями в реквизитах (перечислены в свойстве измерения Соответствие реквизитам документов), которые содержатся в реквизитах удаленных (добавленных) записей регистров (перечислены в свойстве измерения Соответствие реквизитам движений).

Например, последовательность учитывает изменение состояния регистров по документам Приходная накладная и Расходная накладная. Если требуется учитывать дополнительные критерии необходимости перепроведения указанных документов (например, нужно перепроводить документы по определенному значению номенклатуры), то в последовательность следует добавить измерение. В палитре свойств измерения указать его тип (СправочникСсылка.Номенклатура) и установить связь с реквизитами регистров.
64. Иван Филимонов (DarkAn) 706 13.02.18 01:24 Сейчас в теме
(60) Что такое "измерение" объекта "последовательность" я знаю. И сколько переделок в коде вслед за этим необходимо сделать - тоже представляю. Я думал Вы говорите о типовой обработке восстановления последовательности и о возможности запустить восстановления по "скрытым" для меня измерениям.
69. г. Казань Рустем Гумеров (Rustig) 887 13.02.18 09:12 Сейчас в теме
61. г. Казань Рустем Гумеров (Rustig) 887 13.02.18 00:20 Сейчас в теме
(58)
- разрезов больше, но тех что не вызывают блокировок значительно меньше. Например в БУ, можете сколь угодно много добавлять разрезов, но "мельче" чем "Склад"+"Номенклатура" раздробить (распараллелить) не получиться.


про это - не понял вас

в целом, по вашей статье - у меня создалось поверхностное мнение, что вы распараллелили перепроведение по измерениям - да, это помогает ускорить стандартный механизм типового восстановления последовательности при закрытии месяца. такая идея уже заложена в механизм объекта конфигурации "Последовательность документов". Вы наверное сделали как-то по другому.
65. Иван Филимонов (DarkAn) 706 13.02.18 01:32 Сейчас в теме
(61) Вы не совсем поняли мой механизм. Все что вы добавляете в объекты метаданных - это только 1 (один) общий модуль. В целом этого достаточно, но я рекомендую, для своих обработчиков создавать по дополнитльному общему модулю.

Ни каких изменений других объектов производить не требуется.

У Вас вообще в БД может не быть объекта последовательность, а объекты мы можете обрабатывать в разных потоках. Рассматриваемый пример "восстановление последовательности" - это как один из множества вариантов использоватния механизма.

Вы же используя его можете восстановить последовательность расчетов с контрагентами, или рассчитать зарплаты или вообще произвести произвольную обработку данных в потоках, хоть заполнить таблицу значений расчетными суммами или записать перезаписать массу объектов. Но для этих целей больше подойдет Униврсальный менеджер потоков v2.0. В нем данный механизм получил расширенные функции
62. г. Казань Рустем Гумеров (Rustig) 887 13.02.18 00:28 Сейчас в теме
(58)
Грубо, если у вас есть два склада не связанных между собой (и производства в том числе), то восстановление можно запустить в 2 потока.

- нет в БД ни какие новые объекты метаданных создавать не надо. Все рассчитывается и формируется "на лету" согласно заложенных Вами алгоритмов.


ясно. можно и "на лету" - значит задействуете ОЗУ - ресурсы памяти - такое же хранение данных только в других таблицах, и на обработку собственных запросов требуется такое же время и ресурсы ОЗУ... в итоге у вас насколько сложные (длинные) запросы получились? Я не убеждаю ни в чем, просто технические детали реализации вашего механизма уже интересны ...
66. Иван Филимонов (DarkAn) 706 13.02.18 01:51 Сейчас в теме
(62) Опять же советую Вам ознакомиться со статьей не поверхностно, а детально, если она Вас заинтересовала, т.к. сейчас Вы не до конца осознаете что и как реализовано. Не поверите, но я вообще при реализации рассмотренного примера, не изменил ни одного типового запроса. А если в цифрах, то общий модуль менеджера потоков ~1000 строк кода, это то что не требует корректировок, а объем кода обрабатывающий события менеджера это примерно еще 500 строк и ВСЕ. Этого достаточно чтобы партии "типовой" (уже не совсем, т.к. чуток вмещаться надо для инициализации менеджера потоков, но и это можно вынести во внешнюю обработку) УПП отрабатывали в разы быстрее, чем типовой обработкой. Я сомневаюсь, что в 500 строчках кода можно наваять что-то
(62)
в итоге у вас насколько сложные (длинные) запросы получились?

Да там есть запросы для получения "ресурсов", но я не скажу, что выборка из регистра с отбором по ссылке документа это сложный запрос, или определение присутствие и заполненность поля "Заказа" в передаваемом на обработку документе - это что-то сверх сложно и непостижимое :)).

В дальнейшем я предлагаю дискуссию перенести в чат обновления Универсальный менеджер потоков v2.0, т.к. там все последние доработки механизма.


(62)
просто технические детали реализации вашего механизма уже интересны

Предлагаю скачать работающий механизм (Универсальный менеджер потоков v2.0) и ознакомиться с работой рассмотренных примеров, там уже не восстановление партий. Думаю многие вопросы так же отпадут.

А так, конечно задавайте вопросы с удовольствием отвечу, только просьба все же ознакомиться с 2мя статьями, что бы не пришлось повторять то что написано выше :)
70. г. Казань Рустем Гумеров (Rustig) 887 13.02.18 09:20 Сейчас в теме
(66) ясно, интересный подход ))
код вашего модуля открыт?

(66)
или определение присутствие и заполненность поля "Заказа" в передаваемом на обработку документе

надо знать конфу, которую обрабатываешь, поскольку Заказ может сидеть в реквизите "Сделка" , "ДокументОснование" или просто "Заказ" или использовать структуру подчиненности и по типу объекта проверять все реквизиты....
71. Иван Филимонов (DarkAn) 706 13.02.18 09:27 Сейчас в теме
(70)
код вашего модуля открыт?

Тут - да


(70)
надо знать конфу

Само собой! Менеджер - универсален, а пакет обработчиков событий - индивидуален :) В принципе разработчики могут менеджером пользоваться как платформой для разработки. Если конечно есть желание, то могут свое написать - основные идеи я изложил. Но как показывает практика - это долго, не с точки зрения разработки (я вторую версию написал примерно за 2 недели, да и то я четко представлял что необходимо сделать), а с точки зрения тесотов :)
59. Иван Филимонов (DarkAn) 706 12.02.18 15:59 Сейчас в теме
(57)
в строительстве больше разрезов при проведении документов


Не обратил внимание к чему вы писали сообщение.
На самом деле, для выстраивания зависимости объектов, разрезов может быть произвольное количество не обязательно 2. Можно реально использовать все что вы перечислили, а можно все, но не разом, а в совокупности, например, построить две и более зависимостей: 1ая по "Объект строительства" + "Организация" + "Заказ"; 2ая по "Организация" + "Склад" + "Номенклатура" + "Документ-Партия" и 3я по "Объект строительства" + "Договор". Все это приведет к формированию 3х графов, которые в итоге сольются в 1 смешанный граф и далее обрабатываются по описанной выше схеме, текущий документ не будет передан в обработку, пока не будут обработаны ВСЕ ведущие документы с такими же наборами данных (ресурсов).

Надеюсь понятно описал. Опять же прошу ознакомиться с примерами особенно с Пример 5
20. Иван Филимонов (DarkAn) 706 29.05.17 18:46 Сейчас в теме
(18) И да, имеется ввиду последовательность, в УПП они называются "ПартионныйУчет" и "ПартионныйУчетБУ"
Прикрепленные файлы:
22. Иван Филимонов (DarkAn) 706 29.05.17 18:57 Сейчас в теме
(18) Еще дополню... При расчете "Ресурсов" вы определяете как будет выстраиваться зависимость документов. Можно сделать только по "Складу", тогда все документы у которых один и тот же склад будут выстраиваться в очередь. Можно по склад + номенклатура, тогда документы с одним складом могут проводиться параллельно если у них разный состав номенклатуры. Тут все уже будет зависеть от Вас и потребностей заказчика. Можно например реализовать (бред, но можно), не только по субконто 10/41/43 счетов, а по произвольному другому алгоритму зависимости, например, по году рождения ответственного за документ - если у ответственных за документ один и тот же год рождения, то эти документы проводятся друг за другом, а другие параллельно, но тут уже могут возникнуть блокировки и/или взаимоблокировки накладываемые архитектурными реализациями платформы. Так что распараллеливать надо то - что можно распараллелить.
30. Антон Комаров (ardarik) 9 31.05.17 16:30 Сейчас в теме
За что я только что заплатил 10 $m ?!
31. Анатолий Лукьянов (KazanKokos) 11 31.05.17 17:17 Сейчас в теме
(30) еще 10000руб предстоит заплатить чтобы все увидеть :)
32. Антон Комаров (ardarik) 9 31.05.17 17:45 Сейчас в теме
33. Иван Филимонов (DarkAn) 706 31.05.17 18:15 Сейчас в теме
(30) Есть вопросы? Готов ответить.
34. Иван Филимонов (DarkAn) 706 31.05.17 19:33 Сейчас в теме
(30) Завтра, напишу ещё демообработки "по универсальнее" с функцией перезаписи N-элементов произвольного справочника. Предоставив пользователю возможность выбрать справочник, количество потоков и количество перезаписываемых элементов
35. Иван Филимонов (DarkAn) 706 01.06.17 14:47 Сейчас в теме
(30) Добавил новые демообработки, как сообщал ранее.
EMelihoff; +1 Ответить
36. Роман Сюзев (sorb) 07.06.17 23:07 Сейчас в теме
https://github.com/wizi4d/TaskManagerFor1C
Знакомы ли с этой разработкой? Если да, то что в ней не устроило?
37. Иван Филимонов (DarkAn) 706 08.06.17 02:13 Сейчас в теме
(36) А если нет?
Действительно с этой разработкой не знаком, и не смогу сейчас привести примеры отличий. Если Вы с ней знакомы или есть знающий знакомый, можем пообщаться в чате и составить карту отличий (если Вы в этом заинтересованы).

Бегло я попытался поглядеть, что в цф-ке. Но готовых тестовых примеров не нашел, так что сложно оценить "что", "как" и "где" должен писать разработчик работающий с предоставленным Вами модулем.

Могу кратко описать, что может мой модуль:
* Модуль состоит только из одного общего модуля без регистров и перечислений (подглядел в цф-ке)
* Автоматическое построение зависимости объектов для обработки (что позволяет реализовать восстановление партий, о чем говориться в статье);
* отдельно выделенный, от модуля менеджера потоков, модуль(и) разработчика со своими алгоритмами (модуль менеджера может быть без изменений вообще);
* возможность описать код разработчика вне метаданных (в самой внешней обработке), что позволяет их (внешние обработки) писать без изменения конфигурации БД;
* возможность одновременного запуска нескольких менеджеров с разными алгоритмами (В разработке сейчас обсуждается расчет зарплаты, где есть ряд выполняемых операций, при этом есть четкая зависимость одних операций от других, но ряд операций при этом могут выполняться параллельно в одной из веток дерева(графа), а следом идущие операции (этой же ветки), только при завершении всех этих параллельных. При этом каждая операция будет стартовать свой менеджер потоков, который будет распараллеливать выполнение конкретно взятой операции, но это пока в обсуждении, но пока все укладывается в возможности модуля);
* перезапуск ФЗ, в случае вылета;
* ну и еще что-то по мелочи, все возможности описаны в статье :)

Что увидел в описании "TaskManagerFor1C" это ограничение по количеству выполнений одной операции, после чего она считается не выполненной. Такой функционал в моем модуле на сегодня отсутствует, но потребность в нем тоже есть и это уже заложено в следующих обновлениях, как и ряд других идей :)

Если есть конкретные вопросы задавайте
sorb; EMelihoff; +2 Ответить
38. Роман Сюзев (sorb) 08.06.17 14:23 Сейчас в теме
(37) Приведенное решение не мое.
Спасибо за краткое описание, собственно и хотелось по-быстрому, не вникая глубоко, понять отличия. Теперь вижу, что стоит изучить подробнее.
В разработке сейчас обсуждается расчет зарплаты

Если не сложно, ткните ссылкой в обсуждение.
Правильно ли я понимаю, что планируются готовые модули разработчика для типовых конфигураций, в частности, для ЗУП?
39. Иван Филимонов (DarkAn) 706 08.06.17 15:03 Сейчас в теме
(38)

Если не сложно, ткните ссылкой в обсуждение.


Обсуждение внутренне, в рамках нашей организации, не для общего использования :)


(38)
Правильно ли я понимаю, что планируются готовые модули разработчика для типовых конфигураций, в частности, для ЗУП?

Не совсем :) Я выкладываю только модуль позволяющий производить распараллеливание. А разработчик/разработчики разрабатывают вторую часть которая опирается на модуль. По аналоги с 1С. Я предоставляю платформу (мой модуль), а разработчики пишут свое отраслевое решение (модули с обработчиками событий под конкретные задачи). Так что вопрос о разработке модулей для типовых конфигураций я отдаю на волю разработчикам :)

Разработчик (фриланс / франч) берет модуль для разработки (с закрытым кодом) добавляет свой модуль с обработкой событий и выставляет конечному клиенту(ам). Под каждую разработку отдельное приобретение, но на неограниченное количество поставок клиентам.
Или
Конечный пользователь приобретает модуль (с открытым кодом) и использует его как хочет на неограниченное количество проектов в рамках своей организации .
40. Иван Филимонов (DarkAn) 706 08.06.17 15:23 Сейчас в теме
(38)
Теперь вижу, что стоит изучить подробнее.

В ближайшее время выложу дополнительные картинки с разъяснением расчета ресурсов, при каких условиях как строится граф, а то пишут, что это достаточно сложная часть и демо примера - мало :)
41. Иван Филимонов (DarkAn) 706 09.06.17 12:08 Сейчас в теме
(38) Добавил картинки (разъяснения) по формированию ресурсов
EMelihoff; +1 Ответить
63. г. Казань Рустем Гумеров (Rustig) 887 13.02.18 00:38 Сейчас в теме
(37)
Если есть конкретные вопросы задавайте

вопросов пока нет, просто тема интересная,
разрыхлил новые статьи на ИТС
Ускорение процесса восстановления последовательности взаиморасчетов в БП КОРП
https://its.1c.ru/db/metod8dev/content/5843/hdoc/_top/%D0%BF%D0%BE%D1%81%D0­%BB%D0%B5%D0%B4%D0%BE%D0%B2%D0%B0%D1%82%D0%B5%D0%BB%D1%8C%D0­%BD%D0%BE%D1%81%D1%82%D1%8C%20%D0%B4%D0%BE%D0%BA%D1%83%D0%BC­%D0%B5%D0%BD%D1%82%D0%BE%D0%B2

да и вообще, что представлено на гитхабе https://github.com/wizi4d/TaskManagerFor1C - это опять-таки плагин на базе имеющихся фоновых заданий - и кто-то может сделает для конкретной задачи оптимальнее зная специфику учета.
67. Иван Филимонов (DarkAn) 706 13.02.18 02:04 Сейчас в теме
(63)
это опять-таки плагин на базе имеющихся фоновых заданий
Так на данном ресурсе - много можно отнести к категории "плагин". Вопрос в том, что для реализации множества задач можно использовать 1 общий подход - это ведь значительно эффективнее чем каждый раз писать одно и то же или чуть чуть другое с нуля.

Что разработка на гитхабе, что моя разработка предлагают Вам такой инструмент, используя который Вы можете ускорить выполнение своих обработок в РАЗЫ!!! и для этого может потребоваться не так много сил и времени. В частности рассмотренного тут примера, разве плохо иметь возможность восстанавливать последовательность партий месяца в рабочее время за 20-30 мин, когда работают 200+ пользователей без "блокировок" транзакций???? Если нет, тогда чем плохи данные плагины? А типовой механизм такого не позволит даже если использовать предложенный Вами способ добавления измерений в объект "Последовательность".
68. Иван Филимонов (DarkAn) 706 13.02.18 02:22 Сейчас в теме
(63)
Ознакомился с предоставленной статьей. Решение верное, но предложенная реализация имеет ряд ограничений:
1. Необходимость находить документы "корректировка долга" и "авансовый отчет" для определения границы обрабатываемого периода.
2. Множество запусков и остановок фоновых заданий (после обработки документов ФЗ перезапускается с новыми данными).
3. Не ясно как обрабатываются ошибки, если в переданном пакете документов один из них не провелся.
4. Нет возможности запускать в рабочее время, т.к. может быть ожидание захвата таблицы и после 20 сек, ФЗ просто прекратит свое существование :)

можно еще найти "ограничений" предложенного механизма если знать что там точно реализовали и как.

Я конечно не говорю, что предложенный мной механизм не имеет ограничений, но данные "подводные камни" в нем отработаны
42. Ольга Петровская (pt_olga) 62 18.07.17 11:49 Сейчас в теме
эпохальный труд! респект!
ybatiaev; abadonna83; Alligator84; graphbuh; Darklight; igo1; support; +7 Ответить
43. Иван Филимонов (DarkAn) 706 18.07.17 13:38 Сейчас в теме
(42) Спасибо за отзыв!
Эпохальным он станет, если им начнут пользоваться - эпохально :)
igo1; pt_olga; raiml; +3 Ответить
44. Артем Бардюг (Йожкин Кот) 1047 28.07.17 13:35 Сейчас в теме
Если бы вложили готовый модуль для встраивания в БП3 - цены бы Вам не было! Но и без этого - несомненный плюс!
45. Иван Филимонов (DarkAn) 706 28.07.17 14:40 Сейчас в теме
(44) Готовый модуль чего? Восстановления партий? т.к. именно его тут нет :). Честно подумывал над этим, но я проводил оптимизацию под УПП 1.3, и под условия нашей организации. А в других организациях могут быть свои условия, потребности и доработки. Кроме того в моих алгоритмах использованы не все возможности распараллеливания, например, у нас нет характеристик, и их я не встраивал в алгоритмы событий, а у кого то они могут быть в данном случае мой алгоритм будет снижать возможность распараллелить проведение и так далее.

Хотя если будет заинтересованность, наверное выложу, как пример :)
74. Сергей Козынкин (Ulus) 248 13.04.18 06:15 Сейчас в теме
(45) было бы отлично если бы выложили
46. Иван Филимонов (DarkAn) 706 28.07.17 14:56 Сейчас в теме
(44) Более того... Разработку таких модулей (обработчиков событий) я предлагаю сообществу.


PS Да, да, знаю, что защита примитивна. Но хоть что-то :) Если вы планируете делать разработку с поддержкой многопоточности на основе данного модуля и предлагать ее потенциальным покупателям, то уповаю на Ваше благоразумее в плане приобретения полной версии. Если Вы являетесь конечным покупателем, то для Вас одно приобретение для одной организации, на неограниченное количество проектов. Если фриланс/франчайзи :), то одно приобретение на один проект (обработку), но на неограниченое количество конечных пользователей.
47. Олег Николаев (o.nikolaev) 223 03.08.17 12:12 Сейчас в теме
Статья отличная, но орфографические ошибки просто убивают всякое желание продолжать чтение. Исправьте! Есть же Word в конце-концов!
48. Иван Филимонов (DarkAn) 706 04.08.17 00:08 Сейчас в теме
(47) Большое спасибо за замечания. Основная часть стать была написана в Word (я бы не осилил написать столько, с таким «незначительным» количеством ошибок :)). БОльшая часть ошибок была допущена в результате правки и обновления разделов, их увы делал на «коленке».

Что нашел - поправил, надеюсь стало лучше.
49. Сергей Толмачев (sss999) 36 10.08.17 00:12 Сейчас в теме
а можно отдельную статью только кратко и с простыми примерами?)в раза 6 кратче )
оч тяжело читать и сразу все механизмы описывать наверно нет смысла, для меня лично, но труд как сказали эпохальный , выглядит слишком зло.
50. Иван Филимонов (DarkAn) 706 11.08.17 09:33 Сейчас в теме
(49)
Если кратко, то что оставить? Если написать в 6 раз меньше, то надо выкинуть 5/6 статьи.

Для «простоты», что требуется от разработчика - скачайте демообработки, а именно «Запись справочников», а в нем Вас будет интересовать – модуль формы и модуль объекта, а именно Функция «ОбработатьСобытиеРазработчика». Под условием:
"Если РазрезМенеджеров = "Запись справочника - Независимая запись" Тогда"
Это САМЫЙ простой способ распараллелить :)

Под условием:
ИначеЕсли РазрезМенеджеров = "Запись справочника - Зависимость по четности кода" Тогда
Это САМЫЙ простой способ распараллелить при выстраивании зависимости объектов :)

Получилось в 6 раз короче??? В данном случае придется самому пытаться понять, как оно устроено - зато кратко. Будут вопросы - обращайтесь к данной статье.

Основные сложности и прочие события реализованы для получения ответов от потоков на клиент. А так же предоставляют возможность собирать информацию для отчетов в момент работы.
51. Сергей Толмачев (sss999) 36 11.08.17 18:41 Сейчас в теме
(50)
Как запустить ,примеры что можно запустить, например обмен какой-то или отчёт..
https://infostart.ru/public/182139/ это тоже что и у вас или нет?
Я вот не помню видел вроде как можно запустить отчет в отдельном потоке и свернув его например делать дальше работу.
52. Иван Филимонов (DarkAn) 706 12.08.17 18:04 Сейчас в теме
(51) Самый простой способ опробовать:
* Скачиваем "Универсальный «Менеджер потоков Демо»";
* Скачиваем демообработки;
* Устанавливаем "Менеджер потоков" на любую конфигурацию
* Запускаем демо обработки, где от разных настроек обработок будут разные результаты. (Формирование расчетных листов оттестировано только на УПП 1.3, возможно будет работать в ЗУП, но под рукой не было - не проверил).


Это самый простой способ распараллелить, и не самый оптимальный. Его основные минусы:
* Необходимо обдумывать как разбить обрабатываемый массив на части (порции) (В предоставленной статье порция - это склад).
*
ФоновыеЗадания.ОжидатьЗавершения(МассивЗаданий);
тут узкое место в том, что пока ПАЧКА фоновых заданий не отработает полностью новое не запуститься. Если в первую выборку попадет один гигантский склад и 9 маленьких, но при этом в общей выборке их предположи 11, то последний 11 склад будет ждать завершения всего блока, ходя 9 потоков по сути будут давно свободны.
* Не реализована обратная связь между потоками и клиентом, хотя допил не большой,
* И САМОЕ ГЛАВНОЕ, если в потоке произойдет ЛЮБАЯ ошибка, хоть ожидание захвата таблицы, он просто прекратит свою жизнь, и Вам ни как об этом не сообщит

В текущем "менеджере потоков" это все учтено. :)

Максимально близкое решение предоставили на (36), но отличия, бегло обнаруженные, я так же описал в (37)
53. SergeyFirst (SergeyFirst) 58 19.09.17 11:35 Сейчас в теме
Взрослый подход к разработке и документированию!
user747571; ybatiaev; +2 Ответить
54. Иван Филимонов (DarkAn) 706 19.09.17 11:45 Сейчас в теме
55. Abadonna Abadonna (abadonna83) 30 10.10.17 13:10 Сейчас в теме
Интересно что переписали в Процедура ЗаполнитьЗапросПартийНаСкладахУпр и тд.
56. Иван Филимонов (DarkAn) 706 10.10.17 14:33 Сейчас в теме
(55) За основу взял "http://xn----1-bedvffifm4g.xn--p1ai/news/2016-07-05-not-optimal-query-sample/" (курсы -по -1с .рф)
А дальше по профайлеру и потребностям нашей организации.
72. Олег Ковалев (kudzia) 14 16.02.18 20:38 Сейчас в теме
Автор - ты реально крутой мужик !
user642047_ziborov.roman; +1 Ответить
73. Иван Филимонов (DarkAn) 706 16.02.18 23:14 Сейчас в теме
(72) Спасибо! Лестно - это слышать :)

Но если я "крут", то это вообще отвесные скалы :)
ildarovich
Андрей Овсянкин
Сергей Старых
Олег Филиппов
Иван Белокаменцев
Евгения Карук
и многие другие ...
Оставьте свое сообщение