Простая параллельная обработка данных

10.02.20

Разработка - Инструментарий разработчика

Предлагаю способ быстрой параллельной обработки "неких" данных. Методика проста как дважды два. Предварительно подготовленная обработка запускается вручную в нескольких сеансах, и каждый сеанс занимается обработкой своей части (случайного диапазона). Может пригодиться для ускоренной обработки данных. К примеру, необходимо заполнить реквизит большого справочника, заполнение в один поток идёт долго, а сроки поджимают.

Скачать исходный код

Наименование Файл Версия Размер
Простая параллельная обработка данных:
.epf 8,13Kb
1
.epf 1.0 8,13Kb 1 Скачать

Предыстория:

Как-то появилась необходимость быстро выполнить обработчики обновления после перехода на новый релиз. Стандартная обработка занимала неделю. Надо было уложиться в 2 стандартных выходных. Как же это сделать быстро и желательно без модификации конфигурации?

Можно написать обработку и запустить в нескольких сеансах вручную. Но обработка в разных сеансах будет обрабатывать одни и те же "куски" данных. Как просто выйти из этой ситуации?

Вариант решения: Каждый сеанс должен обрабатывать свой случайный диапазон данных.

Конечно, иногда они будут пересекаться. На этот случай перед обработкой диапазона устанавливаем управляемую блокировку. Да, время от времени блокировки сеансов будут "натыкаться" друг на друга, но при больших размерах выборки и малой порции это будет происходить редко.

Как использовать обработку:

 1. В функцию "Получить запрос", помещаем свой запрос для получения обрабатываемых данных

 
ПолучитьЗапрос()

 2. При необходимости, в процедуре "ЗаблокироватьДанные" разрабатываем алгоритм блокировки: 

 
ЗаблокироватьДанные

 3. В процедуре "ОбработатьОбъекты" непосредственно реализуем процесс обработки.

 
 ОбработатьОбъекты

4. Готовую обработку запускаем в нескольких сеансах.

5. Время от времени поглядываем на процесс, если она остановилась из-за блокировки, то запускаем заново.

Дополнительное описание работы обработки:

 Основная рабочая лошадка - функция "ОбработатьПорцию". Она вызывается с помощью обработчика ожидания, пока возвращаемое значение отлично от 0-ля:

 
 ОбработатьПорцию()

 Основная функция для обработки порции данных и выбора случайного диапазона:

 
 ПолучитьДанныеПорцииДляОбработки()

Требования: Управляемые формы

Протестировано на: 1С:Предприятие 8.3 (8.3.13.1644)

параллельная многопоточная обработка данные экспресс

См. также

Infostart Toolkit: Инструменты разработчика 1С 8.3 на управляемых формах

Инструментарий разработчика Роли и права Запросы СКД Платформа 1С v8.3 Управляемые формы Запросы Система компоновки данных Конфигурации 1cv8 Платные (руб)

Набор инструментов программиста и специалиста 1С для всех конфигураций на управляемых формах. В состав входят инструменты: Консоль запросов, Консоль СКД, Консоль кода, Редактор объекта, Анализ прав доступа, Метаданные, Поиск ссылок, Сравнение объектов, Все функции, Подписки на события и др. Редактор запросов и кода с раскраской и контекстной подсказкой. Доработанный конструктор запросов тонкого клиента. Продукт хорошо оптимизирован и обладает самым широким функционалом среди всех инструментов, представленных на рынке.

10000 руб.

02.09.2020    124956    683    389    

732

Infostart PrintWizard - создание и редактирование печатных форм в 1С 8.3

Пакетная печать Печатные формы Инструментарий разработчика Платформа 1С v8.3 Запросы 1С:Зарплата и кадры бюджетного учреждения 1С:Конвертация данных 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 Платные (руб)

Инструмент, позволяющий абсолютно по-новому взглянуть на процесс разработки печатных форм. Благодаря конструктору можно значительно снизить затраты времени на разработку печатных форм, повысить качество и "прозрачность" разработки, а также навести порядок в многообразии корпоративных печатных форм.

18000 руб.

06.10.2023    7772    24    6    

42

Infostart УДиФ: Управление данными и формами

Инструменты администратора БД Инструментарий разработчика Роли и права Платформа 1С v8.3 Конфигурации 1cv8 Россия Платные (руб)

Расширение позволяет без изменения кода конфигурации выполнять проверки при вводе данных, скрывать от пользователя недоступные ему данные, выполнять код в обработчиках. Не изменяет данные конфигурации, легко устанавливается практически на любую конфигурацию на управляемых формах.

10000 руб.

10.11.2023    4284    12    2    

36

SALE! %

PowerTools

Инструментарий разработчика Инструменты администратора БД Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Россия Платные (руб)

Универсальный инструмент программиста для администрирования конфигураций. Сборник наиболее часто используемых обработок под единым интерфейсом.

3600 2280 руб.

14.01.2013    178649    1084    0    

862

Многопоточность. Универсальный «Менеджер потоков» 2.1

Инструментарий разработчика Платформа 1С v8.3 Конфигурации 1cv8 Россия Платные (руб)

Восстановление партий или взаиморасчетов, расчет зарплаты, пакетное формирование документов или отчетов - теперь все это стало доступнее. * Есть желание повысить скорость работы медленных алгоритмов! Но... * Нет времени думать о реализации многопоточности? * о запуске и остановке потоков? * о поддержании потоков в рабочем состоянии? * о передаче данных в потоки и как получить ответ из потока? * об организации последовательности? Тогда ЭТО - то что надо!!!

5000 руб.

07.02.2018    99629    239    97    

298

[ЕХТ] Фреймворк для Расширений 1С

Инструментарий разработчика Платформа 1С v8.3 Управляемые формы Платные (руб)

"Фреймворк для Расширений 1С" это универсальное и многофункциональное решение, упрощающее разработку и поддержку создаваемых Расширений. Поставляется в виде комплекта из нескольких Расширений с открытым исходным кодом. Работает в любых Конфигурациях в режиме Управляемого приложения с режимом совместимости 8.3.12 и выше без необходимости внесения изменений в Конфигурацию.

3000 руб.

27.08.2019    18389    6    8    

40

Выполнение произвольного кода или запроса с параметрами через Web-сервис (замена COM-подключений)

Инструментарий разработчика Обмен между базами 1C Платформа 1С v8.3 Платные (руб)

В процессе работы в 1С часто возникает потребность получить данные из другой базы.  Обычно это делается через COM-соединение, и время выполнения запроса при этом оставляет желать лучшего. В данной публикации представлено универсальное решение, позволяющее практически моментально выполнить произвольный код или запрос с параметрами в другой информационной базе через Web-сервис.

2400 руб.

24.09.2019    23857    16    15    

33

1С HTML Шаблоны / HTML Templates

Инструментарий разработчика Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

Быстрая и удобная обработка для работы с шаблонами HTML. Позволяет легко и быстро формировать код HTML.

2040 руб.

27.12.2017    28323    3    10    

16
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. PowerBoy 3364 11.02.20 06:11 Сейчас в теме
Запустил бы процесс в фоновый многопоток, да и случайный выбор диаппазона обработки данных это ...
+
2. Amadeus007 8 11.02.20 07:18 Сейчас в теме
(1)как запустить в фоновый многопоток без модификации конфигурации? тем более для разовых обработок, оно надо?
Случайный выбор вполне себе работоспособно. не идеальное но решение
+
3. KUAvanesov 11.02.20 07:30 Сейчас в теме
(2) можно в расширении в ом прописать процедуру и отправить ее в длительныеоперации.
+
4. Amadeus007 8 11.02.20 07:36 Сейчас в теме
(3) да можно. но расширения не всегда доступны и его потом желательно удалить из продуктивна. ИМХО. мой вариант проще и универсальнее. в последний раз доделка заняла минут 10... А так, буду рад если кто предложит решение ещё проще.
+
5. PowerBoy 3364 11.02.20 10:28 Сейчас в теме
(4) Не рекламы ради :)
PowerTools
Amadeus007; +1
6. Amadeus007 8 11.02.20 11:33 Сейчас в теме
(5) А её внедрять надо в конфигурацию?
+
7. PowerBoy 3364 11.02.20 11:58 Сейчас в теме
(6) Нет, внешняя обработка, для многопоточной обработки даже можно не регистрировать, ну конечно только для клиент - сервера и БСП в конфигурации должно быть.
+
8. Amadeus007 8 11.02.20 12:01 Сейчас в теме
(7) Как только наберу sm так сразу загружу и изучу :) а пока буду пользоваться своим...
+
Оставьте свое сообщение