Простая параллельная обработка данных

10.02.20

Разработка - Инструментарий разработчика

Предлагаю способ быстрой параллельной обработки "неких" данных. Методика проста как дважды два. Предварительно подготовленная обработка запускается вручную в нескольких сеансах, и каждый сеанс занимается обработкой своей части (случайного диапазона). Может пригодиться для ускоренной обработки данных. К примеру, необходимо заполнить реквизит большого справочника, заполнение в один поток идёт долго, а сроки поджимают.

Скачать файлы

Наименование Файл Версия Размер
Простая параллельная обработка данных:
.epf 8,13Kb
1
.epf 1.0 8,13Kb 1 Скачать

Предыстория:

Как-то появилась необходимость быстро выполнить обработчики обновления после перехода на новый релиз. Стандартная обработка занимала неделю. Надо было уложиться в 2 стандартных выходных. Как же это сделать быстро и желательно без модификации конфигурации?

Можно написать обработку и запустить в нескольких сеансах вручную. Но обработка в разных сеансах будет обрабатывать одни и те же "куски" данных. Как просто выйти из этой ситуации?

Вариант решения: Каждый сеанс должен обрабатывать свой случайный диапазон данных.

Конечно, иногда они будут пересекаться. На этот случай перед обработкой диапазона устанавливаем управляемую блокировку. Да, время от времени блокировки сеансов будут "натыкаться" друг на друга, но при больших размерах выборки и малой порции это будет происходить редко.

Как использовать обработку:

 1. В функцию "Получить запрос", помещаем свой запрос для получения обрабатываемых данных

 
ПолучитьЗапрос()

 2. При необходимости, в процедуре "ЗаблокироватьДанные" разрабатываем алгоритм блокировки: 

 
ЗаблокироватьДанные

 3. В процедуре "ОбработатьОбъекты" непосредственно реализуем процесс обработки.

 
 ОбработатьОбъекты

4. Готовую обработку запускаем в нескольких сеансах.

5. Время от времени поглядываем на процесс, если она остановилась из-за блокировки, то запускаем заново.

Дополнительное описание работы обработки:

 Основная рабочая лошадка - функция "ОбработатьПорцию". Она вызывается с помощью обработчика ожидания, пока возвращаемое значение отлично от 0-ля:

 
 ОбработатьПорцию()

 Основная функция для обработки порции данных и выбора случайного диапазона:

 
 ПолучитьДанныеПорцииДляОбработки()

Требования: Управляемые формы

Протестировано на: 1С:Предприятие 8.3 (8.3.13.1644)

параллельная многопоточная обработка данные экспресс

См. также

SALE! 20%

Infostart Toolkit: Инструменты разработчика 1С 8.3 на управляемых формах

Инструментарий разработчика Роли и права Запросы СКД Платформа 1С v8.3 Управляемые формы Запросы Система компоновки данных Конфигурации 1cv8 Платные (руб)

Набор инструментов программиста и специалиста 1С для всех конфигураций на управляемых формах. В состав входят инструменты: Консоль запросов, Консоль СКД, Консоль кода, Редактор объекта, Анализ прав доступа, Метаданные, Поиск ссылок, Сравнение объектов, Все функции, Подписки на события и др. Редактор запросов и кода с раскраской и контекстной подсказкой. Доработанный конструктор запросов тонкого клиента. Продукт хорошо оптимизирован и обладает самым широким функционалом среди всех инструментов, представленных на рынке.

13000 10400 руб.

02.09.2020    121599    670    389    

711

SALE! 25%

Infostart PrintWizard

Пакетная печать Печатные формы Инструментарий разработчика Платформа 1С v8.3 Запросы 1С:Зарплата и кадры бюджетного учреждения 1С:Конвертация данных 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 Платные (руб)

Инструмент, позволяющий абсолютно по-новому взглянуть на процесс разработки печатных форм. Благодаря конструктору можно значительно снизить затраты времени на разработку печатных форм, повысить качество и "прозрачность" разработки, а также навести порядок в многообразии корпоративных печатных форм.

18000 15300 руб.

06.10.2023    7260    21    6    

39

SALE! 20%

Infostart УДиФ: Управление данными и формами

Инструменты администратора БД Инструментарий разработчика Роли и права Платформа 1С v8.3 Конфигурации 1cv8 Россия Платные (руб)

Расширение позволяет без изменения кода конфигурации выполнять проверки при вводе данных, скрывать от пользователя недоступные ему данные, выполнять код в обработчиках. Не изменяет данные конфигурации, легко устанавливается практически на любую конфигурацию на управляемых формах.

10000 8000 руб.

10.11.2023    3499    11    1    

33

SALE! 30%

PowerTools

Инструментарий разработчика Инструменты администратора БД Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Россия Платные (руб)

Универсальный инструмент программиста для администрирования конфигураций. Сборник наиболее часто используемых обработок под единым интерфейсом.

3600 2520 руб.

14.01.2013    177724    1073    0    

849

Многопоточность. Универсальный «Менеджер потоков» 2.1

Инструментарий разработчика Платформа 1С v8.3 Конфигурации 1cv8 Россия Платные (руб)

Восстановление партий или взаиморасчетов, расчет зарплаты, пакетное формирование документов или отчетов - теперь все это стало доступнее. * Есть желание повысить скорость работы медленных алгоритмов! Но... * Нет времени думать о реализации многопоточности? * о запуске и остановке потоков? * о поддержании потоков в рабочем состоянии? * о передаче данных в потоки и как получить ответ из потока? * об организации последовательности? Тогда ЭТО - то что надо!!!

5000 руб.

07.02.2018    99338    239    97    

296

[ЕХТ] Фреймворк для Расширений 1С

Инструментарий разработчика Платформа 1С v8.3 Управляемые формы Платные (руб)

"Фреймворк для Расширений 1С" это универсальное и многофункциональное решение, упрощающее разработку и поддержку создаваемых Расширений. Поставляется в виде комплекта из нескольких Расширений с открытым исходным кодом. Работает в любых Конфигурациях в режиме Управляемого приложения с режимом совместимости 8.3.12 и выше без необходимости внесения изменений в Конфигурацию.

3000 руб.

27.08.2019    18102    6    8    

39

1С HTML Шаблоны / HTML Templates

Инструментарий разработчика Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

Быстрая и удобная обработка для работы с шаблонами HTML. Позволяет легко и быстро формировать код HTML.

2040 руб.

27.12.2017    28091    3    10    

15

Выполнение произвольного кода или запроса с параметрами через Web-сервис (замена COM-подключений)

Инструментарий разработчика Обмен между базами 1C Платформа 1С v8.3 Платные (руб)

В процессе работы в 1С часто возникает потребность получить данные из другой базы.  Обычно это делается через COM-соединение, и время выполнения запроса при этом оставляет желать лучшего. В данной публикации представлено универсальное решение, позволяющее практически моментально выполнить произвольный код или запрос с параметрами в другой информационной базе через Web-сервис.

2400 руб.

24.09.2019    23595    15    15    

32
Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. PowerBoy 3350 11.02.20 06:11 Сейчас в теме
Запустил бы процесс в фоновый многопоток, да и случайный выбор диаппазона обработки данных это ...
2. Amadeus007 8 11.02.20 07:18 Сейчас в теме
(1)как запустить в фоновый многопоток без модификации конфигурации? тем более для разовых обработок, оно надо?
Случайный выбор вполне себе работоспособно. не идеальное но решение
3. KUAvanesov 11.02.20 07:30 Сейчас в теме
(2) можно в расширении в ом прописать процедуру и отправить ее в длительныеоперации.
4. Amadeus007 8 11.02.20 07:36 Сейчас в теме
(3) да можно. но расширения не всегда доступны и его потом желательно удалить из продуктивна. ИМХО. мой вариант проще и универсальнее. в последний раз доделка заняла минут 10... А так, буду рад если кто предложит решение ещё проще.
5. PowerBoy 3350 11.02.20 10:28 Сейчас в теме
(4) Не рекламы ради :)
PowerTools
Amadeus007; +1 Ответить
6. Amadeus007 8 11.02.20 11:33 Сейчас в теме
(5) А её внедрять надо в конфигурацию?
7. PowerBoy 3350 11.02.20 11:58 Сейчас в теме
(6) Нет, внешняя обработка, для многопоточной обработки даже можно не регистрировать, ну конечно только для клиент - сервера и БСП в конфигурации должно быть.
8. Amadeus007 8 11.02.20 12:01 Сейчас в теме
(7) Как только наберу sm так сразу загружу и изучу :) а пока буду пользоваться своим...
Оставьте свое сообщение