Обработка данных в многопоточном режиме
Суть проблемы в следующем.
Есть записи вида:
Партнёр1 КодЗапчастиПоПартнеру1 Артикул1 Бренд1
Партнёр1 КодЗапчастиПоПартнеру1 Артикул1 Бренд2
Партнёр1 КодЗапчастиПоПартнеру1 Артикул1 Бренд3
Партнёр2 КодЗапчастиПоПартнеру2 Артикул1 Бренд1
Партнёр3 КодЗапчастиПоПартнеру3 Артикул3 Бренд1
КодЗапчастиПоПартнеру уникален разрезе партнера.
В такой таблице может быть более 100 тыс строк.
Обрабатывать строки этой таблицы хочу в многопоточном режиме. Поэтому формирую пакеты из таких строк.
Проблема заключается в том, что если по комбинации артикул1+ Бренд1 обработка прошла. При этом данная комбинация участвует в потоке 1.
А для комбинации артикул 1+ Бренд2 обработка не прошла. При этом данная комбинация участвует в потоке2. В этом случае необходимо, чтобы записи по
Партнер 1 и КодЗапчастиПоПартнеру1
Партнер 2 и КодЗапчастиПоПартнеру2
Не попадали в некий стоп-лист. Измерениями стоп-листа являются партнер и код запчасти по партнеру.
Как этого можно добиться, учитывая распараллеливание процесса?
Есть записи вида:
Партнёр1 КодЗапчастиПоПартнеру1 Артикул1 Бренд1
Партнёр1 КодЗапчастиПоПартнеру1 Артикул1 Бренд2
Партнёр1 КодЗапчастиПоПартнеру1 Артикул1 Бренд3
Партнёр2 КодЗапчастиПоПартнеру2 Артикул1 Бренд1
Партнёр3 КодЗапчастиПоПартнеру3 Артикул3 Бренд1
КодЗапчастиПоПартнеру уникален разрезе партнера.
В такой таблице может быть более 100 тыс строк.
Обрабатывать строки этой таблицы хочу в многопоточном режиме. Поэтому формирую пакеты из таких строк.
Проблема заключается в том, что если по комбинации артикул1+ Бренд1 обработка прошла. При этом данная комбинация участвует в потоке 1.
А для комбинации артикул 1+ Бренд2 обработка не прошла. При этом данная комбинация участвует в потоке2. В этом случае необходимо, чтобы записи по
Партнер 1 и КодЗапчастиПоПартнеру1
Партнер 2 и КодЗапчастиПоПартнеру2
Не попадали в некий стоп-лист. Измерениями стоп-листа являются партнер и код запчасти по партнеру.
Как этого можно добиться, учитывая распараллеливание процесса?
По теме из базы знаний
- Как ускорить 1С – Многопоточная обработка данных
- Как сделать обмен данными через универсальный формат быстрее? Реализация многопоточного обмена данными
- Многопоточный режим выполнения процедуры с помощью методов БСП - примеры разработки
- Автоматическая многопоточная выгрузка данных 1С 8.3 в БД Clickhouse, MS SQL, PostgreSQL (для работы с данными 1С в BI-системах)
- Удалить все документы, элементы справочника, очистить регистр накопления в многопоточном режиме
Ответы
В избранное
Подписаться на ответы
Сортировка:
Древо развёрнутое
Свернуть все
Не понял. Как это "обработка считалась выполненена", когда на самом деле не выполнена?
Но вообще, если есть процесс-координатор выдающий задачи другим потокам и контролирующий их выполнение, то не вижу проблемы реализовать любую стратегию.
Но вообще, если есть процесс-координатор выдающий задачи другим потокам и контролирующий их выполнение, то не вижу проблемы реализовать любую стратегию.
(2)да, сформулировал некорректно. Сейчас исправлю. Имел в виду, что сейчас, например, если в потоке 2 обработка не прошла по комбинации артикул1 + Бренд1, то записи по
Партнер 1 и КодЗапчастиПоПартнеру1
Партнер 2 и КодЗапчастиПоПартнеру2
попадают в некий стоп-лист. Собственно вопрос в этом. Как этого избежать при том, что обработка строк разбита на потоки?
Партнер 1 и КодЗапчастиПоПартнеру1
Партнер 2 и КодЗапчастиПоПартнеру2
попадают в некий стоп-лист. Собственно вопрос в этом. Как этого избежать при том, что обработка строк разбита на потоки?
Вакансии
Аналитик 1С / Бизнес-аналитик
Нижний Новгород
зарплата от 100 000 руб. до 250 000 руб.
Временный (на проект)
Нижний Новгород
зарплата от 100 000 руб. до 250 000 руб.
Временный (на проект)