Многопоточное удаление документов

Форум Программирование Общие вопросы программирования (Dev)

Конфигурации 1cv8 Платформа 1С v8.3

1. Xershi 1486 27.08.17 11:02 Сейчас в теме

Есть конфигурация:
Режим управления блокировкой данных в транзакции по умолчанию: Управляемый
Режим совместимости: Версия 8.3.8
Платформа: 1С:Предприятие 8.3 (8.3.10.2466)
Режим: Серверный (сжатие: усиленное)
Приложение: Тонкий клиент

Написал обработку для удаления документа "ЭлектронноеПисьмоВходящее"
Режим управления блокировкой данных в транзакции по умолчанию: Управляемый

Обработка может удалять документы в потоке, через фоновое задание.
Но если запустить больше 1 фонового задания, то вылетают ошибки:

Конфликт блокировок при выполнении транзакции:
Неустранимый конфликт блокировок

{ВнешняяОбработка.РегламентноеУдалениеВходящихЭлектронныхПисем.МодульОбъекта(214)}: Ошибка при вызове метода контекста (Удалить)
СправочникОбъект.Удалить();
по причине:
Конфликт блокировок при выполнении транзакции:
Неустранимый конфликт блокировок

Или же

Конфликт блокировок при выполнении транзакции:
Неустранимый конфликт блокировок

{ВнешняяОбработка.РегламентноеУдалениеВходящихЭлектронныхПисем.МодульОбъекта(133)}: Ошибка при вызове метода контекста (Удалить)
ДокументОбъект.Удалить();
по причине:
Конфликт блокировок при выполнении транзакции:
Неустранимый конфликт блокировок

Понятно что дело в наложении блокировок при удалении объектов.

Проблема в том что у части писем есть зависимость к другим письмам.
Поможет ли указание явной блокировки на сам документ или тут нужен другой подход?

Простой вариант не сработал:

ДокументОбъект.Заблокировать()

Как переделать пример из справки для документ пока не понял:

Блокировка = Новый БлокировкаДанных;
ЭлементБлокировки = Блокировка.Добавить("РегистрНакопления.ТоварыНаСкладах");
ЭлементБлокировки.УстановитьЗначение("Качество", Справочники.Качество.НайтиПоКоду("1"));
ЭлементБлокировки.Режим = РежимБлокировкиДанных.Исключительный;
ЭлементБлокировки.ИсточникДанных = ДокументОбъект.ВозвратнаяТара;
ЭлементБлокировки.ИспользоватьИзИсточникаДанных("Номенклатура", "Номенклатура");
ЭлементБлокировки.ИспользоватьИзИсточникаДанных("Склад", "Склад");
Блокировка.Заблокировать();

Показать

Есть идеи обхода? Так же конфликт блокировок возник этой ночью даже в 1 потоке, скорее всего загружалась почта регламентным заданием.

По теме из базы знаний

Найденные решения

18. nytlenc 28.08.17 11:05 Сейчас в теме

(1)

Как переделать пример из справки для документ пока не понял:

см. тут https://its.1c.ru/db/metod8dev#content:5839:hdoc

Для объектных данных (справочник, документ и др.) определено единственное пространство блокировки - сам объект данных.

По большому счету только так:

Блокировка = Новый БлокировкаДанных;
ЭлементБлокировки = Блокировка.Добавить("Документ.ЭлектронноеПисьмоВходящее");
ЭлементБлокировки.Режим = РежимБлокировкиДанных.Исключительный;
Блокировка.Заблокировать();

Но только ни о какой многопоточности в этом случае можете не мечтать. Т.к. после запуска первого фонового задания оно заблокирует всю таблицу документов и второе все последующие фоновые задания будут ожидать пока завершится первое фоновое задание и освободят таблицу с документами.

46. Xershi 1486 03.09.17 07:27 Сейчас в теме

За 5 минут работы 10 потоков пока ни одной отмены транзакции:

Попытка 
	НачатьТранзакцию(РежимУправленияБлокировкойДанных.Управляемый); 
	Блокировка = Новый БлокировкаДанных;
	ЭлементБлокировки = Блокировка.Добавить("Документ.ЭлектронноеПисьмоВходящее");
	ЭлементБлокировки.Режим = РежимБлокировкиДанных.Исключительный;
	ЭлементБлокировки.УстановитьЗначение("Ссылка", ТекущиеДанные.Данные.Ссылка); 
	Блокировка.Заблокировать(); 

	ДокументОбъект.Удалить();						

	ЗафиксироватьТранзакцию(); 						
Исключение 
	ОтменитьТранзакцию(); 
КонецПопытки;

Показать

Отпишу в конце дня как отработали 3 потока за день.

85. Xershi 1486 08.09.17 14:48 Сейчас в теме

(84) изучил данные транзитивного замыкания и понял что они мне ничем не помогут. Написал простой запрос, где документ основание не заполнен и получил свои вершки! И все с пересечениями покончено!

Остальные ответы

Подписаться на ответы Инфостарт бот

Свернуть все

12. alex_sh2008 4 28.08.17 08:57 Сейчас в теме

(1)Перед удалением в каждом потоке проверяйте на доступность объекта для удаления.

13. Xershi 1486 28.08.17 10:37 Сейчас в теме

(12) под "доступность" речь идет о методе

Заблокирован

(11) возможно это решение. Надо будет проверить.

14. alex_sh2008 4 28.08.17 10:44 Сейчас в теме

(13)Да, и еще существует удаляемый объект или нет

15. alex_sh2008 4 28.08.17 10:47 Сейчас в теме

(13)Ну и как вариант, использовать общую выборку документов для всех потоков, и синхронизировать список, что бы потоки не выбирали один и тот же документ для удаления

16. herfis 499 28.08.17 10:58 Сейчас в теме

(1) Не совсем понял, как блокировки помогут в борьбе с блокировками :)
Хочешь просто уменьшить таймаут при конфликтах?
Если будешь через Заблокирован() пытаться решить - внимательно читай справку. Он между сессиями не работает. Там надо именно блокировать в попытке/исключении и если эксепшн - значит заблокирован в другой сессии.
Но мне вообще не совсем понятно, как ты делаешь. Какую используешь стратегию при наличии связанных писем? Прибивать всю цепочку вверх и вниз?
А по дефолту воркерам раздаешь диапазоны дат? Как-то оно с цепочками все неочевидно... Надо/не надо, если надо, то до каких пор...

17. Xershi 1486 28.08.17 11:04 Сейчас в теме

(16) стратегию связанных писем не делал. Думаю над этим из совета (11) .

(14) не понял о чем речь можно разжевать?

22. alex_sh2008 4 28.08.17 11:11 Сейчас в теме

(17)Когда 1 из потоков удаляет объект у других потоков этот объект находится в списке для удаления, нужно это проверить, если кончено вы не используете общий список для потоков.

25. Xershi 1486 28.08.17 11:16 Сейчас в теме

(22) именно так и происходит

Когда 1 из потоков удаляет объект у других потоков этот объект находится в списке для удаления

Писал про это в (7)

18. nytlenc 28.08.17 11:05 Сейчас в теме

(1)

Как переделать пример из справки для документ пока не понял:

Блокировка = Новый БлокировкаДанных;
ЭлементБлокировки = Блокировка.Добавить("Документ.ЭлектронноеПисьмоВходящее");
ЭлементБлокировки.Режим = РежимБлокировкиДанных.Исключительный;
Блокировка.Заблокировать();

19. Xershi 1486 28.08.17 11:07 Сейчас в теме

(18) спасибо за совет проверю и этот вариант.
А почему именно исключительный нужно ставить?

20. nytlenc 28.08.17 11:10 Сейчас в теме

(19)

А почему именно исключительный нужно ставить?

Разделяемая блокировка устанавливается для того, чтобы данные не были изменены другими транзакциями. Исключительная блокировка, помимо этого, обеспечивает запрет не только изменения этих данных, но даже их чтения другими транзакциями, устанавливающими управляемые блокировки. Можно сказать, что исключительная управляемая блокировка является средством борьбы с конфликтами блокировок (deadlock) и может использоваться аналогично ключевому слову ДЛЯ ИЗМЕНЕНИЯ языка запросов в режиме автоматических блокировок.

судя по ошибке

Неустранимый конфликт блокировок

у вас как раз Дедлок

21. nytlenc 28.08.17 11:11 Сейчас в теме

(19)

Режим: Серверный (сжатие: усиленное)

MSSQL?

23. Xershi 1486 28.08.17 11:14 Сейчас в теме

(21) да.

27. spacecraft 28.08.17 11:24 Сейчас в теме

(19) Вот как раз это не решит проблему в принципе (на сколько я понял проблему).
Похоже блокировка как раз и накладывается при получении объекта документа. И на все реквизиты, в которых есть ВзаимодействиеОснование, где и хранится ссылка на другой документ Письмо. На документ основание также накладывается блокировка. И тут кто первый захватил объект. Будет конфликт блокировок. Можно конечно попробовать установить разделяемую блокировку, но не уверен, что поможет. Это все при условии, что в разных потоках обрабатываются разные документы.
Возможно в данном случае самым простым будет удалять документы средствами самого sql. Или все делать одним потоком частями.

ps. И для удаления в потоках ведь используется транзакция? И пока транзакция не завершена, все захваченные документы заблокированы...

30. spacecraft 28.08.17 11:34 Сейчас в теме

(1) Удаление происходит получением Объекта Документ и последующим его удалением?
Может стоит использовать метод глобального контекста УдалитьОбъекты? С проверкой ссылочной целостностью.

31. Xershi 1486 28.08.17 12:04 Сейчас в теме

(30)

Удаление происходит получением Объекта Документ и последующим его удалением

да так и делаю проверку ссылочной целости через поиск ссылок делал.
Возможно это решение. Но надо проверить на практике.

32. spacecraft 28.08.17 12:08 Сейчас в теме

(31)

да так и делаю проверку ссылочной целости через поиск ссылок делал.

я не совсем про это.

УдалитьОбъекты(<СписокСсылок>, <Проверять>, <НайденныеДанные>, <ОбластьПоиска>, <ВключитьОбъекты>, <ИсключитьОбъекты>)

Вот второй параметр установить в ИСТИНА. Т.е. тут уже встроенная проверка есть.

33. Xershi 1486 02.09.17 10:58 Сейчас в теме

(32) наверное для меня УдалитьОбъекты не подойдет. Т.к. мне надо удалять только по условию:

Если Не ТекущиеДанные.Данные.Важность = ПредопределенноеЗначение("Перечисление.ВариантыВажностиВзаимодействия.Высокая") Тогда

Поэтому сделал ход конем:

Если ТаблицаСсылок.Количество() = 0 Тогда
	Попытка
		ДокументОбъект.Удалить();
	Исключение
		ДокументОбъект.УстановитьПометкуУдаления(Истина);
	КонецПопытки;
Иначе
	ДокументОбъект.УстановитьПометкуУдаления(Истина);			
КонецЕсли;

Показать

Или же

Если ТаблицаСсылок.Количество() = 0 Тогда
	Попытка
		СправочникОбъект.Удалить();
	Исключение
		СправочникОбъект.УстановитьПометкуУдаления(Истина);
	КонецПопытки;
Иначе
	Для Каждого ТекущиеДанныеСсылки Из ТаблицаСсылок Цикл
		Сообщить(" " + СокрЛП(ТекущиеДанныеСсылки[0]) + " " + СокрЛП(ТекущиеДанныеСсылки[1]));
	КонецЦикла; 				
КонецЕсли;

Показать

Как я понял запуская несколько потоков получается пересечение:
Первый поток:
Документ1 (Справочник11; Регистр11; Регистр12) -> Документ2 (Справочник21; Регистр21; Регистр22) -> Документ3 (Справочник31; Регистр31; Регистр32)
Цепочка в потоке 1 сформировалась методом "НайтиПоСсылкам".
Второй поток:
Документ3 (Справочник31; Регистр31; Регистр32) -> Документ4 (Справочник41; Регистр41; Регистр42)

В итоге когда происходит наложения обращения потоков к одним и тем элементам БД. Происходит конфликт блокировок.
Попытка решила проблему. Т.к. поток который хочет удалить объект по логике не должен этого делать. За него это сделает поток, который пришел выше по цепочке.
Итог:
Остается проверить останутся ли не удаленные письма после отработки фоновых заданий.

На 4 ядерном сервере 4 потока жрут 96-100% ЦП. Т.к. по выходным там еще и пользователи могут работать больше потоков не думаю что стоит на нем ставить.
Думаю такое решение решает мою проблему на корню!

35. alex_sh2008 4 02.09.17 19:36 Сейчас в теме

(33)Как вариант, сделайте удаление в транзакции с исключительной блокировкой удаляемой ссылки, тогда все дочерние удаляемые объекты тоже должны удалятся с исключительной блокировкой, например:
Попытка
НачатьТранзакцию(РежимУправленияБлокировкойДанных.Управляемый);
Далее блокировка удаляемого объекта и удаление

ЗафиксироватьТранзакцию();

Исключение
ОтменитьТранзакцию();
КонецПопытки;

36. spacecraft 02.09.17 19:40 Сейчас в теме

(33)

наверное для меня УдалитьОбъекты не подойдет. Т.к. мне надо удалять только по условию

Кто мешает подготовить список нужных ссылок?

2. Сурикат 394 27.08.17 16:09 Сейчас в теме

А вы не думаете, что проблема в эскалации?
Я писал примерно тоже самое, причем документы были независимы. Ошибка была примерно такая же. И проблема была именно в эскалации.

Может быть вам стоит попробовать по-другому формировать данные для удаления. Т.е. сначала удалить письма без ссылок и удалять все зависимые элементы.

3. Xershi 1486 27.08.17 16:59 Сейчас в теме

(2) т.е. сначала в потоках удалить все документы, которые не имеют зависимых ссылок на такие же документы, а затем один потокам удалять документы с зависимостями?

4. Сурикат 394 27.08.17 19:13 Сейчас в теме

Сначала лучше посмотреть, действительно ли эскалация имеет место.
Настраиваете профайлер и проверяете наличия событий SQL Server Profiler Lock:Escalation.

Да, как-то так.
Т.е. есть цепочка:
Документ1 -> Документ2 -> Документ3

Сначала удаляем Документ3 + связь (если она отдельная) и т.д.
Я такое проделывал на Документообороте, там связи отдельно хранятся.

5. Xershi 1486 27.08.17 21:26 Сейчас в теме

(4)

Escalation

это где смотреть?
Сначала вывел все события лог прикрепил, затем оставил только эскалацию скрин прикрепил.
9 из 10 фоновых заданий напоролись на блокировку, а лог пустой! Значит не эскалация это?

Прикрепленные файлы:

Трассировка.trc

6. Сурикат 394 27.08.17 21:40 Сейчас в теме

Значит не эскалация.
Как вариант еще можно ТЖ на ошибки настроить, там и объектные блокировки отобразятся.

7. Xershi 1486 27.08.17 22:54 Сейчас в теме

(6) так я и так знаю что есть блокировки.
Как их обходить?

Вот смотри есть документ1 -> документ2 -> документ3.
Я в потоке 1 начал обходить все зависимые ссылки документ1, а во втором потоке документ3. Наверное когда второй поток удаляет документ3 он натыкается на блокировку первого потока?

8. Сурикат 394 27.08.17 23:11 Сейчас в теме

Да, но блокировки могут быть объектные, а могут быть и нет.
Поэтому сначала нужно отобрать все Документ3, а потом подниматься на уровень выше.
Или еще вариант выделять какое-то временное хранилище, куда складывать документы, которые сейчас удаляются.
Либо удалять без проверки ссылочной целостности, а потом просто заменить битые ссылки пустыми ТИИ.

9. Сурикат 394 27.08.17 23:13 Сейчас в теме

А зачем все удалять?
TRUNCATE TABLE =)))

10. Xershi 1486 27.08.17 23:21 Сейчас в теме

(9) ну транк я делал на копии, чтобы обновление быстрее прошло. А в рабочей часть инфы надо оставить!

(8) пока не понял как мне запросом это сделать! Ведь в документ3 нет ссылок на вышестоящие. Понять что он последний в цепочке пока могу только найдя все ссылки, но это же постфактум, когда потоки уже поделены!

11. Сурикат 394 27.08.17 23:43 Сейчас в теме

(10)

Понять что он последний в цепочке пока могу только найдя все ссылки, но это же постфактум, когда потоки уже поделены!

Запросом находим, все документы которые ссылаются на другие документы, а потом НЕ В (ВЫБРАТЬ * ИЗ ВсеДокументыСоСсылками).

Второй вариант сливаем нужные данные в файл (выгрузка загрузка XML/JSON), TRUNCATE, а потом заливаем обратно

24. herfis 499 28.08.17 11:16 Сейчас в теме

Я бы делал примерно так, чтобы не заморачиваться с очередями:
1) раздал потокам диапазоны дат и общую верхнюю границу, по которую очищается ящик в принципе
2) в каждом потоке для каждого удаляемого письма определяется вся цепочка, в которой оно участвует и если последнее письмо раньше общей верхней границы удаления - то письма цепочки не удаляются (при этом не забыть удалить все письма цепочки из общего пула писем, которые должен удалить конкретный поток, чтобы не делать дурную работу несколько раз).
3) если же последнее письмо цепочки позже общей границы чистки ящика, но цепочка выходит за пределы дат конкретного потока, тогда пытаться его заблокировать (через Заблокировать(), а не через управляемую блокировку). Если ексепшн - значит пропускаем, т.к. цепочку уже удаляет другой поток (цепочку удаляем с конца). Если вся цепочка в пределах дат удаления потока - тогда просто удаляем, без блокировок.
4) после завершения всех потоков из главного потока запускаем контрольный поток, который должен почистить хвосты. Хвостов при такой схеме быть не должно. Если будут - попытаться разобраться в причинах.

26. Xershi 1486 28.08.17 11:19 Сейчас в теме

(24) вот вопрос как проще реализовать пункт 2.

28. nytlenc 28.08.17 11:24 Сейчас в теме

(26) что мешает сделать так?
1. Выбрать весь перечень документов для удаления одним запросом.
2. Поместить все в массив (ТЗ, СписокЗначений - не важно).
3. Действовать по алгоритму:

а. Определяем количество потоков.
б. Запускаем цикл по перебору списка документов.
в. проверяем не превышено ли число запущенных потоков, если нет
г. В теле цикла получаем документ для удаления и убираем его из общего списка документов (из массива)
д. Запускаем новое фоновое задание на удаление объекта
ж. если лимит потоков достигнуд ждем завершения любого фонового задания.
з. фоновое задание завершено GoTo пункт Г.

29. herfis 499 28.08.17 11:25 Сейчас в теме

(26) Ответ давно известен. Серией запросов вида Родитель, Родитель.Родитель, Родитель.Родитель.Родитель.
Т.е. в одном запросе получаешь, скажем, пять родителей. Если это еще не все - фигачить запрос на следующие пять.
Можно в идеале заморочиться определением всех цепочек перед раздачей заданий. И выдавать заданиям непересекающиеся пулы сообщений для удаления.
Но, боюсь, тогда узким местом может стать главный поток.

34. nvv1970 02.09.17 11:21 Сейчас в теме

Вероятно у вас управляемые блокировки, а таймаут возникает в СУБД.
Блокировка ссылки вообще тут не при чем.
При удалении СУБД накладывает блокировку не на ссылку, а на диапазон. Гуру скажут точнее... Эскалация на объектных данных возможна, но маловероятна.
И давайте вспомним что ещё удаляется при удалении объектов??? Регистры сведений с ведущими измерениями!!! В тж или ещё где-то вы не увидите. Только в трассировке скл. Вот там-то широченные диапазоны или эскалации гарантированы.

37. Xershi 1486 02.09.17 20:15 Сейчас в теме

(34) как уже было сказано эскалацией нет.

(35) так зачем, если попытка решает вопрос? И в топике я про блокировки же писал. Этот код что-то меняет?

(36) в том что объектов более 2 лямов. А удаляю я только те что соответствуют условию и в заданном периоде, плюс раскидать по потокам нужно!
Список нужных я и так получаю для раскидывания по потокам. Поэтому не совсем понимаю о каком списке идет речь.

Запустил на ночь 10 потоков проц 100% загружен. Посмотрим что на утром будет!

38. nvv1970 02.09.17 20:55 Сейчас в теме

(37)

как уже было сказано эскалацией нет.

Есть таймауты на блокировке. Эскалация - это не первопричина блокировки. Первопричина - пересечение пространств, в первую очередь таблицах, во вторую - на диапазонах ключей документов или регистров сведений. Эскалация как таковая при удалении малоинтересна.

(1) ради увеличения знаний и опыта данная задача хороша, но на практике такую реализацию лучше не применять.
Вы до упора пытаетесь нагрузить железо... положить проц или диски для чего? Если не успеете за ночь удалить документы, то следующей ночью это сделать нельзя? Почему нельзя регламентно их вычищать каждую ночь, без фанатизма... ?

АП: ой, сорри!!!! разул глаза и прочитал сабж ))) У вас же ошибка: дедлок ) Это же меняет дело.
Проще забить и выполнять в попытке.

40. alex_sh2008 4 02.09.17 21:09 Сейчас в теме

(38)

Вы до упора пытаетесь нагрузить железо... положить проц или диски для чего?

У меня похожая проблема, ни на проц, ни на диски нагрузки фактически ни какой, хотя объем удаляемой информации в общей сложности достигает 10млн строк. Фоновые задания со временем уходят в ступор, даже делал без фоновых заданий, запускал несколько 1С с обработкой, со временем одна за одной копии зависали намертво, рабочей оставалась только одна. Проблемы с взаимоблокировками попадаются очень редко, 1-2 раз на неделю работы обработки.

41. Xershi 1486 02.09.17 23:03 Сейчас в теме

(38) значит я правильно сделал в (33). И правильно понял суть этих блокировок?

(39) я хотел узнать стоит ли вообще их использовать, мой код не использует блокировок.

42. alex_sh2008 4 02.09.17 23:12 Сейчас в теме

(41)

И правильно понял суть этих блокировок?

Режим блокировок зависит от настроек конфигурации и скл сервера, в вашем коде вы не устраните взаимоблокировки, другой поток все равно будет читать тот же объект, за счет режима "грязного чтения" в скл сервере. Необходимо принудительно блокировать удаляемый объкет для исключительного доступа, например:
.....
.....
ЭлементБлокировки.Режим = РежимБлокировкиДанных.Исключительный;
ЭлементБлокировки.УстановитьЗначение("Ссылка", ДанныеКУдалению.Данные);
Блокировка.Заблокировать();

Но перед этим открывать транзакцию, описывал выше.

44. Xershi 1486 03.09.17 07:10 Сейчас в теме

За 11 часов работы 2 потока отвалились на пометке удаления из-за не соответствия версий.

(42) попробую написать удаление через транзакцию с блокировкой, но без попытки
(43) предполагать не нужно посмотрите мою запись по (33) посту алгоритм наложения потоков я там описал!

52. nvv1970 03.09.17 10:39 Сейчас в теме

(44)

предполагать не нужно посмотрите мою запись по (33) посту алгоритм наложения потоков я там описал!

В посте вы сделали совершенно неверные выводы.
1. Похоже вы так и не поняли про какие РС говорил я
2. совершенно не понятно из темы какие регистры очищаете вы. Какое отношение они имеют к документам? Это движения? Потому что речь шла только о документах.
3. С какого перепугу у вас два потока удаляют один и тот же объект?? Вы что в каждом потоке выполняете отдельно найти по ссылкам?? Каждый поток должен обрабатывать свою часть порцию из общего. Конфликта блокировок при конфликте версий не будет. У них разные причины.
Т.е. прочитали свои два миллиона доков. Порциями по 10000 запускаете нужное количество фоновых. Пересечения никогда нет.

45. Xershi 1486 03.09.17 07:16 Сейчас в теме

(42) проверяю как будет такой код работать:

НачатьТранзакцию(РежимУправленияБлокировкойДанных.Управляемый); 
Блокировка = Новый БлокировкаДанных;
ЭлементБлокировки = Блокировка.Добавить("Документ.ЭлектронноеПисьмоВходящее");
ЭлементБлокировки.Режим = РежимБлокировкиДанных.Исключительный;
ЭлементБлокировки.УстановитьЗначение("Ссылка", ТекущиеДанные.Данные.Ссылка); 
Блокировка.Заблокировать(); 
ЗафиксироватьТранзакцию();

58. Xershi 1486 03.09.17 12:08 Сейчас в теме

(45) ожидаемо. Из выборки 6000+ документов осталось живыми 89. Очевидно это те самые пересечения.
(52) 1. Не понял. 2-3. Удаляю я входящие письма. В CRM на них вешается куча регистров сведений независимых. Я делаю выборку нужных документов. Далее поиском ссылок убиваю все ссылки. Периодически попадаются ссылки на вышестоящие входящие письма. Я же поделил потоки поровну, а не согласно иерархии, которую не так то просто построить, если только циклы не городить.

59. alex_sh2008 4 03.09.17 12:17 Сейчас в теме

(58)

Из выборки 6000+ документов осталось живыми 89. Очевидно это те самые пересечения.

В такой ситуации лучшим вариантом будет усыпление потока с дальнейшим повторением удаления и установкой порога попыток( что бы не зашел в цикл)

60. Xershi 1486 03.09.17 12:18 Сейчас в теме

(59) что значит усыпление?

61. alex_sh2008 4 03.09.17 12:21 Сейчас в теме

(60)Сорри. В 1С нет такого понятия, просто запустите цикл с привязкой по времени, время рассчитайте исходя из частоты ваши процессоров на сервере 1С, например
Конец = ТекущееВремя() + 5000;
Пока Конец > ТекущееВремя() Цикл КонецЦикла;

62. Xershi 1486 03.09.17 12:23 Сейчас в теме

(61) я думаю тогда можно заносить в повторный массив такие ссылки и после окончания основного цикла выполнить повторно не удаленные. А такой цикл мне кажется все равно не корректный, иногда и по 10 секунд 1 документ удаляется.

Хотя можно ничего не делать. А потом повторить удаление с новой выборкой.

63. alex_sh2008 4 03.09.17 12:28 Сейчас в теме

(62)Вполне нормальный цикл, вам просто нужна задержка, для того что бы другие потоки могли выполнить код удаления, совпадение времени в разных потоков маловероятно. Но я пошел в своей обработке по медленному пути:
делал таблицу ссылок со счетчиком попыток с сортировкой так что бы признак попытка находился внизу или вверху списка в зависимости от алгоритма выборки. Но можно и в отдельный массив выложить, это дело вкуса.

65. nvv1970 03.09.17 13:07 Сейчас в теме

(58) наконец стало понятно про какие вы регистры говорите.
ни в одном посте так конкретно и не сказано используете ли вы транзакции, Но судя по блокировкам - это так. Если да, то зачем?
Вы можете спокойно удалить сначала регистры, а потом документы.
Можете документы, а потом регистры с битым измерением.
Мне кажется вообще нет здесь никаких проблем.

69. Xershi 1486 03.09.17 14:15 Сейчас в теме

(65) я удаляю объект, только если нет на него ссылок! Таким образом я себе гарантирую, что все транзакции прошли.

Изначально транзакции я не использовал. В (46) я применил транзакции для ссылок. В (47) для регистров, но поняв что это бессмысленно, удалил для них.
Блокировок больше нет. Т.к. потоки не читают вложенные данные при явных блокировка. Но остается вопрос пропущенных объектов, который решается повторных проходом, таймаутом или запуском в 1 потоке остатка.

39. alex_sh2008 4 02.09.17 21:00 Сейчас в теме

(37)

так зачем, если попытка решает вопрос?

Вам же полностью надо удалить объект, смысл ставить пометку.

Этот код что-то меняет?

Должен, без открытой транзакции установленные вами блокировки игнорируются, удаление происходит по стандартной схеме.

43. nvv1970 03.09.17 00:15 Сейчас в теме

Если вы явно не используете транзакции, то происходит удаление объекта в неявной транзакции. Если предположить, что кроме объекта ничего не удаляется, то никаких дедлоков быть не должно в принципе. Для организации дедлока нужны как минимум по два объекта в конфликтующих транзакциях.
Если дедлоки встречаются, то причины ищите здесь: 1. происходит удаление наборов записей (например движения, или какой-нибудь РС.ВерсииОбъектов), 2. выполняются обработчики удаления объекта.

ЭлементБлокировки.УстановитьЗначение("Ссылка", ДанныеКУдалению.Данные);

Такой код избыточен, т.к. такая блокировка платформой накладывается сама.
Чтобы избежать дедлока нужно открывать транзакцию самому и блокировать все что будет писаться в базу в нагрузку к ссылке.

50. alex_sh2008 4 03.09.17 10:16 Сейчас в теме

(43)

Такой код избыточен, т.к. такая блокировка платформой накладывается сама.

Блокировка накладывается в разделяемом режиме, что позволяет другим сессиям читать этот объект (грязное чтение)

51. Xershi 1486 03.09.17 10:18 Сейчас в теме

(50) я так и подумал. Убираю за ненадобностью. Тогда оставляю блокировки только на ссылочные типы данных. Меня такой результат более чем устраивает!

53. nvv1970 03.09.17 10:44 Сейчас в теме

(50) при удалении документа разделяемая блокировка на ссылку?
Неожиданно. Мы точно говорим про менеджер блокировок 1с, а не СУБД??? Откуда такая информация? Чем подтвердите?

54. alex_sh2008 4 03.09.17 10:47 Сейчас в теме

(53)Много вопросов, проверьте сами.

55. nvv1970 03.09.17 11:38 Сейчас в теме

(54)

При записи любого объекта платформа сама неявно устанавливает исключительную управляемую блокировку на ссылку (для 8.3. еще и на поля блокировки)

Такие события не регистрируются в ТЖ, а на ИТС что не нашел информации (
Попробую смоделировать ситуацию...

56. alex_sh2008 4 03.09.17 11:56 Сейчас в теме

(55)Если бы это было так, то конфликта блокировок на уровне скл сервера не было бы, 1С при записи объекта блокирует только те таблицы sql в которые пишет, остальные могут изменить другие сессии, результат конфликт блокировок в глобальной транзакции изменения объекта. По нормальному, при записи должны заблокироваться все записи в таблицах связанных с объектом

64. nvv1970 03.09.17 13:02 Сейчас в теме

(56) 1с никаких блокировок в СУБД не устанавливает.
Есть два вида конфликтов блокировок: ожидание (как следствие таймаут) и взаимоблокировка. Вы по какой говорите?

66. alex_sh2008 4 03.09.17 13:09 Сейчас в теме

(64)Блокировка неявно устанавливается скл сервером, когда 1с пишет в его таблицы данные.
взаимоблокировка - она чаще всего происходит, по ожиданию редко бывают, только если вы запустите транзакцию и будете в ней изменять кучу данных.

67. nvv1970 03.09.17 13:27 Сейчас в теме

(66) при правильном коде дедлоков быть не должно вообще. Если они есть - нужно их устранять.
Ожидания есть всегда. Вообще всегда, при параллельной работе. Если доходит до таймаута - нужно оптимизировать.
Т.е. дедлоки - это ошибка программиста. Таймаут - это неоптимальность.
Неявные блокировки устанавливает и 1с и скл.
Я говорил именно про неявную в 1с, т.к. ошибка не скульная, 1с-ная.

68. alex_sh2008 4 03.09.17 13:37 Сейчас в теме

(67)Даже при правильном кодинге в 1С, дедлоков не избежать, пока на уровне платформы 1С нормально не реализуют объектную базу 1С, на уровне реляционной базы sql

70. nvv1970 03.09.17 15:18 Сейчас в теме

(68) чушь.
Сможете выстроить схему дедлоков при "правильном коде"? Или я ее тоже сам должен придумать?)
Годами работают проекты по 200-500 весьма активных пользователей без единого дедлока после оптимизации и исправления.

71. alex_sh2008 4 03.09.17 15:42 Сейчас в теме

(70) Это ваше мнение, играть в пинг понг я с вами не собираюсь. Что такое 200-500 интерактивных пользователей, это даже меньше чем конкретный пример с 10 активными потоками, с нагрузкой на несколько таблиц скуля.

72. alex_sh2008 4 03.09.17 15:44 Сейчас в теме

(70+ Я вам уже выше описал схему блокировок при изменении объекта в базе скуля.

57. alex_sh2008 4 03.09.17 12:04 Сейчас в теме

(55)+ А когда мы блокируем вручную ссылку, остальные сессии просто не могут прочитать эту ссылку и соответственно связанные записи в других таблицах объекта не читаются.

46. Xershi 1486 03.09.17 07:27 Сейчас в теме

За 5 минут работы 10 потоков пока ни одной отмены транзакции:

Попытка 
	НачатьТранзакцию(РежимУправленияБлокировкойДанных.Управляемый); 
	Блокировка = Новый БлокировкаДанных;
	ЭлементБлокировки = Блокировка.Добавить("Документ.ЭлектронноеПисьмоВходящее");
	ЭлементБлокировки.Режим = РежимБлокировкиДанных.Исключительный;
	ЭлементБлокировки.УстановитьЗначение("Ссылка", ТекущиеДанные.Данные.Ссылка); 
	Блокировка.Заблокировать(); 

	ДокументОбъект.Удалить();						

	ЗафиксироватьТранзакцию(); 						
Исключение 
	ОтменитьТранзакцию(); 
КонецПопытки;

Показать

Отпишу в конце дня как отработали 3 потока за день.

47. Xershi 1486 03.09.17 07:37 Сейчас в теме

(46) хотя забыл же дописать удаление объектов.
Отмены транзакций пошли, но пока отследил только для регистров.
Для документа и справочника отмен транзакций нет.
Единственный нюанс такого подхода возможно, что часть объектов не удалится?

Отмены транзакций по регистрам пошли потому что похоже 2 потока удаляют одну и туже запись регистра? И тот кто первый успел ее удалить удаляет, а второй отменяет транзакцию?
И написав для них такую же блокировку я смогу убрать отмены транзакций и для регистров?
Хотя странно. Отмены транзакций идут по регистрам которые не имеют ссылок на удаляемые объекты.
Поискал и на удаляемые тоже нашел.

Удаление в регистре происходит:

НаборЗаписей = РегистрыСведений[ИмяРегистра].СоздатьНаборЗаписей();
НаборЗаписей.Отбор[ИмяОтбора].Установить(ТекущиеДанные.Ссылка);
НаборЗаписей.Прочитать();
НаборЗаписей.Очистить();
НаборЗаписей.Записать();

Значит транзакцию писать нужно так:

	Попытка 
		НачатьТранзакцию(РежимУправленияБлокировкойДанных.Управляемый); 
		Блокировка = Новый БлокировкаДанных;
		ЭлементБлокировки = Блокировка.Добавить("РегистрСведений." + ИмяРегистра);
		ЭлементБлокировки.Режим = РежимБлокировкиДанных.Исключительный;
		ЭлементБлокировки.УстановитьЗначение(ИмяОтбора, ТекущиеДанные.Ссылка);
		Блокировка.Заблокировать();
		НаборЗаписей = РегистрыСведений[ИмяРегистра].СоздатьНаборЗаписей();
		НаборЗаписей.Отбор[ИмяОтбора].Установить(ТекущиеДанные.Ссылка);
		НаборЗаписей.Прочитать();
		НаборЗаписей.Очистить();
		НаборЗаписей.Записать();		
		ЗафиксироватьТранзакцию(); 						
	Исключение 
		ОтменитьТранзакцию(); 
	КонецПопытки;

Показать

48. Xershi 1486 03.09.17 09:23 Сейчас в теме

(47) блокировка на регистры не возымела значения. В ЖР все равно появляются транзакции по отмене, или так и должно быть?

49. alex_sh2008 4 03.09.17 10:14 Сейчас в теме

(48)Блокировка на регистры идет по измерениям и (или) периоду, или по регистратору. Нужно устанавливать блокировку на все измерения. Если происходит исключение, то да возможен конфликт на регистре, отменить всю транзакцию с удалением документа, и пропишите алгоритм так что бы он повторил это действие через некоторое время с соответствующей проверкой на существование объекта или записей регистра. Удалять регистры лучше через менеджер записи (правда такое удаление медленнее), в таком режиме риск попасть на дедлок меньше.

73. Xershi 1486 04.09.17 08:12 Сейчас в теме

Давно читал статью про транзитивное замыкание https://infostart.ru/public/158512/.
Думаю это будет оптимальное решение. Таким образом, сделав выборку верхнего уровня у меня не будет пересечений, если за время выполнения потоков не произойдет изменений структуре иерархий, что мало вероятно в ночное время!

74. alex_sh2008 4 04.09.17 08:26 Сейчас в теме

(73)Если только ограничится не большой областью данных

75. Xershi 1486 04.09.17 08:35 Сейчас в теме

(74) речь идет о скорости выполнения запроса? Обычно я беру выборку за месяц там около 100к записей.

76. alex_sh2008 4 04.09.17 08:38 Сейчас в теме

(75)А зачем выбирать все документы, достаточно в каждом потоке выбирать по 100-200 записей, удалять их, завершать работа и ждать следующего запуска.

77. Xershi 1486 04.09.17 08:47 Сейчас в теме

(76) тогда будут пересечения. Запрос должен быть общий для всех потоков. А получив выборку верхнего уровня раскидываем по потокам. Таким образом пересечений в потоках не будет!

78. alex_sh2008 4 04.09.17 09:45 Сейчас в теме

(77)Можно и так, я перед удалением контрольным запросом делаю выборку ссылки

79. Xershi 1486 04.09.17 13:06 Сейчас в теме

(78) 9 секунд на 33к строк.
Текст запроса:

ВЫБРАТЬ ВзаимодействиеОснование НачалоДуги, Ссылка КонецДуги ПОМЕСТИТЬ ЗамыканияДлины1 ИЗ Документ.ЭлектронноеПисьмоВходящее
 ГДЕ ВзаимодействиеОснование <> Значение(Документ.ЭлектронноеПисьмоВходящее.ПустаяСсылка)
     И Дата <= &ДатаУдаления
     И Важность <> Значение(Перечисление.ВариантыВажностиВзаимодействия.Высокая)
 ОБЪЕДИНИТЬ ВЫБРАТЬ Ссылка, Ссылка ИЗ Документ.ЭлектронноеПисьмоВходящее
 ГДЕ Дата <= &ДатаУдаления
     И Важность <> Значение(Перечисление.ВариантыВажностиВзаимодействия.Высокая);ВЫБРАТЬ РАЗЛИЧНЫЕ ПерваяДуга.НачалоДуги, ВтораяДуга.КонецДуги ПОМЕСТИТЬ ЗамыканияДлины2 ИЗ ЗамыканияДлины1 КАК ПерваяДуга
 ВНУТРЕННЕЕ СОЕДИНЕНИЕ ЗамыканияДлины1 КАК ВтораяДуга ПО ПерваяДуга.КонецДуги = ВтораяДуга.НачалоДуги;
 УНИЧТОЖИТЬ ЗамыканияДлины1;ВЫБРАТЬ РАЗЛИЧНЫЕ ПерваяДуга.НачалоДуги, ВтораяДуга.КонецДуги ПОМЕСТИТЬ ЗамыканияДлины4 ИЗ ЗамыканияДлины2 КАК ПерваяДуга
 ВНУТРЕННЕЕ СОЕДИНЕНИЕ ЗамыканияДлины2 КАК ВтораяДуга ПО ПерваяДуга.КонецДуги = ВтораяДуга.НачалоДуги;
 УНИЧТОЖИТЬ ЗамыканияДлины2;ВЫБРАТЬ РАЗЛИЧНЫЕ ПерваяДуга.НачалоДуги, ВтораяДуга.КонецДуги ПОМЕСТИТЬ ЗамыканияДлины8 ИЗ ЗамыканияДлины4 КАК ПерваяДуга
 ВНУТРЕННЕЕ СОЕДИНЕНИЕ ЗамыканияДлины4 КАК ВтораяДуга ПО ПерваяДуга.КонецДуги = ВтораяДуга.НачалоДуги;
 УНИЧТОЖИТЬ ЗамыканияДлины4;ВЫБРАТЬ РАЗЛИЧНЫЕ ПерваяДуга.НачалоДуги, ВтораяДуга.КонецДуги ПОМЕСТИТЬ ЗамыканияДлины16 ИЗ ЗамыканияДлины8 КАК ПерваяДуга
 ВНУТРЕННЕЕ СОЕДИНЕНИЕ ЗамыканияДлины8 КАК ВтораяДуга ПО ПерваяДуга.КонецДуги = ВтораяДуга.НачалоДуги;
 УНИЧТОЖИТЬ ЗамыканияДлины8;ВЫБРАТЬ РАЗЛИЧНЫЕ ПерваяДуга.НачалоДуги, ВтораяДуга.КонецДуги ПОМЕСТИТЬ ЗамыканияДлины32 ИЗ ЗамыканияДлины16 КАК ПерваяДуга
 ВНУТРЕННЕЕ СОЕДИНЕНИЕ ЗамыканияДлины16 КАК ВтораяДуга ПО ПерваяДуга.КонецДуги = ВтораяДуга.НачалоДуги;
 УНИЧТОЖИТЬ ЗамыканияДлины16;ВЫБРАТЬ РАЗЛИЧНЫЕ ПерваяДуга.НачалоДуги, ВтораяДуга.КонецДуги ПОМЕСТИТЬ ЗамыканияДлины64 ИЗ ЗамыканияДлины32 КАК ПерваяДуга
 ВНУТРЕННЕЕ СОЕДИНЕНИЕ ЗамыканияДлины32 КАК ВтораяДуга ПО ПерваяДуга.КонецДуги = ВтораяДуга.НачалоДуги;
 УНИЧТОЖИТЬ ЗамыканияДлины32;ВЫБРАТЬ РАЗЛИЧНЫЕ ПерваяДуга.НачалоДуги, ВтораяДуга.КонецДуги ПОМЕСТИТЬ ЗамыканияДлины128 ИЗ ЗамыканияДлины64 КАК ПерваяДуга
 ВНУТРЕННЕЕ СОЕДИНЕНИЕ ЗамыканияДлины64 КАК ВтораяДуга ПО ПерваяДуга.КонецДуги = ВтораяДуга.НачалоДуги;
 УНИЧТОЖИТЬ ЗамыканияДлины64;ВЫБРАТЬ РАЗЛИЧНЫЕ ПерваяДуга.НачалоДуги, ВтораяДуга.КонецДуги ПОМЕСТИТЬ ЗамыканияДлины256 ИЗ ЗамыканияДлины128 КАК ПерваяДуга
 ВНУТРЕННЕЕ СОЕДИНЕНИЕ ЗамыканияДлины128 КАК ВтораяДуга ПО ПерваяДуга.КонецДуги = ВтораяДуга.НачалоДуги;
 УНИЧТОЖИТЬ ЗамыканияДлины128;ВЫБРАТЬ НачалоДуги Предок, КонецДуги Потомок ИЗ ЗамыканияДлины256 ГДЕ НачалоДуги <> КонецДуги

Показать

Как теперь получить дерево?

84. alex_sh2008 4 04.09.17 14:39 Сейчас в теме

(79)Дерево будет медленно работать, лучше в таблице сортировать

85. Xershi 1486 08.09.17 14:48 Сейчас в теме

86. alex_sh2008 4 09.09.17 11:43 Сейчас в теме

(85)Ну это хорошо, а у меня так и не получается решить проблему с висяками, подозреваю что это проблема в платформе. Правда у меня идет сканирование всей базы, где в некоторых таблицах больше миллиона записей

80. starik-2005 3039 04.09.17 13:18 Сейчас в теме

Я думаю, что автор слишком все усложняет. Все можно сделать куда проще - просто добавить заглушку в объекте при удалении, чтобы объект не пытался удалять подчиненные объекты и проверять наличие родителей. В итоге код сведется к простому удалению объектов в несколько потоков.

81. Xershi 1486 04.09.17 13:54 Сейчас в теме

(80) для этого мне нужно построить дерево или получить только верхние строки дерева, полученного из запроса (79).

82. starik-2005 3039 04.09.17 14:05 Сейчас в теме

(81)

для этого мне нужно построить дерево

Если Вы удаляете не все документы, то да. Но тут есть простой выход - выбрать сначала письма без ссылок на цепочку выше. Потом уже из тех, в которых есть цепочки вниз, вытащить данные рекурсивно и удалять их внутри одного потока вместе с родителем. Тут как раз запрос не нужен, ибо степень вложенности может быть весьма обширной.

С другой стороны, а нужно ли заморачиваться всеми этими цепочками? Просто удалить все письма за промежуток дат от Х до У и не парить моск. При этом не трогать подчиненные письма - пусть живут, ибо кому они мешают?

83. Xershi 1486 04.09.17 14:21 Сейчас в теме

(82) если построить дерево заморачиваться и не нужно, все будет по цепочке без пересечений. Т.к. вложенностей может быть слишком много, то выйдет что на 1 поток 90% писем будет, что как видите не очень.

87. Xershi 1486 12.06.18 17:30 Сейчас в теме

Выложил два подхода https://infostart.ru/public/622195/
Первый запуск через регламентное задание с фиксированными параметрами и запуск из формы с более гибкой настройкой.

88. Xershi 1486 12.06.18 18:38 Сейчас в теме

Единственное, возможно ли внешней обработкой через регламентное задание делить код на куски, без использования написанного модуля в конфигурации. Это у меня не получилось пока.
Пришлось ограничить выполнения кода в 1 поток.

89. AndyMat 29.03.23 08:50 Сейчас в теме

Доброго дня,
Пожалуйста, подскажите, в окончательном варианте документы-письма удаляются или помечаются на удаление?

90. Xershi 1486 25.03.24 21:26 Сейчас в теме

(89) в моей обработке было удаление. Т.е. мы удаляем все ссылки, а затем сам документ. Таким образом база в бекапе упала с 50 ГБ до 15Гб. Хотя может и больше. После уже письма так не грузили.

91. alex_sh2008 4 10.04.24 14:15 Сейчас в теме

(89) А какой смысл вам помечать на удаление, если цель удалить из базы.

Оставьте свое сообщение

E-mail: