Удаление задвоенных объектов

1. Sanario 27 10.03.16 10:26 Сейчас в теме
Конфигурация компьютера:
i7-3770, 32Gb RAM, SSD 256Gb (под базу)
Windows 2008R2 Standart x64,
MS SQL 2008r2 x64,
1С Предприятие 8.3.7.1917

Типовая Бухгалтерия Предприятия 2.0 2.0.65.14, размер папки с базой и журналом транзакций - 65 Гб.

Позиций номенклатуры >165000, документов в базе за 2 года (2014,2015). Каким образом можно ускорить процесс по замене дублирующихся значений?
На языке 8.х пишу, но еще не очень хорошо

Ребята, помогите пожалуйста, кто может.
По теме из базы знаний
Ответы
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
3. Perrojka 10.03.16 10:30 Сейчас в теме
(1) Sanario, Ну хоть напишите что использовали, как искали и т.д.
4. Sanario 27 10.03.16 10:31 Сейчас в теме
(3) Perrojka, из УТ выдрал обработку поиск и замена дублирующихся значений из УТ10.3
(2) frankeinstein, около 100 000
6. Perrojka 10.03.16 10:36 Сейчас в теме
(4) Sanario, Ну во-первых нужно псомотреть что внутри там, скорее всего там запрос по всем справочникам. Оно Вам надо?(Соответственно можно сократить до справочника номенклатуры). Таким образом количество дублей снизится. Так же, как вариант, можете поискать публикации тут именно по номенклатуре. За 1sm думаю найдете что-нибудь.
5. PhoenixAOD 62 10.03.16 10:34 Сейчас в теме
(1) Sanario, как бы 32 гектара ОЗУ под такие дела маловато будет. у меня на старой работе для бухии с размером 85 гектар брали сервак с 200 гектарами памяти. тут только частями прогонять очистку задвоеных элементов. етить колотить 100к двойняшек. да там не ручки надо отрывать, а головы тупые сворачивать.
8. Sanario 27 10.03.16 10:38 Сейчас в теме
(5) PhoenixAOD, гербовой нет - пишем на обычной. 32Gb оперативки - это максимум что пока я могу получить. А сколько счас нормальный сервер стоит, не мне Вам рассказывать...
9. PhoenixAOD 62 10.03.16 10:41 Сейчас в теме
(8) Sanario, пили частями. самый верный варик. будет не очень быстро но как сказано в (7) избавит от вылетов.
10. PhoenixAOD 62 10.03.16 10:41 Сейчас в теме
(8) Sanario, и еще лампу паяльную приготовить, что бы пакостников жечь.
21. Xershi 1556 10.03.16 11:23 Сейчас в теме
(1) Sanario, если речь идет о дублях в полном понимании этого слова, то есть готовая обработка поиск и замена дублирующих значений.
Делаем копию, тренируемся в использовании. Выполняем тоже самое на рабочей базе. Объекты удаляются безвозвратно, поэтому ошибки исключены!
22. Sanario 27 10.03.16 13:38 Сейчас в теме
(21) Xershi, если бы вы внимательно прочитали, то заметили, что именно этой обработкой я и пользуюсь на данный момент:)
24. Xershi 1556 10.03.16 14:16 Сейчас в теме
(22) Sanario, я прочитал, но в чем проблема? Обработка все за вас удалит.
25. Sanario 27 10.03.16 14:54 Сейчас в теме
(24) Xershi, так вылетает же блин, памяти ему типа не хватает. (П.С. читайте ж не через строки :) )
26. Xershi 1556 10.03.16 15:11 Сейчас в теме
(25) Sanario, так вы так и не написали, когда вылетает, при объединении одного элемента с другим вылетать не будет!
29. Sanario 27 10.03.16 16:02 Сейчас в теме
(26) Xershi, да, когда уже начинает обрабатывать найденные позиции
(28) Chameleon1980, ага. Спасибо, попробую.
30. Xershi 1556 10.03.16 16:05 Сейчас в теме
(29) Sanario, так вы пакетный режим выбрали? Сколько у вас там в одном пакете элементов и ссылок на них?
31. Sanario 27 10.03.16 17:53 Сейчас в теме
(30) Xershi, каким образом выбрать пакетный режим?
Прикрепленные файлы:
33. Xershi 1556 10.03.16 18:28 Сейчас в теме
(31) Sanario, у меня на обычных формах.
Установи ползунок в не отличаются.
35. matt.unknown 10.03.16 19:29 Сейчас в теме
(31) Sanario,
у доработанной здесь https://www.youtube.com/watch?v=ZqatwK-Cumo настроек поболе будет. - И таки да, проверил на копии ИБ (файловая, 3Гб), работает корректно (там ссылка на скачивание под катом)
2. frankeinstein 10.03.16 10:29 Сейчас в теме
а сколько всего задвоенных объектов получилось?
7. vkozak 10.03.16 10:37 Сейчас в теме
Вылетает когда?
При поиске дублей или уже при слиянии?
Я бы ввел квотирование.
т.е. Поискал дубли с первой, например тысячей, обработал, тоже по порциям. По пол сотни документов за заход.
по времени наверняка не ускорится, но пагубное влияние на работу минимизирует, а с каждой итерацией будет приближать к конечному результату.
11. Sanario 27 10.03.16 10:42 Сейчас в теме
(7) vkozak, все понимаю, и обрабатываю поиск номенклатуры по группам, но даже по одной группе номенклатуре в системе почти полное заполнение оперативки. Если бы не поставил ограничение в 24Gb для скуля, так тот бы наверное вообще все сожрал
12. Sanario 27 10.03.16 10:43 Сейчас в теме
А нельзя никак пройтись по таблицам самого SQL напрямую, минуя обращение через оболочку 1с?
13. frankeinstein 10.03.16 10:47 Сейчас в теме
Когда и как произошло задвоение? Может взять архивную копию до этого места, и перенести новые данные? Возможно по трудоемкости выйдет побыстрее.
14. Sanario 27 10.03.16 10:49 Сейчас в теме
(13) frankeinstein, бухгалтера обнаружили спустя месяц, но за это время успели набить больше 2000 документов, ну как бы офигеть(
Бэкап есть, но теперь не вариант точно - перепроводили документы, меняли, документы шлепали, операции вручную (по 32000 видел). Бэкапы снимаются каждые сутки по 2 раза в сетевое хранилище: утром в 6:00 и вечером в 22:00. Вот такая вот фигня
15. frankeinstein 10.03.16 10:54 Сейчас в теме
(14) Sanario, ну не вбивать же документы ручками, а, как полагается, использовать многоуважаемую конвертацию данных, может обработки какие найдешь, сейчас чего только не написано
16. Sanario 27 10.03.16 10:57 Сейчас в теме
(15) frankeinstein, с КД дружу плохо, да и релизов проскочило уже больше 10 в 1с. Да и если по уиду переносить - дубли будут - ведь набивали уже по задвоенным позициям, и даже если искать, то заново будет с самого начала - по регистрам, документам и прочее :(
17. frankeinstein 10.03.16 11:00 Сейчас в теме
(16) Sanario, ну тебе виднее, может взять в аренду памяти у кого. Можно купить память, погонять, потом вернуть в магазин в течение 2 недель, чем не вариант. )))
18. Sanario 27 10.03.16 11:12 Сейчас в теме
(17) frankeinstein, если помнишь (не против, если на ты?), то у Windows 208R2 Standart идет ограничение на использование оперативной памяти. Если не ошибаюсь, то как раз 32 Гига
19. frankeinstein 10.03.16 11:19 Сейчас в теме
(18) Sanario, не против, не клуб господ же у нас, но клуб товарищей. Тогда пробуй частями, сколько получится прогонять без переполнения памяти.
20. makfromkz 35 10.03.16 11:22 Сейчас в теме
Я бы куда-нибудь в запросе вставил бы ПЕРВЫЕ 1000
и запускал бы периодически
23. Sanario 27 10.03.16 13:40 Сейчас в теме
(20) makfromkz, первая 1000 наименований номенклатуры?:) Я беру по группам, их много, в каждой как раз таки не больше 1000, просто движений с этими элементами уже до..., вообщем много
27. Chameleon1980 10.03.16 15:39 Сейчас в теме
попробуйте такую вещь как Инструменты Разработчика от TormozIT
28. Chameleon1980 10.03.16 15:40 Сейчас в теме
там должно быть то, что вероятно вам поможет

http://devtool1c.ucoz.ru/

испольховать можно портативные
32. Chameleon1980 10.03.16 18:16 Сейчас в теме
видимо у Xershi допиленная какая
или другая

ИР (инструменты) то не пробовали?
34. Xershi 1556 10.03.16 18:30 Сейчас в теме
И лучше по наименованию или почему артикул?
36. Chameleon1980 10.03.16 21:47 Сейчас в теме
я у себя еше одну откопал
38. matt.unknown 11.03.16 08:14 Сейчас в теме
(37) Chameleon1980,
эта ощутимо быстрее работает
39. Sanario 27 14.03.16 09:12 Сейчас в теме
Парни, спасибо огромное. Попробую и отпишусь какая быстрее работает
40. Sanario 27 21.03.16 10:54 Сейчас в теме
Во общем ситуация поменялась мало. Небольшой прирост производительности почему-то дало отключение использование транзакции - скорее всего потому, что теперь хваталась не вся таблица номенклатуры целиком, а по очереди, но процесс еще продолжается ... Так что тема еще актуальна
Оставьте свое сообщение

Для получения уведомлений об ответах подключите телеграм бот:
Инфостарт бот