Поиск и удаление дублей с увеличенным порогом максимального числа дублей [расширение]

02.10.19

–

Возможно, кому нибудь пригодится и будет полезным тем, кто столкнулся с проблемой, что обработка по поиску и удалению дублей при обработке данных выдала сообщение "Найдено слишком много элементов. Уточните критерии поиска дублей." (т.е. достигнуто максимальное число найденных дублей, установленное в обработке).

Скачать исходный код

	Наименование	Файл	Версия	Размер
	ПоискИУдалениеДублей[Расширение] .cfe 31,90Kb 133	.cfe		31,90Kb	133	Скачать

Стандартный механизм поиска и удаления дублей в большинстве конфигураций на основе БСП имеет верхний предел в 1500 на максимальное число найденных дублей, превысив которое выдается сообщение "Найдено слишком много элементов. Уточните критерии поиска дублей.". Можно уточнить критерии поиска и обрабатывать данные частями, можно внести изменения в код обработки по поиску и удалению дублей, вынести во внешнюю обработку и доработать её. Я вынес это в расширение, перехватываю стандартную функцию и меняю в ней параметр максимального числа дублей. В расширении этот верхний предел увеличен до 16000 (больше делать не стал, т.к., возможно, будет недостаточно ресурсов ПК, недостаточно памяти для обработки большего объёма данных. При желании можете его увеличить самостоятельно).

Добавляем расширение через Администрирование- Печатные формы, отчёты и обработки - Расширения. После добавления расширения, перезапускаем программу для вступления изменений в силу.

Важно: При установки расширения обязательно снимаем флаг "Безопасный режим", как показано на анимации, т.к. в безопасном режиме к серверным процедурам / функциями расширение применяться не будет.

Разрабатывалось и проверялась работоспособность на Бухгалтерии ред. (3.0.67.63). Управление торговлей (11.4.6.207). Комплексная автоматизация (2.4.6.207). Управление нашей фирмой (1.6.16.132). Платформа (8.3.13.1513)

Не требует снятия конфигурации с поддержки.

Поиск удаление дубли БП УТ КА УНФ расширение поиск ограничения

–

См. также

Удаление данных с отбором и построением дерева ссылок в базах 1С 8.1-8.3 УТ 10.3./11, БП 2/3, ЗУП 2.5/3, КА 1.1/2, УНФ 1.6/3.0

Чистка данных Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 1С:Управление торговлей 10 1С:Управление торговлей 11 Платные (руб)

Данные обработки помогут Вам легко и, главное быстро, выполнить удаление любых данных в Ваших базах 1С на платформах 8.1-8.3. Обработки помогут легко просмотреть связи ссылок в виде дерева, выбрать что удалять, а что нет, используя любые отборы. Это позволит уменьшить объем лишней и не нужной информации в справочниках и документах, планах видов характеристик и др. объектах и облегчит работу с данными пользователям и Вам. Понятное расположение команд и настроек, в сочетании с описанием и справкой, еще упростят процесс. (Обновление от 04.10.2023, версия 4.2)

9600 руб.

22.02.2013 136163 249 144

418

Универсальное выборочное удаление данных из базы 1С (любые конфигурации на упр.формах: БП 3.0, УТ 11, КА 2, ERP, УНФ, ЗУП 3, Розница и т.д.)

Чистка данных Платформа 1С v8.3 Управляемые формы 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Зарплата и кадры государственного учреждения 3 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x Платные (руб)

Обработка позволяет удобно выборочно удалить данные из базы 1С. Это могут быть как неиспользуемые элементы справочников, так и неактуальные организации. При этом есть возможность провести анализ пересечений документов с другими организациями и таким образом уберечься от того, что при удалении обороты по другой организации изменятся.

3350 руб.

28.11.2019 24453 49 16

SALE! 10%

Выборочное удаление организаций из баз (управляемые формы), с удалением всех ссылающихся на эти организации данных

Чистка данных Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Платные (руб)

Позволяет удалить организации из любых программ на управляемых формах (БП 3.0, УТ 11, КА 2, ERP 2, ЗУП 3.0, УНФ, Розница 2.0 и пр.). Главное требование - программа должна содержать справочник "Организации". Реализован самый быстрый алгоритм непосредственного удаления объектов. Работает даже на базах большого размера. Для ускорения работы алгоритма не запускается проверка контроля ссылочной целостности. Проверку учета можно запустить отдельно с помощью дополнительной обработки. Необходимо перед удалением самостоятельно проверить базу на наличие перекрестных ссылок разных организаций в одном документе. Эту дополнительную обработку проверки перекрестных ссылок по запросу предоставляем бесплатно нашим покупателям.

~~3980~~ 3582 руб.

16.03.2015 114010 182 77

218

Замена Номенклатуры+Характеристики

Чистка данных Логистика, склад и ТМЦ Платформа 1С v8.3 План видов характеристик 1С:Комплексная автоматизация 1.х 1С:Управление производственным предприятием 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Платные (руб)

Настраиваемая обработка, позволяющая заменить пару: Номенклатура+Характеристика в документах, их движениях и независимых регистрах сведений. Без перепроведения. Поможет, если вы по каким-то причинам решили отказаться от характеристик

3600 руб.

04.08.2015 41204 89 70

Удаление битых ссылок 1С в базе без монопольного режима

Чистка данных Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

Если в вашей информационной базе крутится очень много данных, или база должна быть доступна 24/7 (как в моем случае), или же вы боитесь запускать тестирование и исправление, НО существует потребность удалить битые ссылки, тогда эта обработка сможет Вам помочь. Обработка выявляет битые ссылки как в самих объектах метаданных, так и в их табличных частях(!), а так же может их удалить.

2400 руб.

23.08.2021 9297 15 3

Очистка регистров сведений от записей по помеченным на удаление элементам

Чистка данных Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

в современных конфигурациях стало очень много регистров сведений, хранящих вспомогательную и периодическую информацию и администраторы информационных систем стали сталкиваться с проблемой удаления помеченных на удаление объектов, так как ссылки на них хранятся в многочисленных регистрах сведений. Помочь почистить базу от ненужных записей предназначенная данная внешняя обработка на управляемой форме, которая ищет записи во всех регистрах сведений по помеченным на удаление объектах и очищает по ним записи их после использования данной обработки дальше можно смело пользоваться типовой обработкой удаление помеченных на удаление и проблем с удалением не возникнет! Удачи всем!

1200 руб.

21.01.2022 7165 5 6

Очистка кэша 1С. Исполнитель

Чистка данных Инструментарий разработчика Платформа 1С v8.3 Абонемент ($m)

Очередная вариативная очистка кэша 1С с помощью Исполнителя 3.0.2.2.

1 стартмани

25.10.2023 4628 4 SerVer1C 25

Очистка регистра накопления. Очистка регистра сведений.

Чистка данных Платформа 1С v8.3 Управляемые формы Платформа 1C v8.2 Конфигурации 1cv8 Бесплатно (free)

ВАЖНО!!! Очистку регистров накопления и регистров сведений рекомендуется делать пользователям со знанием дела и с осознанием последствий! Обработка поможет быстро очистить выбранный регистр. Делаю данную обработку в первую очередь для себя, т.к. были случаи, когда нужно было очищать регистры, а делать красиво и удобно времени не было.

06.02.2023 13029 870 Neiron_1C 15

Комментарии

Подписаться на ответы Инфостарт бот

Свернуть все

1. zeegin 114 19.02.19 20:58 Сейчас в теме

В 3.0.2 БСП это не блокирующее предупреждение. Там показывается к замене первые 1500 найденных.

С б`ольшим количеством слишком больш`ое потребление памяти.

2. foxsis 111 19.02.19 21:42 Сейчас в теме

(1) Здравствуйте. Поиск при достижении установленного порога останавливается, что доставляет порой неудобства. Насчёт потребления памяти согласен, в тексте к публикации это написал. В установленном пороге 16000 у меня отработало более менее нормально, выше делать не стал, но об этом опять же написал. Варианты по решению проблемы так же описаны в тексте публикации, я с помощью расширения предлагаю один из вариантов.

3. zeegin 114 19.02.19 23:23 Сейчас в теме

(2) Поиск при достижении установленного порога останавливается, что доставляет порой неудобства.
Говорю же - это в БСП 3.0.1 он останавливается, в 3.0.2 он предлагает заменить первые 1500 дублей. См скриншот.
По перечисленным у Вас конфигурациям везде стоит 3.0.1. 3.0.2 пока используется только в последних УНФ и БГУ, но остальные тоже скоро на нее перейдут.

Прикрепленные файлы:

4. foxsis 111 20.02.19 08:23 Сейчас в теме

(3)БСП 3.0.2 не смотрел, смотрел только описанные конфигурации, в них собственно и столкнулся с данным ограничением.Спасибо за новость по поводу БСП 3.02. То что в БСП 3.0.2 доработали обработку поиска и удаления дублей это очень даже хорошо.
Пока это ограничение актуально во многих конфигурациях, поэтому думаю кому нибудь решение данной проблемы пока ещё будет актуальным.
По поводу УНФ, посмотрел версии библиотек в последнем релизе, там написано что "СтандартныеПодсистемы 3.0.1.342". релиз УНФ (1.6.16.184), в тестовом аналогично.

5. ret 63 20.02.19 15:19 Сейчас в теме

(2) 25000, 40000 и 50000 ставил ограничение. Все нормально прокатывало. но реально может долго искать, по несколько часов. По "нехватает памяти" ни разу не вылетала.

6. foxsis 111 20.02.19 16:07 Сейчас в теме

(5) Не стал рисковать, мало ли попадется не слишком мощная машина. В большинстве случаев мне даже 5000 хватало для обработки. Хотел даже сперва сделать интерактивный ввод пользователем этого максимального количество, но не стал, т.к. решил что пользователь может и 100000 написать и будет сидеть пол дня пока что нибудь не произойдёт.

7. ret 63 20.02.19 17:52 Сейчас в теме

(6) Я сделал проще, на обработке стандартной "Удаление дублей", вывел окошечко, куда ставил цифру, и в нем менял при надобности этот показатель. А при открытии поставил 15000 и все.

8. foxsis 111 20.02.19 18:44 Сейчас в теме

(7) тоже как вариант.

9. misha_shinkarev 04.03.21 18:23 Сейчас в теме

(7)Добрый день. а как это можно сделать ? спасибо.

10. ret 63 11.03.21 14:40 Сейчас в теме

(9) В самой обработке в конфигураторе.

11. kon_alex155 17.09.21 13:28 Сейчас в теме

КА 2.4.13 расширение не устанавливается

12. foxsis 111 17.09.21 15:42 Сейчас в теме

(11)для новых редакций нужно поменять режим совместимости расширения на 8.3.14, ну или на тот, который установлен в основной конфигурации

13. p_naryshkin 23.09.21 14:55 Сейчас в теме

Полный бред делать обработку в расширении.

14. foxsis 111 23.09.21 22:10 Сейчас в теме

(13) в чём именно бред? У каждого своя реализация. В данном случае я не переделывал полностью обработку, а заимствовал в расширение одну функцию в которой увеличил порог максимального числа дублей, в данном случае посчитал этот вариант практичней, чтобы обработка обновлялась вместе с конфигурацией и не было проблем, когда разработчики переименовывают, перемещают процедуры и функции общих модулей, частично меняют логику работы обработки. Зачем изобретать велосипед, если для решение нужной мне задачи нужно лишь изменить небольшой фрагмент кода в одной из процедур и в тоже время обработка продолжает полноценно обновляться вместе с конфигурацией?!