Форум Администрирование Производительность и оптимизация (HighLoad)

Управляемые формы Конфигурации 1cv8
0. barelpro 1114 05.11.19 21:22 Сейчас в теме

Быстрое обезличивание информационной базы

Обработка для формирования SQL-скрипта для быстрого обезличивания и очистки данных.

Перейти к публикации

+ – Ответить
Комментарии
Избранное Подписка Сортировка: Древо
1. ktb 357 07.11.19 09:57 Сейчас в теме
(0) Я бы добавил "красненьким", что это только для тех кто понимает, что делает. :-)
dim9; dj_tol; barelpro; +3 – Ответить
4. zzz_natali 59 07.11.19 10:55 Сейчас в теме
(1) Ну, кто добрался "до сладкого", то бишь до манажамент студио, тот уже понимает, что делает. :)
+ – Ответить
13. dj_tol 93 11.11.19 07:52 Сейчас в теме
(1)и жирненьким и мигающим.
dim9; +1 – Ответить
2. nomad_irk 46 07.11.19 10:07 Сейчас в теме
А обычную форму и формирование скрипта для Postgres сделаете? :)
+ – Ответить
3. barelpro 1114 07.11.19 10:16 Сейчас в теме
(2)

У меня нет постгресса, не на чем будет тестировать, он еще редко встречается...
С обычной формой наоборот - уже редко встречается...
Но если найдутся желающие взять мою обработку за основу для такого развития - я не против!
+ – Ответить
5. zzz_natali 59 07.11.19 11:03 Сейчас в теме
(3) Если проанализировать родной одинэсовский запрос в profiler'е, то там не всё так однозначно. Скажем, очистка адресного классификатора в УПП выглядит так:
DELETE FROM T1
FROM dbo._InfoRg19091 T1
SELECT DISTINCT T1._Fld19325_TYPE, T1._Fld19325_RTRef, T1._Fld19325_RRRef, T1._Fld19326
FROM dbo._InfoRg19324 T1
Прокомментируете или пофиг(трункатим скопом, а потом смотрим, жива таблица или амба)?
+ – Ответить
6. barelpro 1114 07.11.19 11:19 Сейчас в теме
(5) Видеть бы еще ваш УПП, что за имена МД стоят за _InfoRg19091 и _InfoRg19324 ? )

Кстати, с удалением ссылочных объектов надо быть осторожнее в моей обработке, т.к. могут появится битые ссылки. Да и всякие зависимые таблицы (типа итогов и оборотов регистров) тоже не удаляются.
Это уже другая должна быть обработка - обрезка базы, немного другой подход.
Моя цель была - удалить или скрыть информацию, представляющую коммерческую тайну
+ – Ответить
8. zzz_natali 59 07.11.19 11:37 Сейчас в теме
(6)
InfoRg19091 - таблица КЛАДРа
InfoRg19324 - регистр сведений версии объектов(у нас версионирование включено)
Да, согласна: с наскока не будет выигрыша, хотя подрихтовать базу от битых ссылок можно через конфигуратор с помощью тестирования/исправления
+ – Ответить
7. Danil.Potapov 428 07.11.19 11:34 Сейчас в теме
(5) TRUNCATE ничего не знает о saas от 1с, поэтому платформа использует DELETE.
+ – Ответить
9. Yashazz 2950 10.11.19 15:32 Сейчас в теме
Не-е-е. Делать обфускатор на уровне СУБД - это к восстановлению битой базы и долгому интенсивному интиму...
+ – Ответить
10. barelpro 1114 10.11.19 16:44 Сейчас в теме
(9) Конечно, если менять ссылочные реквизиты, а тут только строковые
+ – Ответить
11. Yashazz 2950 10.11.19 17:16 Сейчас в теме
(10) Всегда есть шанс цепануть что-то критическое...

Я для себя иначе поступил - написал конфу, которая берёт пустую cf и генерирует стендово-тестовое наполнение по заданным правилам. С тех пор базы у заказчиков не прошу, а прошу лишь логику и статистику их наполнения.

А обфускацию лучше имхо на уровне платформы делать.
Kolunya; barelpro; +2 – Ответить
12. barelpro 1114 10.11.19 18:05 Сейчас в теме
(11) Ну это если вы на стороне подрядчика. А если вы на стороне заказчика хотите дать внешнему подрядчику базу, и у вас нет такой волшебной обработки? )
+ – Ответить
14. Fox-trot 109 11.11.19 08:13 Сейчас в теме
(12) или тебя по-твоему незаслуженно уволили
лол
+ – Ответить
15. fart07 09.12.19 09:51 Сейчас в теме
Отличная обработка, как раз нужно было быстро обезличить большую базу. Чуть модифицировал под обычные формы.
barelpro; +1 – Ответить
Оставьте свое сообщение
Новые вопросы с вознаграждением
Автор темы объявил вознаграждение за найденный ответ, его получит тот, кто первый поможет автору.
ЗУП 3.1 Трудовые функции. Электронные трудовые  1 $m ЗарплатаЗУП3.x
Программное заполнение документа с табличной частью из обработки  0.2 $m Dev
Количество застрахованных в РСВ  0.05 $m ЗарплатаЗУП3.x
EDT проверка кода для толстого клиента  1 $m Toolsv8EDTПрограммист
Маркировка обуви. Из ОФД в ИС МП (Честный знак) не передаются данные по выбытию обуви (тэг 1162)  0.25 $m DevРозницаМаркировка
Правила обмена для ПланаОбмена Полный в Бухгалтерия 3.0  0.27 $m DevБП3.0
Вынести фоновые задания на отдельный кластер  2 $m HighLoad

Вакансии

Программист 1С
Санкт-Петербург
зарплата от 80 000 руб. до 120 000 руб.
Полный день
Консультант по 1С:Документооборот
Санкт-Петербург
зарплата от 120 000 руб. до 150 000 руб.
Полный день
Программист по 1С:Бухгалтерии
Санкт-Петербург
зарплата от 120 000 руб. до 150 000 руб.
Полный день
Программист по 1С:ЗУП
Санкт-Петербург
зарплата от 120 000 руб. до 150 000 руб.
Полный день
Консультант-аналитик 1С
Москва
зарплата от 100 000 руб. до 150 000 руб.
Полный день