"*" данных без транзакций. Расширение для легкого возврата к "исходному" или выбранному состоянию после любых изменений данных

0. 108 06.04.21 11:30 Сейчас в теме
Для сценарного и модульного тестирования, процесса разработки, создания видеоинструкций, сопровождения, первичной настройки конфигураций... В общем, для любых процессов, в которых используются эталонные или стартовые данные, к которым хотелось бы возвращаться (в случае возникших проблем, например) быстрее и проще, нежели с помощью резервной копии

Перейти к публикации

Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. Darklight 27 06.04.21 12:44 Сейчас в теме
Ролбэк данных без транзакций
- заменил слово, которое не могу написать (из заголовка), на Ролбэк - т.к. движок Инфостарта его заменял на * (смотрю - сейчас и в заголовке стала "*")
Думал, тут что-то хитрое придумано, но
Восстановление происходит в транзакции

И это тоже расстроило
расширение не предназначено для работы в "боевой" базе

Хотя, всё-равно, это хорошая штука для тестовых баз.
И для демо-серверов

Можно включить фиксацию изменений для отдельного пользователя (он "сам" должен это сделать) и для текущей сессии.
Такие варианты могут использоваться с дополнительными оговорками, поскольку не гарантируется целостность восстанавливаемых данных из-за того, что в истории не фиксируются действия других пользователей.

По хорошему, тут как раз можно было бы и заморочиться. Обычно это нужно как раз в рабочей базе и как раз по одному пользователю-тестировщику (+ все остальные). Тогда можно было:
1. Зафиксировать версию объекта до изменения тестировщиком
2. Для остальных пользователей при чтении объекта читать зафиксированную версию (это самое сложное)
3. Фиксировать отдельно версию после изменений других пользователей....
Или даже проще
1. Фиксировать отдельно версию тестировщика (оставляя оригинальные данные - вернее сразу восстанавливая их)
2. При чтении данных тестировщиком - читать зафиксированную отдельно версию

Организовать чтение зафиксированную версии из отдельного источника, пожалуй, самое сложное - причём именно поймать момент чтения и подменить одни данные на другие.

Можно восстановиться до определённой записи в истории, если сможете правильно определить эту самую нужную вам запись. Тогда история зачистится только до этой строки.

На эту тему рекомендую сделать простую доработку - явно назначаемые временнЫе маркеры (с комментариями) - которыми можно было бы фиксировать (интерактивно или програмно) временные отсечки - и потом просто восстанавливаться на состояние перед этим маркером.


А вот это можете пояснить?
Поэтому главное ограничение - версия платформы. Подписки на события в расширениях появились в 8.3.17. Поэтому использовать расширения на более старых версиях платформы не получится. А вот режим совместимости может быть достаточно "старым"


И вот это тоже, хотелось бы пояснить подробнее
Объекты восстанавливаются в порядке, обратном порядку записи
2. Алексей Воробьев 108 06.04.21 13:19 Сейчас в теме
(1) Спасибо за развернутый комментарий и хорошие вопросы. Талантом писателя, в том числе и технического, к сожалению, не наделен)

Думал, тут что-то хитрое придумано, но
Восстановление происходит в транзакции

Самый простой способ "откатить" изменение данных - выполнять изменения в транзакции, которую потом не фиксировать. Здесь как раз нет никаких транзакций (кроме платформенных и прописанных в коде конфигурации, разумеется) именно при изменениях данных. А восстанавливаются они действительно в транзакции, дабы сохранить целостность данных и истории изменения в случае возникновения ошибки при восстановлении.
Накликивать данные можно часами, восстановление в транзакции будет занимать десятки секунд или минуты...


И это тоже расстроило
расширение не предназначено для работы в "боевой" базе

Ну, это чисто мое мнение...использовать-то можно...на свой страх и риск... Но я бы не стал :-)

Про фиксацию данных и их подмену для разных пользователей... Тема интересна чисто с технической точки зрения. Но тут вопрос скорее к овчинке и выделке.
В тех эко-системах серверов и ПО, где работаю я, восстановление довольно свежего "боевого" бэкапа в тестовую базу занимает совсем непродолжительное время и такие доработки и сопутствующие риски неактуальности данных в боевой базе - вещи нецелесообразные...
Но код открыт полностью - все в Ваших руках)

Про "временные маркеры" и комментарии к ним. Очень хорошая идея, постараюсь реализовать в ближайшее время. Спасибо!


А вот это можете пояснить?
Поэтому главное ограничение - версия платформы. Подписки на события в расширениях появились в 8.3.17. Поэтому использовать расширения на более старых версиях платформы не получится. А вот режим совместимости может быть достаточно "старым"

Тут очепятка, сори (если я правильно Вас понял). Сейчас отредактирую: "Поэтому использовать расширения" заменю на "Поэтому использовать данную разработку"


И вот это тоже, хотелось бы пояснить подробнее
Объекты восстанавливаются в порядке, обратном порядку записи

Тут как раз все просто: справочник истории с числовым кодом и с автонумерацией. В процессе восстановления данных определяется набор восстанавливаемых элементов и восстанавливаются они по отсортированному по этому коду в обратном порядке списку...
3. Darklight 27 06.04.21 14:41 Сейчас в теме
(2)Вопросы был про вот эту фразу - видимо я что-то не знаю о режимах совместимости и о требованиях к ним в расширениях
А вот режим совместимости может быть достаточно "старым"


Тут как раз все просто: справочник истории с числовым кодом и с автонумерацией. В процессе восстановления данных определяется набор восстанавливаемых элементов и восстанавливаются они по отсортированному по этому коду в обратном порядке списку...

Нее... я не понимаю. Допустим восстановление идёт на некую строку (как Вы пишите) - по факту - на некоторый момент времени - тут сразу на ум приходит периодический регистр сведений - но у Вас справочник - тогда нужен просто срез последних данных (ключа данных - и это тот ещё вопрос - т.к. для ссылочных типов всё просто - это их ссылка, а для регистров (особенно неподчинённых и не периодических) всё куда сложнее); да и как Вы храните версию - целиком - или только изменённую часть - если только изменённую - то боле-менее понятно что Вы делаете) - получили срез - и просто перезаписали объекты из версии среза - если они хранятся целиком - никакого обхода по версиям не нужно делать.
А, вот, если Вы храните данные по изменённым полям (например у документа изменили дату - то сохраняете в своё хранилище - по ключу ссылке - имя реквизита "Дата" и его прошлое значение), то на срезе не будет плоской таблицы текущих версий - нужно сделать обход в глубину (в прошлое) и восстановить каждый изменённый реквизит каждого объекта - причём один раз (только последний) - а это уже куда сложнее и дольше.
А с регистрами - так вообще можно только полные версии хранить - всего набора... или нужно целиком хранить ключ - измерения - и далее имя изменившегося ресурса/реквизита и значения - но обычно ключи тут как раз очень длинные - и проще весь набор хранить (в идеалае запаковав по методу колоночных баз данных).

Я это всё говорю не просто так - так как имею опыт разработки системы версионирования данных на 1С - а Ваше решение по сути таковым и является
4. Алексей Воробьев 108 06.04.21 15:42 Сейчас в теме
(3)
А вот режим совместимости может быть достаточно "старым"

Поначалу я настройку сделал на константах. При тестировании очередной базой, к которой я "прилепил" расширение, была ERP 2.4. У нее режим совместимости был 8.3.14 и он не пропускал констант в расширении. Они появились в появились в 8.3.16. Я переделал настройки на регистр сведений в итоге.
Это и явилось причиной появления данной фразы в публикации.


Нее... я не понимаю...

Вы сейчас в комментариях вытягиваете все, что я недосказал в публикации)). По сути, просите пересказать все внутренности разработки. Ну что ж, код открыт, секрета никакого, извольте, коли не хотите скачивать, тратить мани и время на изучение чужого кода. Искренний технический интерес хороших специалистов мною очень уважаем и льстит мне не меньше лайков :-)

Действительно, "обратный" порядок восстановления данных не играет никакой роли. Сделал так "на всякий случай". Даже прогрессбар работает в форме восстановления от 100% к нулю :-) Ведь о т к а т же :-) (и правда ИС "запикивает" это слово!)

Главное - локализовать "первичные" версии объектов и наборов данных, которые и будем восстанавливать.
И тут действительно есть идентификатор данных, его поле видно на одном из скринов. И в случае со ссылочным типом данных там действительно "сидит" уникальный идентификатор из ссылки.

А вот в случае регистров (на скрине как раз наборы записей различных регистров, в историю запакованные) там находится...назовем это неким "хэшем" отбора регистра, созданным на основе сериализованного в JSON массива, содержащего все элементы отбора.

Таким образом имя метаданных (разумеется полное, вида "РегистрСведений.СостоянияСотрудников") и данный "хэш" дадут нам уникальный ключ данных.

Сами же данные хранятся в виде JSON-представления объекта (всего набора записей, например), будь то ссылочный тип, или набор данных регистра, или значение константы. Я его даже не упаковываю в хранилище со сжатием, пытаясь таким образом не повлиять на скорость выполнения основных операций.
Именно поэтому я говорю, что длительное накопление истории приведет к увеличению размера базы...
5. Darklight 27 06.04.21 17:28 Сейчас в теме
(4)Ничего не вытягиваю, просто пытался на скорую руку понять как глубоко Вы копали. Оказалось не глубоко, и это всё как раз обусловлено теми сценариями, которые Вы предлагаете к использованию (и тем как использовали на практике). Они вполне себе имею право на жизнь. для данной разработки.

То что версия объекта записывается целиком как раз может сильно влиять и на производительность записи и на производительность восстановления (но да - так проще, хотя и не компактно) когда они очень большие (а это не редкость, скажем, для документов в оптовой и и в розничной торговле, или при бюджетировании и много где ещё), а модифицируют в них обычно как раз "помелчи". Но для тестовых баз и так сойдёт.

Хеши отбора регистра - вещь правильная - но ни один алгоритм хеширования не гарантирует уникальности хеша. Поэтому все хеш-коллекции используют хеш-только как первый индекс, сравнивая потом полные ключи. Но для тестовых баз, наверное, и так сойдёт.

Обратный порядок - замедляет восстановления - Вам нужен только срез до выбранного момента
Обратный отсчёт индикатора - идея плохая - она намекает об отмене процесса (который до этого шёл в прямом направлении) - а у Вас идёт процесс отмены изменений - это вполне себе нормальный процесс - лучше измените на прямое направление - не смущайте народ - вот не применится транзакция этого процесса (а это легко может произойти, скажем, из-за блокировок) - вот тогда можете визуализировать декриментирование индикатора прогресса...

Сжимать JSON можно отдельно - в фоновом задании - это не будет шибко тормозить основную работу - вообще в фоне можно много оптимизации сделать

Восстанавливать тоже можно в фоне... рисуя красивый прогресс и его обратку на клиенте без блокировки сессии - если транзакция не будет принята - пока будет идти фоновая отмена этой транзакции (хотя момент завершения отмены в СУБД не поймать)


А вот режим совместимости может быть достаточно "старым"

Это всё равно не понимаю. Так какой режим совместимости конфигурации нужен, чтобы поставить на неё данное расширение?
6. Алексей Воробьев 108 06.04.21 20:24 Сейчас в теме
(5)
для тестовых баз и так сойдёт

Согласен! Раскопки велись четко на глубину стоящих задач...


(5)
Обратный порядок - замедляет восстановления - Вам нужен только срез до выбранного момента

Теперь я не понял...
В публикации же сказано:

При восстановлении данных восстанавливаются только самые первые версии измененных объектов. То есть если документ (или регистр по определенному отбору) меняли десять раз, то в истории изменения зафиксируются все, но восстановится он только один раз - по самой первой фиксации


Вот он и есть срез - до первой фиксации или до выбранного для восстановления элемента истории. Ну, если, конечно, хеши не пересекутся для разных наборов данных...
Сначала делается срез, по нему идет восстановление. Просто запрос среза упорядочивает полученные к восстановлению элементы истории в порядке кодов по убыванию.
Но, повторюсь, на мой взгляд при работе со срезом это совсем необязательно. Похоже, что и Вы мне это пытаетесь донести... Тогда тут мы сходимся...

Про обратный отсчет индикатора... Ну, не согласен... Отмена изменений это не вполне себе нормальный процесс. А вообще, все это вкусовщина...

Сжимать JSON... Делать много чего в фоновом задании приходилось как раз в рамках оптимизации различных процессов. Не посчитал это необходимым. Опять же - в рамках решаемых задач заниматься оптимизацией - зачем?
Замеры производительности провел: при фиксировании истории код расширения добавлял не более одного процента нагрузки. При восстановлении распаковка сжатого только увеличит время выполнения. Так зачем оно? Для экономии места на тестовых базах?
По сравнению с самим объемом некоторых баз - это надо постараться нагенерировать "опасные" объемы...

Восстановление и так идет в фоне. Наличие индиктора четко об этом говорит. Блокировать или не блокировать интерфейс - тоже вкусовщина... Не для конечного же пользователя, а для своих же, IT-шников, писалось. Кому не понравится - сам подправит)

Вообще, интерфейсные споры - уже не к этой публикации...

Так какой режим совместимости конфигурации нужен, чтобы поставить на неё данное расширение?

А вот это вопрос по делу. Не указал точно в публикации, каюсь.
Если отключить переопределение основной роли конфигурации в расширении, то можно использовать режим совместимости конфигурации не ниже 8.3.12 (более ранним перечисление мешает). Если не отключать, то не ниже 8.3.14
7. tormozit 6304 06.04.21 20:38 Сейчас в теме
Думаю еще можно было использовать штатных механизм "История данных" платформы - в подписке вызывать ЗаписатьВерсию() вместо собственной сериализации и записи в регистр/справочник. Тогда расширение думаю можно было бы сделать без изменения структуры данных - приятный бонус.
8. Алексей Воробьев 108 06.04.21 21:01 Сейчас в теме
(7)Ух, какая тяжелая артиллерия подтянулась! Спасибо за внимание! (не сарказм)
Конечно же, было бы можно. Но.
Замеров производительности не делал, но есть подозрение что моя реализация дышит быстрее платформенного версионирования из-за того что банально проще.

Но не это основное.
Все-таки возможность откатиться не в "самое начало", а на определенную точку "где-то посередке", "вот прям перед записью вот этого документа" решила этот вопрос безапелляционно: собственной структуре данных быть!
Да и включать/выключать фиксацию тоже нужно было бы по какой-то настроечке. Ну, удобно же!..
9. tormozit 6304 06.04.21 23:36 Сейчас в теме
Изменения, которые не отловить подписками ровно как и историей данных (в порядке вероятности изменения при тестах)
- хранилища настроек
- регламентные задания
- пользователи

Зато все их можно отловить в СУБД и там можно на конкретную транзакцию все восстановить, если включена полная модель восстановления БД, что конечно является лишними сложностями для тестовых баз. Можно попробовать сделать вывод списка транзакций из журнала регистрации 1С. На нужной транзакции пользователь вызывает команду "Откатить" и делаем все то же самое, но через СУБД (придется отключать БД и делать операцию вне клиентскго приложения этой базы 1С). Но это будет конечно иногда заметно дольше. т.к. СУБД как я понял всегда делает полное восстановление базы, а потом добавляет транзакции из журнала до нужной точки

SQL Server is basically doing a complete restore from the last full backup, and all the log backups up to the point to which you want to get to. Aside from the time it takes to perform the restore, another disadvantage is that the database is not accessible during this period.

В инструменте ApexSQL есть обвязка для этой фичи - "Point in time recovery"
https://host.apexsql.com/sql-tools-log.aspx
https://solutioncenter.apexsql.com/reverting-your-sql-server-database-back-to-a-specific-point-in-time/

_Откат_ внутри сеанса 1С пусть и неполный, но без отключения от базы - конечно дает свои большие плюсы. Так что за реализацию идеи лайк.
11. Алексей Воробьев 108 07.04.21 13:10 Сейчас в теме
(9) Смысл разработки (в том числе) как раз в легкости и скорости восстановления данных. Ну, то есть, покликали - ерунда. Откатились быстренько, кликаем опять.
И "заморочки" с СУБД в эту концепцию ну никак не вписывались)

Хранилище настроек, регламенты и пользователи также в этой концепции неважны. Периодическая фиксация данных не дает четкости понимания что же будет восстановлено при восстановлении не на самое начало, а на какую-то точку.

В любом случае, спасибо за проявленный интерес!

Вообще, тема достаточно обширна и под разные задачи можно решать ее разными способами.

Наблюдаю больше академический интерес народа к публикации, нежели практический. Посему попросил администрацию сделать скачивание бесплатным. Дабы интересующиеся могли безпрепятсвенно поэкспериментировать. А также поискать косячки в коде и потыкать ими меня в комментариях)

Плюс добавил создание закладок в истории изменений. Теперь можно легко найти нужную закладку и откатиться до нее (спасибо Darklight за идею!). Создать закладку можно по горячим клавишам Alt+F2 (общая команда), находясь в любом месте программы, если интерфейс Такси, конечно.
10. tormozit 6304 07.04.21 00:09 Сейчас в теме
Таблицы с неотлавливаемыми подписками изменениями
- хранилища настроек
- регламентные задания
- пользователи
можно просто периодически сохранять целиком, т.к. в тестовых базах они редко будут большими, а последние 2 и в рабочих базах не будут большими. А при выполнении отката брать ближайшее состояние из прошлого.
12. Алексей Воробьев 108 07.04.21 13:12 Сейчас в теме
А, забыл... Про 1% дополнительной нагрузки от работы расширения - это я погорячился...перепроверил...пока получается до 10% на файловой базе. Но тоже приемлемо, но мой взгляд...
Оставьте свое сообщение
Вопросы с вознаграждением