"Перезаливатор" - приложение для автоматизации "перезаливки" баз

05.07.18

База данных - Архивирование (backup)

В данной статье я хотел бы рассказать о приложении «Перезаливатор», которое позволило нам значительно облегчить процесс «перезаливки» баз, вплоть до самостоятельной «перезаливки» информационных баз консультантами 1С.

Скачать файлы

Наименование Файл Версия Размер
Perezalivator.zip
.zip 14,31Kb
16
.zip 2018.05.18 14,31Kb 16 Скачать

В дополнение к статье «Автоматизируй это!» выкладываю приложение «Перезаливатор», о котором шла речь в докладе. 

 

Видеоинструкция

О причинах и контексте создания данного приложения, вы можете узнать из приведенного ниже 20-ти минутного видео. В нем также подробно разбирается процесс установки, настройки и эксплуатации Перезаливатора.

 

 

Описание

Под словом "перезалить" понимается процедура восстановления одной базы данных (база назначения) из резервных копий другой базы данных (база источник). Например, если необходимо загрузить данные из базы продуктива в тестовую или разработочную.

Перезаливатор позволяет максимально автоматизировать процесс "перезаливки" баз данных 1С:Предприятия.

Реализован на OneScript (http://oscript.io). Для работы необходим OneScript версии 1.0.20 или выше.

Код открыт, страница проекта на GitHub: https://github.com/Tavalik/Perezalivator

Имеется GUI-интерфейс для выбора базы-приемника и базы-назначения, а также окно с выводом результата.

 

Установка

  1. Установить OneScript (подробно про установку и настройку можно узнать, например, здесь).
  2. Скачать файл "Distr\Perezalivator-<версия>.ospx" (ссылка)
  3. Запустить установку с помощью пакетного менеджера opm
opm install -f <Путь к файлу Perezalivator-<версия>.ospx>

Можно также воспользоваться командным файлом "install.bat" из директории "Distr"

Зависит от:

(все зависимые библиотеки устанавливаются автоматически при условии использования пакетного менеджера opm)

 

Работа с приложением

Запуск приложения осуществляется запуском файла Perezalivator_Run.bat. При первом запуске в текущем каталоге будет создан пустой файл настроек Perezalivator_Params.json.

Необходимо заполнить все параметры, описав возможные базы-источники, базы-назначения и параметры для отправки электронных писем.

Проверить корректность введенных настроек можно запустив файл Perezalivator_Run_Test.bat. Перезаливатор будет запущен в режиме тестирования настроек.

 
 Пример корректного файла настроек

 

При следующем запуске файла Perezalivator_Run.bat откроется окно, в котором необходимо выбрать базу-источник

 

 

и базу-назначения.

 

 

Если необходимо, можно указать дату, на которую необходимо получить данные (всегда используется конец дня).

После указания всех исходных параметров, перезаливатор начнет работу по следующему алгоритму:

  1. Установка блокировки регламентных заданий и начала сеансов в базе-приемнике
  2. Завершение активных сеансов (спустя несколько минут) в базе-приемнике
  3. Расчет последовательности файлов резервных копий для базы-источника для восстановления на указанную дату
  4. Восстановление базы-приемника по найденной последовательности файлов
  5. Перевод базы-приемника в простую модель восстановления
  6. Сжатие файлов журнала транзакций базы-приемника
  7. Отключение базы-приемника от хранилища
  8. Подключение базы-приемника к хранилищу
  9. Обновление конфигурации базы данных базы-приемника
  10. Снятие блокировки начала сеансов базы-приемника
  11. Уведомление о результате по электронной почте

Если в базе-приемнике присутствуют активные соединения, будет показана таблица со всеми соединениями, а также будет предоставлена возможность завершить все активные сеансы.

 

 

Отработав, Перезаливатор выдаст соответствующее сообщение (или сообщение об ошибке), а также отправит сообщение о результате работы на электронную почту.

 

 

Заключение

Работаем с Перезаливатором уже больше года. Тот функционал, который был нам необходим, мы реализовали. Если будет интерес сообщества, возможно и дальнейшее развитие программы. 

Кстати, есть еще как минимум 2 подобных проекта:

Спасибо за внимание.

   

См. также

Журнал изменений с восстановлением состояния ссылочных объектов и архивацией по HTTP / COM (расширение + конфигурация, 8.3.14+, ЛЮБАЯ конфигурация)

Архивирование (backup) Журнал регистрации Поиск данных Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 1С:Управление торговлей 11 Платные (руб)

База данных «сама» меняет данные в документах/справочниках? Тогда данный журнал изменений для Вас! Практически не влияет на скорость записи объектов за счет быстрого алгоритма! Скорость работы почти в 2 раза выше типового механизма "История изменений"! Позволяет следить за изменениями и удалением в любых ссылочных объектах конфигурации, с возможностью архивации по HTTP(!) или COM, и сверткой данных. А так же, может восстановить состояние реквизитов (значения) до момента изменения или удаления объекта из базы. Есть ДЕМО-база где можно самостоятельно протестировать часть функционала! Работает на любых платформах выше 8.3.14+ и любых конфигурациях! Версия 3.1 от 24.08.2023!

19200 руб.

15.05.2017    42521    10    24    

38

BackUPv8 - система резервного копирования баз 1С

Архивирование (backup) Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

Автоматическое создание копий файловых и серверных информационных баз 1С Предприятие 8 и размещение копий в облаке Яндекс.Диск, локальном или сетевом ресурсе.

1200 руб.

03.09.2014    14732    13    6    

18

Резервное копирование журнала транзакций, наконец-то!

Архивирование (backup) Администрирование СУБД Россия Бесплатно (free)

Постараюсь объяснить, зачем нужно резервное копирование именно журнала транзакций, а не только базы данных, и почему я словно сбросил груз, настроив его - как, покажу, естественно. Кстати, будут скрипты T-SQL (с подробными комментариями) - отличный способ сделать администрирование базы более уютным.

04.12.2023    5869    n_mezentsev    15    

24

Резервное копирование и восстановление 1С баз на PostgreSQL в Windows с помощью pgAdmin, bat-файлов и планировщика

Архивирование (backup) Платформа 1С v8.3 Конфигурации 1cv8 Бесплатно (free)

В данной инструкции будет описано, как с помощью pgAdmin, bat-файлов и планировщика заданий Windows организовать резервное копирование, восстановление и хранение копий баз данных.

07.10.2022    19820    sapervodichka    36    

142

Архивирование базы в dt и дамп postgres

Архивирование (backup) Платформа 1С v8.3 Конфигурации 1cv8 Россия Абонемент ($m)

Захотелось клиентам выгрузку архива баз, и выгрузку в дт, готовые скрипты с сети не заработали. Может, кому-то поможет. Релиз 8.3.18.1741.

1 стартмани

25.08.2022    4716    2    Gnom-Gluck    6    

6

Утилита копирования баз данных 1С

Архивирование (backup) Платформа 1С v8.3 Абонемент ($m)

Небольшая утилита для копирования файловых баз данных 1С.

1 стартмани

02.06.2022    4236    3    Giblarium    12    

5
Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. mashinist 6 06.07.18 09:18 Сейчас в теме
Вопрос есть


9. Обновление конфигурации базы данных базы-приемника
10. Снятие блокировки регламентных заданий и начала сеансов базы-приемника


Можно блокировку регламентных заданий не снимать?
2. Tavalik 3350 06.07.18 09:24 Сейчас в теме
(1)
Отличный вопрос. На самом деле происходит только снятие блокировки начала сеансов. Регламентные задания остаются заблокированными.
Исправил в статье. Спасибо!
3. Evil Beaver 8107 06.07.18 10:30 Сейчас в теме
(0) Виталий, а где можно посмотреть и изучить инструмент "Обновлятор" про который ты рассказывал в мае на IsThisDesign?
4. Tavalik 3350 06.07.18 11:20 Сейчас в теме
(3)
Привет. Да надо тоже собраться с силами, взять и опубликовать. :)

Пока только здесь: https://github.com/Tavalik/Obnovlyator
11. Evil Beaver 8107 06.07.18 16:58 Сейчас в теме
(4) Это тот который делает дельты между конфигурацией поставщика, нашей версией и предыдущей поставщика и генерирует файл слияния?
12. Tavalik 3350 07.07.18 06:25 Сейчас в теме
(11)
Файл слияния не генерирует, но идея хорошая! Надо подумать над этим.
Скрипт просто формирует текстовый файл со списком "трижды измененных" объектов по этим трем конфигурациям.
5. Infactum 315 06.07.18 11:50 Сейчас в теме
О.. старый добрый интерфейс "от программиста". Кровь из глаз :-)
Считаю, что GUI для таких задач зло. Нужно уметь пользоваться консолью / скриптами.
За решение в целом +
6. Tavalik 3350 06.07.18 13:09 Сейчас в теме
(5) Мы и пользовались консолью и батниками, пока не решили, что Консультанты и без нас могут базы перезаливать. Для них уже пришлось рисовать GUI.
FTC; cleaner_it; +2 Ответить
7. petrov_2015 06.07.18 15:37 Сейчас в теме
Виталий, Спасибо! Перезаливатор тема востребованная.

Но нам для полноценного соответствия "Автоматизируй это" пришлось немного расширить функциональность:

1. Создание информационной базы
2. Удаление информационной базы
3. Отключение от РИБ при перезаливке
4. Восстановление на момент времени
5. Получение текущей копии базы

Можно ли и как эти доработки включить в ваш проект: присоединиться к github или обменяться по почте?
Может кому окажется полезным...
Прикрепленные файлы:
LexSeIch; eeeio; cleaner_it; Tavalik; +4 Ответить
9. Tavalik 3350 06.07.18 16:21 Сейчас в теме
(7)
Ничегосебе! Круто! Конечно, давайте интегрироваться. Написал в личку.
8. insurgut 207 06.07.18 16:14 Сейчас в теме
Не совсем понятно в итоге в автоматическом режиме работать приложение может? Или процесс "перезаливки" стартует исключительно по нажатию на кнопку? Т.е. есть задача каждую ночь запускаться, выгружать данные из рабочей базы и загружать в резервную базу.

На данный момент эта задача решается при помощи планировщика заданий Windows и запуска следующего скрипта:
CHCP 1251
"C:\Program Files (x86)\1cv8\common\1cestart.exe" CONFIG /S"SQLSRV3\ut_rezerv" /UC My_Password /N"Администратор" /P"My_Password" /Out"C:\Logs\1c.log" /RestoreIB"H:\backup_auto\Торговля_%date:~6,4%-%date:~3,2%-%date:~0,2%.dt"


Но хотелось бы какой-то юзабилити ))

P.S. Под файлами резервных копий подразумеваются резервные копии, созданные в MSSQL?
10. Tavalik 3350 06.07.18 16:32 Сейчас в теме
(8)
Или процесс "перезаливки" стартует исключительно по нажатию на кнопку?


Вот сам Перезаливатор требует ручного нажатия. Но вся суть этой GUI оболочки, только сформировать параметры и вызвать соответствующие процедуры библиотек TMSSQL, TRun1C. Посмотрите описание, там много экспортных методов.

Для автоматических действий используем скрипты, код которых очень похож на основную процедуру Перезаливатора, но под каждую операцию свой скрипт. Выглядит примерно так:

...

	// Установим блокировку начала сеансов
	Если Не НетДоступаККонсолиКластера Тогда
		Если Не БылиОшибки Тогда
			Если Запуск1С.УстановитьБлокировкуНачалаСеансов() Тогда
				СтрокаДействие = "Установить блокировку начала сеансов - УСПЕШНО";
			Иначе
				СтрокаДействие = "Установить блокировку начала сеансов - ОШИБКА: " + Запуск1С.ТекстОшибки;
				БылиОшибки = Истина;
			КонецЕсли;
			Логирование.ЗаписатьСтрокуЛога(СтрокаДействие);
			ПолеЛог.Значение = ПолеЛог.Значение + Символы.ПС + СтрокаДействие;
		КонецЕсли;
	КонецЕсли;
	ВыполнитьСборкуМусора();

...

	// Восстановим базу
	Если Не БылиОшибки Тогда
		Если УправлениеMSSQL.ВосстановитьИзРезервнойКопииБД(МассивФайлов,ТаблицаФайловБДИсточника) Тогда
			СтрокаДействие = "Восстановить из резервной копии БД - УСПЕШНО";
			БазаВосстановлена = Истина;
		Иначе
			СтрокаДействие = "Восстановить из резервной копии БД - ОШИБКА: " + УправлениеMSSQL.ТекстОшибки;
			БылиОшибки = Истина;
		КонецЕсли;
		Логирование.ЗаписатьСтрокуЛога(СтрокаДействие);
		ПолеЛог.Значение = ПолеЛог.Значение + Символы.ПС + СтрокаДействие;		
	КонецЕсли;

Показать


P.S. Под файлами резервных копий подразумеваются резервные копии, созданные в MSSQL


Да, поддерживаются только копии MS SQL Server.
insurgut; +1 Ответить
13. Vo-Va 730 08.07.18 12:39 Сейчас в теме
Еще бы добавить подключение копии базы к хранилищу.
14. Tavalik 3350 08.07.18 19:53 Сейчас в теме
(13)
Так есть же:

8. Подключение базы-приемника к хранилищу
15. Vo-Va 730 09.07.18 01:49 Сейчас в теме
(14) Спасибо, был невнимателен
16. xan333 59 11.07.18 10:05 Сейчас в теме
Объясните пожалуйста дремучему чем лучше данное приложение стандартного функционала Microsoft SQL Server Management Studio ?
17. Tavalik 3350 12.07.18 06:38 Сейчас в теме
(16)
Здравствуйте. Объясняю:
1. Автоматизирована работа с сансами (происходит "мягкое" отключение сеансов, а не "SET SINGLE_USER").
2. Автоматизирована работа с хранилищем (отключение, подключение).
3. Добавлено обновление базы данных после подключения к хранилищу.
4. При необходимости, можно добавить еще какие-нибудь обработчики после восстановления данных (например, отключение от РИБ).
5. В отличии от SSMS в Перезаливаторе исключена возможность что-то "испортить", что позволяет пользоваться им консультантам и даже ключевым пользователям.
6. Простой GUI-интерфейс.

Конечно, можно заморочиться и все это реализовать в SSMS, но по мне, так на OneScript все это написать и затем поддерживать проще.

Но есть у меня решение и для сторонников Microsoft SQL Server Management Studio: https://infostart.ru/public/799857/
18. tpkpsd 16.08.18 17:03 Сейчас в теме
Что-то не получается настроить. Обновлятор выходит с нулями вместо баз. Настройки корректные, запускаю на сервере. В чём может быть дело?
19. tpkpsd 17.08.18 10:14 Сейчас в теме
(18) разобрался, мой косяк был
20. user935352 04.02.19 16:47 Сейчас в теме
(19) а в чем косяк был? у меня такая же история, не понимаю, где ошибся.
21. tpkpsd 05.02.19 16:42 Сейчас в теме
(20) вспомнить бы)) Вроде облажался на спецсимволах - где-то не поставил фигурную(квадратную) скобку или запятую
попробуйте этот шаблон со своими данными в Perezalivator_Params.json

{
"Источники":
[
{
"Имя" : "ЗУП",
"АдресСервераSQL" : "server2",
"ИмяПользователяSQL" : "sa",
"ПарольПользователяSQL" : "ПарольСкуля",
"ИмяБазыДанныхSQL" : "ИмяОригиналаБазыВСкуле"
}
],
"Приемники":
[
{
"Имя" : "ЗУП копия",
"ПутьКПлатформе1С" : "c:\\Program Files (x86)\\common\\1cestart.exe",
"ТипБазы" : "S",
"ВерсияCOMConnector" : "83",
"ИмяБазы" : "ЗУП копия",
"АдресКластера" : "server",
"ПортКластера" : "1541",
"ПортАгента" : "1540",
"ИмяПользователя" : "ПользовательБазы",
"ПарольПользователя" : "ПарольБазы",
"АдресХранилища" : "",
"ИмяПользователяХранилища" : "",
"ПарольПользователяХранилища" : "",
"АдресСервераSQL" : "server2",
"ИмяПользователяSQL" : "sa",
"ПарольПользователяSQL" : "ПарольСкуля",
"ИмяБазыДанныхSQL" : "ИмяКопииБазыВСкуле"
}
]
}
Показать
22. user935352 05.02.19 17:17 Сейчас в теме
(21)

{
"Источники":
[
{
"Имя" : "ЗУП",
"АдресСервераSQL" : "server2",
"ИмяПользователяSQL" : "sa",
"ПарольПользователяSQL" : "ПарольСкуля",
"ИмяБазыДанныхSQL" : "ИмяОригиналаБазыВСкуле"
}
],
"Приемники":
[
{
"Имя" : "ЗУП копия",
"ПутьКПлатформе1С" : "c:\\Program Files (x86)\\common\\1cestart.exe",
"ТипБазы" : "S",
"ВерсияCOMConnector" : "83",
"ИмяБазы" : "ЗУП копия",
"АдресКластера" : "server",
"ПортКластера" : "1541",
"ПортАгента" : "1540",
"ИмяПользователя" : "ПользовательБазы",
"ПарольПользователя" : "ПарольБазы",
"АдресХранилища" : "",
"ИмяПользователяХранилища" : "",
"ПарольПользователяХранилища" : "",
"АдресСервераSQL" : "server2",
"ИмяПользователяSQL" : "sa",
"ПарольПользователяSQL" : "ПарольСкуля",
"ИмяБазыДанныхSQL" : "ИмяКопииБазыВСкуле"
}
]
}
Показать


нет, к сожалению, тоже самое.
23. mirco 74 20.09.19 15:40 Сейчас в теме
(18)
Там местами перепутаны аргументы наверное
Например в процедуре "ПриОткрытииФормы()":

Данные = Новый Соответствие; Сч = 0;
Для Каждого СтрокаТаблицы Из ТаблицаБазаИсточник Цикл
// стоит вот так
//Данные.Вставить(СтрокаТаблицы.Имя, Сч); Сч = Сч + 1;

// а надо вот так
Данные.Вставить( Сч,СтрокаТаблицы.Имя); Сч = Сч + 1;
КонецЦикла;

Ну и далее так же
Lusha_28; +1 Ответить
24. mirco 74 20.09.19 15:53 Сейчас в теме
(0)
Спасибо за перезаливатор.
У Вас на скриншотах версия 2.0...А на гитхабе первая. И пуллреквест висит.
А будет продолжение работы над проектом ?
Оставьте свое сообщение