0. DrZombi 30 07.10.19 08:38 Сейчас в теме

Тонкая настройка ежедневного резервного копирования базы данных 1С средствами SQL ver. 2014 (SP3) - 12.0.6024.0 (X64)

Хочу вам предложить небольшой пример, как можно реализовать резервное копирование 1С-ых баз данных средствами SQL. Данный материал не претендует на пулитцеровскую премию. Но возможно кому-то будет интересно узнать, что-то новенькое.
Данный материал для резервного копирования только одной базы данных. А именно, если у вас 20-ть баз, то вам придется создавать 20-ть планов обслуживания для каждой базы индивидуально.
(Слава разработчикам SQL, они разрешили копировать блоки из одного плана в другой, вам остается только произвести небольшую настройку для каждого скопированного блока - некоторые настройки блоков сбрасываются и выставляются значением по умолчанию и остаются неактивными)

Перейти к публикации

Комментарии
Избранное Подписка Сортировка: Древо
1. Rans 5 08.10.19 10:01 Сейчас в теме
Добрый день! Статья интересная, но считаю, что ставить зависимость всего плана от успешной проверки целостности бд неправильно. Рискуете остаться вообще без бэкапа.
Дмитрий74Чел; MCV; Liris; kiruha; +4 Ответить
2. DrZombi 30 08.10.19 10:06 Сейчас в теме
(1) Зачем нам бекап, который уже не совсем корректный?
Вы эту ошибку можете обработать спустя неделю, если штат людей не позволяет сразу обработать сообщения, либо они у вас не настроены.

А так, на мой взгляд, лучше иметь нормальную копию, чем битую, и при этом вы потом не выясните, битая она или нет, если будете восстанавливаться. :)

...Дело каждого, по каким граблям шагать...
3. Rans 5 08.10.19 12:28 Сейчас в теме
(2) Возможно :) Но все-таки лучше иметь хоть какую копию, чем битую базу без копии. Вот интересная статья по данной теме: https://wiseadvice-it.ru/o-kompanii/blog/articles/rezervnoe-kopirovanie-i-vosstanovlenie-informacionnoi-bazy-1s/
Дмитрий74Чел; GreenDragon; +2 Ответить
4. DrZombi 30 08.10.19 12:45 Сейчас в теме
(3) Да любопытно, но мне нужен был полный бекап (хотя бы раз в месяц) с экономным бекапированием на каждый день.
Можно заморочиться и побекапить журнал транзакций, но не вижу в этим необходимости в нашем случаи.

А так, все это "баловство" лишь ориентировано на ознакомление с возможностью планировщика SQL.

Если честно, я в нем разочарован.
- мне не удалось свести оформление переменных к одному блоку, т.е. я к примеру вызвал бы инструкцию SQL № 1 и назначил бы там нужные параметры и значения. А дальше просто бы подставлял бы переменным нужные значения.
- Интерфейс планировщика может больше, чем сам способен обработать планировщик, т.е. вы не может разместить один блок "Резервное копирование" и из разных ответвлений выполнить его. SQL планировщик ваш блок проигнорирует, и даже не заругается на вас.
- Не до конца понял, зачем вообще там нужны (в планировщике) глобальные переменные, ибо описания, как ими пользоваться я так и не нашел на просторах сети. (печально)
- Очень разочаровался в работе с диском, оказывается SQL запрещает писать через запросы, и что бы это обойти приходится отключать безопасность.
- Нельзя настроить планировщик так, что бы к примеру в интервале у вас удалялись только определенные копии бекапа, а одна в периоде оставалась.
7. ADirks 181 09.10.19 08:05 Сейчас в теме
(4) Чтобы не писать все эти мегатонны кода в планировщике, есть такая штука, как stored procedures
Ну и рекомендую посмотреть в https://ola.hallengren.com/sql-server-backup.html
там скорее всего всё, что только можно придумать, уже сделано :)
asved.ru; +1 Ответить
8. DrZombi 30 09.10.19 08:14 Сейчас в теме
(7) Спасибо, что сделано.
А теперь еще расскажите, как это сделать в планировщике, всем нам.

Что бы мы смогли достойно оценить и наглядно сравнить ваше утверждение... :)
13. ADirks 181 09.10.19 13:38 Сейчас в теме
(8) Там, между прочим, и примеры есть

Examples

A. Back up all user databases, using checksums and compression; verify the backup; and delete old backup files
EXECUTE dbo.DatabaseBackup
@Databases = 'USER_DATABASES',
@Directory = 'C:\Backup',
@BackupType = 'FULL',
@Verify = 'Y',
@Compress = 'Y',
@CheckSum = 'Y',
@CleanupTime = 24


B. Back up all user databases to a network share, and verify the backup
EXECUTE dbo.DatabaseBackup
@Databases = 'USER_DATABASES',
@Directory = '\\Server1\Backup',
@BackupType = 'FULL',
@Verify = 'Y'
14. DrZombi 30 09.10.19 13:51 Сейчас в теме
(13) Вы наверное не прониклись моей задачей.
Мне не нужен полный бекап на каждый день.
У меня есть базы, которые "АРХИВНЫЕ" (почти), народ в них не работает.
Но их бекапят, и бекап раз в год, желательно делать.
А все последующее время, у меня должны делаться "МИНИ бекапчики" (разносные, промежуточные- назовите их как хочется),

И таких баз МНОГО, слишком.

...
Место на диске не резиновое.
24. ADirks 181 09.10.19 15:56 Сейчас в теме
(14) Да я и не настаиваю на применении скриптов от Оле, но посмотреть, как делают настоящие DBA, всё же рекомендую.
Я на собственном опыте убедился, что лучше всю логику бэкапов (да и вообще всех регламентов) реализовывать на T-SQL, и не рисовать хитрых схем в планах обслуживания. Особенно это чувствуешь, когда приходится переезжать на другой сервер, и вот тогда настаёт беда бедовая... Особенно учитывая, что от версии к версии всё ощутимо меняется, и каждый раз изобретать эти схемы заново - это такое себе занятие.
И ещё полезно завести какие-нибудь таблички, где будут храниться все нужные результаты работ по бэкапу, типа, где что лежит, когда был последний успешный полный бэкап, всякие размеры, и т.п. Обычно их в msdb создают.

(11) И вот собственно, чтобы этого не делать, и стоит вынести весь код в sp-шку (или несколько sp-шек), и в джобах вызывать их с нужными параметрами. Таким образом, вместо кучи кода в каждом джобе будет всего несколько строчек вида exec dbo.sp_backub(...)
25. ADirks 181 09.10.19 16:03 Сейчас в теме
+ (24) кстати, я тоже писал своих скриптов для бэкапа, можно для примера взглянуть. Они сильно проще, чем у Оле.
http://forum.infostart.ru/forum86/topic80114/message1312442/#message1312442
26. DrZombi 30 09.10.19 16:09 Сейчас в теме
19. DrZombi 30 09.10.19 14:29 Сейчас в теме
(13) А еще есть люди, которые делаю себе резервные копии, их примерно 3 экземпляра, таких кадров.

И один из них может забыть про галочку "Только копия", и в итоге ваш скрипт должен как-то понять, что не сделано полное бекапирование...

Ведь вы понимаете, что промежуточную копию можно развернуть, только если у вас есть полный бекап исходной копии :)
32. GreenDragon 11.10.19 10:35 Сейчас в теме
(4) Внимание вопрос - зачем вам схема FULL, если в итоге вы журнал не бекапите, а просто обрезаете его? Удивлён, что в комментариях никто этого не спросил.
33. DrZombi 30 11.10.19 11:09 Сейчас в теме
(32) Затем, что обрезание его делается, при ПОЛНОМ бекапировании РАЗ в ГОД, МЕСЯЦ, Неделю... Вы бы хоть обратили внимание на детали :)

Баз много, вариантов тоже, прописывать еще и индивидуальную структуру для каждого плана (а их ~20), я не очень рад.
Хоть где то должно быть однообразие...
34. GreenDragon 11.10.19 12:06 Сейчас в теме
(33) Вопрос не "когда", а "зачем". Это два разных вопроса. Добавьте ОДИН план обслуживания, который будет запускаться раз в полчаса, бекапить ВСЕ журналы и сразу их удалять. Это если кто-то там у вас упарывается по полной схеме восстановления. Этот вопрос мусолят уже не первый год - и тут, и на сторонних ресурсах. Каждый год появляется человек, в статье которого присутствует - "...и делаем truncate журнала", что порождает очередную волну спича на несколько страниц. Усвойте уже, что вариантов два - "Схема FULL и бекап журналов", либо "Схема SIMPLE и никаких восстановлений вне точек бекапов полных и разностных, но зато без бекапов журналов".
Полное бекапирование не имеет НИКАКОГО отношения к схеме восстановления.
Прикрепленные файлы:
36. DrZombi 30 11.10.19 12:51 Сейчас в теме
(34) Предположите, что я не Администратор БД, Нет Тот, кто следит за базами, бекапами и вообще человек далекий от железа.
Каждая настройка в этой статье это всего лишь знакомство с планом обслуживания за 8-часов, используя гугл. (без вопросов на форумах)

Я решил, что кому-то будет любопытно ознакомится со скриптами, запросами, о том, что не все в планах обслуживания так радужно, как кажется.
ДА, можно просто взять и все написать одним блоком, Скриптом, без ваших блоков, и схем.

...Я просто программист, мне не трудно, но мне любопытно было сделать именно так, как видели в статье....
(Если вы приводите свою схемы, поделись с людьми скриптами...)

...По поводу Журнала, кто вам сказал, что мне не нужны часовые копии?...
...Я просто до этого еще не добрался...
...Будет время доберусь, а нет, то нет...
...Как я писал, ходить по своим граблям удел каждого, и грабли у каждого свои... :)
GreenDragon; +1 Ответить
38. GreenDragon 11.10.19 13:08 Сейчас в теме
(36) Я не против! Статья хорошая. Некоторые моменты мне были очень интересно - с удовольствием переделаю свой план. И не только мне, судя по 23 звёздочкам.

По-поводу журнала - делайте с необходимым промежутком. Нужны часовые - делайте часовые. Нужны минутные - делайте минутные. И храните всё это, пока это требуется. Я просто обратил ваше внимание на ненужность шага, связанного с переводом баз в simple режим и обратно лишь для того, чтобы обрезать журнал.
39. DrZombi 30 11.10.19 13:09 Сейчас в теме
(38) Я еще не решил для себя, просто не решил ;)
35. GreenDragon 11.10.19 12:12 Сейчас в теме
(33) скрипт бекапирования ОДИН. В нём определяется необходимость полного или разностного бекапа. Баз можно добавлять любое количество - хоть 20, хоть 200.
37. DrZombi 30 11.10.19 13:08 Сейчас в теме
(35) При использовании одного плана состоящего из нескольких блоков, где выбирается 20-ть баз... Происходит следующее...
1. Ваш блок , каждый блок в плане, будет обрабатывать ВСЕ 20-ть баз.
2. Он не перейдет в следующий блок, пока не наиграется с БАЗАМИ!!!!...
3. Карл, если одна база в ауте, то все базы пойдут по этому маршруту, и бекапов вы не увидите вовсе.
4. Вы теряете прелесть от параллельного резервирования, когда Сервер загружается по самые уши бекапированием :)
40. GreenDragon 11.10.19 13:17 Сейчас в теме
(37) Мне показалось, что вы как раз сетовали на то, что хотели сделать один универсальный план. Делайте по плану на базу, если всё-таки вопрос не в этом.
Про один блок я писал, так как на скрине у вас два блока бекапирования.
Прикрепленные файлы:
42. DrZombi 30 11.10.19 13:46 Сейчас в теме
(40) Таки и сделал, Структура плана Одна. И состоит из одного количества блоков. С одинаковой структурой.
Просто блоки настроены по разному. (это только пример, возможность посмотреть, как у соседа настроено, сделать может так же, а возможно лучше)
5. capitan 1329 08.10.19 16:43 Сейчас в теме
6. DrZombi 30 09.10.19 06:40 Сейчас в теме
(5) Спасибо, добрый молодец :)
9. v.krivenko 22 09.10.19 09:59 Сейчас в теме
(0) в пункте 6 можно сделать без предварительного определения id базы:
use <база>;
DECLARE @DB_ID int;
SET @DB_ID = DB_ID();
DBCC FLUSHPROCINDB(@DB_ID)
12. DrZombi 30 09.10.19 11:05 Сейчас в теме
10. BackinSoda 09.10.19 10:03 Сейчас в теме
Спасибо за статью. Жаль, что для каждой базы отдельный план надо копировать
зы: То чувство, когда в твоём плане обслуживания только резервная копия и очистка старых
11. DrZombi 30 09.10.19 11:05 Сейчас в теме
(10) SQL разработчики не балуют...
Можно копировать блоки из одного плана в другой, конечно не айс, но хоть что-то, чем вообще нечего :)
15. qwed557 30 09.10.19 14:15 Сейчас в теме
Оповещение надо делать не только при сбое, если у вас не запустится задание и ничего не выполнится, вы об этом ничего не узнаете. Нужно выполнять оповещение после каждого успешного выполнения и если оповещения нет, то нужно выяснять причины.
16. DrZombi 30 09.10.19 14:23 Сейчас в теме
(15) Таки было сделано, поняв, что это БРЕД... сделал только прием ошибок, критических :)
17. DrZombi 30 09.10.19 14:25 Сейчас в теме
(15) Проблемой с почтой, уже решает другой человек. И если почтовик не отправит, то это уже будет его проблема :)
18. qwed557 30 09.10.19 14:28 Сейчас в теме
(17) при чем тут почта? А вообще так и работаем да, без разницы что там происходит, выполняется задание , не выполняется, почта не пришла не я виноват, спрашивайте вон у того чувака
20. DrZombi 30 09.10.19 14:31 Сейчас в теме
(18) При том, что когда у вас по работе около 300 писем прилетает за сутки, вы среди мусора, нечего не разберете.
Да и место у почтовика не резиновое...

...в общем на баловался я с сообщениями, и получать все сообщения, это БРЕД... некому ваши успешные бекапы ненужны :)
21. DrZombi 30 09.10.19 14:34 Сейчас в теме
(18) Если начнут разбирать, у меня будет аргумент, что почтовая программа не работает, из-за того, что учетка была заблокирована и сообщения от SQL сервера не поступали.

Есть вариант, что у организации ограниченное пространство для почтового ящика.
Вы батенько, почту будете всегда очищать от спама?
Вам вот кроме как читать мертвую почту про успешные бекапы, нечем заняться? :)
22. Rans 5 09.10.19 15:01 Сейчас в теме
(21) Есть такая проблема. В идеале хотелось бы видеть какую-то табличку со светофором по списку бэкапов. Но как ее сделать пока нет ни малейшего понятия.
23. DrZombi 30 09.10.19 15:37 Сейчас в теме
(22) Если только хранить такие данные отдельно в какой либо БД, которую ты добавишь.
А уже в какой либо програмулинке её выводить во всей красе, хоть в 1С ;)
27. asved.ru 36 10.10.19 09:07 Сейчас в теме
После решения от Ola Hallengren все остальное - велосипеды, где вместо педаль - грабли.
28. DrZombi 30 10.10.19 11:44 Сейчас в теме
(27) Вот посмотрел бы я на ваши весла из граблей, когда для бекапов, вместо 100 терабай, вам дадут 15, и вертись как хочешь... со словами "не в чем себе не отказывай" :)
29. Mortum 10.10.19 14:29 Сейчас в теме
(28) а в чём проблема почитать инструкцию к скриптам от Ola Hallengren и настроить так чтобы влезать в объём? В любом варианте используются одинаковые команды и возможности SQL Server. Там есть всё необходимое, включая удаление старых бэкапов.
P.S.: за регламентное сжатие журнала транзакции и неанглийский интерфейс в приличном обществе пинают в живот.
30. DrZombi 30 10.10.19 15:23 Сейчас в теме
(29) Интерфейс нормальный, перевод действительно бредовый, но какой есть.
Не в Ola Hallengren дело... мужик он толковый, но мне нужен мой мопед, с моими правилами. И его самокат мне не подходит :)

А то что журнал режу, таки он в моем случае рудиментарное творение, у нас свободный мир, вы готовы кушать кактус и удалять бекапы ежедневно, из-за нехватки места.
Я предпочитаю выстроить максимально автоматизированное архивирование, хотя бы на пару лет. ;)
31. LD_2006 11.10.19 09:25 Сейчас в теме
41. GreenDragon 11.10.19 13:44 Сейчас в теме
declare @datenow datetime = getdate()
declare @DayOfMonth int
declare @DayOfWeek int
declare @FullType bit
declare @FullName varchar(1000)
declare @Name varchar(500)
declare @backupSetId as int

set @Name = CAST(YEAR(getdate()) as varchar) + 
		RIGHT('0' + cast(MONTH(getdate()) as varchar), 2)+
		RIGHT('0' + cast(DAY(getdate()) as varchar), 2)+
		RIGHT('0' + cast(datepart(HOUR, getdate()) as varchar), 2) + 
		RIGHT('0' + cast(datepart(MINUTE, getdate()) as varchar), 2) + 
		RIGHT('0' + cast(datepart(SECOND, getdate()) as varchar), 2)
set @DayOfMonth = datepart(day, @datenow)
set @DayOfWeek = DATEPART(weekday, @datenow)
if @DayOfMonth = 1 or @DayOfWeek = 1
	begin
		set @Name = N'MainBaseOfAllUniverse_backup_FULL_' + @Name
		set @FullName = @FullPath + @Name + N'.bak'
		BACKUP DATABASE [MainBaseOfAllUniverse] TO  DISK = @FullName WITH NOFORMAT, NOINIT,  NAME = @Name, SKIP, REWIND, NOUNLOAD, COMPRESSION,  STATS = 10
	end
else
	begin
		set @Name = N'MainBaseOfAllUniverse_backup_FULL_' + @Name
		set @FullName = @FullPath + @Name + N'.bak'
		BACKUP DATABASE [MainBaseOfAllUniverse] TO  DISK = @FullName WITH DIFFERENTIAL, NOFORMAT, NOINIT,  NAME = @Name, SKIP, REWIND, NOUNLOAD, COMPRESSION,  STATS = 10
	end
Показать

Примерно так. Фулл бекап на первый день месяца или недели, дифференциальный - в остальные
43. DrZombi 30 11.10.19 13:49 Сейчас в теме
(41) А вы не проверяете на "RESTORE VERIFYONLY" ?
Меня тут вчера диск подвел, было интересно понять, что все же проверять, то что записано полезно :)
44. GreenDragon 11.10.19 13:50 Сейчас в теме
(43) Конечно. Я просто в этот кусочек не скопипастил. С raiserror и уведомлением.
45. DrZombi 30 11.10.19 13:52 Сейчас в теме
(44) По хорошему, лучше вообще все в один блок написать, SQL это позволяет :)
Что бы не загромождать скрипт, можно часть вытащить в глобальные функции.
46. GreenDragon 11.10.19 13:52 Сейчас в теме
(43) И ещё вот с этим -
sel ect @backupSetId = position fr om msdb..backupset where database_name=N'Базюка' and backup_set_id=(select max(backup_set_id) fr om msdb..backupset wh ere database_name=N'Базюка' )
if @backupSetId is null
begin
raiserror(... и дальше генерация сирен, мигалок и солдат с собаками
47. DrZombi 30 11.10.19 13:53 Сейчас в теме
(46) Тут как то я решил, что лог пишется на ходу, был разочарован, лог появляется после окончательного выполнения плана :)
48. Дмитрий74Чел 173 25.10.19 14:59 Сейчас в теме
Неискушенным в данных вопросах: проходите мимо статьи. Сильно на любителя. Свой велосипед.
49. DrZombi 30 28.10.19 07:45 Сейчас в теме
(48) Куда мимо? Не нравится? Чем? Что, тупо просто? Запросы сложные? (Рекомендую изучить SQL запросы)
Это рабочий вариант, как сделал я.

Может кому пригодится, может кто решит, модифицировать.
Может кто посмотрит и купит нормальное ПО (дорогое) и будет делать бекапы через него.
Статья ничем не обязывает и не говорит, что это эталон и другие дураки. НЕТ, статья о том, что можно так, но всегда есть лучше. Я предлагаю выбор.

А вы что предлагаете, прочесть ваш пост и что дальше? Вы не дали ни ссылки, не рекомендаций, что типо у вас лучше. Ни решения, ни ответа, ни совета. :)
Оставьте свое сообщение
Новые вопросы с вознаграждением
Автор темы объявил вознаграждение за найденный ответ, его получит тот, кто первый поможет автору.

Вакансии

Программист, аналитик, эксперт 1С
Санкт-Петербург
По совместительству

Технический лидер, архитектор 1С, руководитель проектов
Санкт-Петербург
зарплата от 150 000 руб.
Полный день

Автор новостных обзоров на тему 1С и бухучета
Санкт-Петербург
По совместительству

Программист 1С
Екатеринбург
зарплата до 120 000 руб.
Полный день

Консультант-аналитик 1С
Рязань
зарплата до 80 000 руб.
Полный день