Введение
В данной статье мы хотели бы систематизировать наш опыт проведения миграции данных в крупных корпоративных проектах, связанных с переходом Заказчиков на работу в конфигурациях «1С:Предприятие 8».
При этом основной акцент в статье будет сделан, прежде всего, на технологическую составляющую процесса миграции. Организационная составляющая также затронута, но в меньшей степени.
Термины и определения
Под миграцией данных принято понимать конечную последовательность работ, проект, направленный на разовое массовое перемещение данных из систем-источников (исторические системы) в систему-приёмник. При этом эксплуатация этих данных в системах-источниках прекращается.
Следует отличать миграцию данных от интеграции данных. Интеграция, в отличие от миграции – это постоянная часть архитектуры IT, и ответственна за потоки данных между различными системами и хранилищами данных – и является процессом, а не деятельностью по осуществлению проекта[1].
Схема миграции в общем случае выглядит следующим образом:
Рис. 1
Исторические системы – базы данных компании Заказчика, которые планируется полностью или частично заменить при внедрении новой системы.
Система-приёмник – целевая система, произвольная конфигурация «1С:Предприятие 8».
Исходные данные – данные, выгруженные из исторических систем в произвольный формат xls-файлов. В данном случае формат xlsпредставляется, как один из самых удобных, поскольку возможность выгрузки в xls-файл присутствует во многих учетных системах «предыдущих поколений».
Как современную альтернативу в качестве транспорта возможно рассматривать формат xml-файлов.
Также существуют варианты использования промежуточной базы данных.
Трансформация, конвертация – процесс преобразования исходных данных в данные для загрузки. Трансформация данных происходит в соответствии с шаблонами для загрузки. Результатом трансформации являются данные для загрузки.
Данные для загрузки – данные, предназначенные для загрузки в систему-приёмник. В данной статье, так же как и исходные данные, рассматривается xls-формат.
Шаблоны данных для загрузки – описание таблиц данных для загрузки в целевую систему.
Этапы миграции
Рассмотрим поэтапно процесс подготовки и проведения миграции.
К организационным этапам миграции можно отнести следующие пункты:
· Определение стратегии миграции. На данном этапе Исполнитель и Заказчик договариваются о технологии проведения миграционных работ;
· Определение состава рабочей группы по миграции. В рабочую группу должны входить специалисты и Исполнителя и Заказчика, знакомые в достаточной степени с работой исторических систем (со стороны Заказчика) и целевой системы (со стороны Исполнителя);
· Предварительный план миграции. План миграции по ходу проекта будет неоднократно корректироваться;
· Периоды дат выгрузки данных из исторических систем, объемы данных. Периоды среза данных для миграций, даты тестовых и итоговой миграций. Данную информацию можно отнести к плану миграции;
· Состав данных, подлежащих миграции. Справочные данные, классификаторы, транзакционные данные, остатки, обороты и пр.;
· Вопросы проверки качества, корректности и целостности данных в процессе миграции и по итогам;
· Вопросы отката к предыдущему состоянию в случае сбоев.
Остановимся подробнее на технологических этапах миграции.
Рис. 2
1. Подготовка шаблонов загрузки данных
Шаблон загрузки данных содержит технические описания таблиц данных для загрузки, алгоритмы и правила загрузки для текущего шаблона.
Каждый шаблон в общем случае предназначен для одной или нескольких связанных таблиц в целевой системе-приёмнике.
В шаблоне указывается:
· Описание всех полей xls-файла данных для загрузки, включая:
o Имя поля
o Признак обязательности заполнения поля
o Пример заполнения поля
o Примечание
· Описание правил загрузки таблицы целевой системы на основании данных для загрузки (очередность в случае нескольких связанных таблиц, алгоритмы поиска по ключевым полям и т.п.)
· Описание заполнения непосредственно полей таблиц целевой системы в случае, если предусматривается что-либо отличное от переноса данных «один в один» из файла данных для загрузки. Актуально для ссылочных полей, например.
В процессе работ по данному этапу Исполнитель также должен подготовить загрузчик файлов данных для загрузки. В случае работы с файлами xlsданная задача не представляет особой сложности.
2. Выявление источников данных
Данный этап может начинаться вместе с предыдущим этапом «1. Подготовка шаблонов загрузки данных».
В рамках данного этапа специалисты Заказчика определяют из каких систем и какие данные могут быть выгружены. Также следует определить какие данные возможно могут понадобиться.
Как правило, в больших проектах миграции выявление полного исчерпывающего списка источников данных может занимать достаточно продолжительное время и происходит по мере работ на последующих этапах.
Нередки ситуации, когда для обеспечения в дальнейшем целостности информации некоторые данные приходится переносить с печатных источников (оцифровывать) или даже заносить в таблицы со слов ключевых сотрудников Заказчика.
Тем не менее, на данном этапе нужно постараться выявить как можно больше необходимых данных.
3. Выгрузка исходных данных
Процесс выгрузки данных из исторических систем может занять достаточное количество времени, особенно, если систем много, они разные и за них ответственны разные подразделения Заказчика. Необходимо учитывать данный момент при тестовых и итоговой миграциях.
Наиболее удобным вариантом представляется выгрузка в xlsфайлы. Многие старые IT-системы поддерживают такой вариант.
Также могут быть варианты выгрузки в csvформат, dbf, xml форматы и прочие.
Стоит отметить, что по тем или иным причинам (вопросы безопасности, например) Заказчик не всегда может предоставить выгрузки данных в полном объеме на этом этапе! Только структура данных и несколько тестовых позиций. Таким образом, может сложиться такая ситуация, что при тестовых и итоговой загрузках будут обнаруживаться некачественные данные в исходных таблицах, что будет приводить к незапланированным ошибкам.
Для минимизации данной проблемы следует оговорить заранее объемы тестовых выгрузок из исторических систем.
4. Мэппинг данных
Мэппинг (data mapping) – в общем случае процесс сопоставления данных исторических систем и системы-приемника. То есть, исходных данных и данных для загрузки.
Этап мэппинга - наиболее трудоёмкий этап и может занимать более 50% всех работ по задаче миграции.
На данном этапе в полной мере задействуется вся рабочая группа проекта по миграции.
В процессе мэппинга данных необходимо выделить подэтапы мэппинга таблиц и мэппинга полей.
· Мэппинг таблиц, или мэппинг шаблонов – сопоставление таблиц исходных данных и шаблонов данных для загрузки. Соответствие может быть как 1:1, так и N:N. В результате данной работы составляется и поддерживается реестр мэппинга таблиц. Данный подэтап необходим для следующего подэтапа мэппинга полей и для отслеживания общего состояния дел по мэппингу.
Примерное содержание реестра мэппинга таблиц может быть следующее:
Группа шаблонов 1С |
Наименование шаблона 1С |
Наименование файла- источника |
Правила формирования файла-источника |
Ответственный |
Статус |
Примечание |
НСИ |
Шаблон_ Номенклатура |
Номенк латура.xls |
• В системе N установить отбор |
Иванов И.И. |
в работе |
|
· Мэппинг полей – сопоставление полей таблиц в рамках уже определенного мэппинга таблиц. Результатом данной работы является реестр мэппинга полей.
Примерное содержание реестра мэппинга полей может быть следующее:
№пп |
Кл. поле |
Обязательный |
Имя поля шаблона 1С «Шаблон_Номенклатура» |
Описание |
Имя поля «Номенклатура.xls» |
Алгоритм заполнения |
||||||||
|
|
|
Код |
Код элемента справочника |
Код |
|
||||||||
|
|
|
Наименование |
Наименование элемента справочника |
Наименование |
|
||||||||
|
|
Да |
Это группа |
Содержит одно из значений: |
Если длина кода=11 символов и последние 4 символа <> "0000", то это элемент - "0", иначе группа - "1". |
|||||||||
|
|
|
Полное наименование |
Наименование элемента справочника |
Наименование |
Если ЭтоГруппа =1 , То "", ИначеЕсли ЭтоГруппа=0, то Наименование. |
||||||||
В рамках данного этапа также следует провести возможные работы по нормализации данных.
5. Подготовка правил трансформации
В отличие от предыдущих этапов, данный этап – технический и предполагает работу разработчика Исполнителя.
На основании согласованных реестров мэппинга полей специалисты Исполнителя разрабатывают правила трансформации данных.
Для оперативной работы в процессе подготовительных миграционных этапов и дальше, в ходе тестовых и итоговых миграций важно, чтобы существовала удобная среда разработки правил (скриптов) трансформации данных и среда конвертации исходных данных в данные для загрузки.
При этом требования к данной среде включают в себя:
· Удобство и быстрота разработки правил трансформации;
· Скорость конвертации данных. Файлы на входе и на выходе могут быть и в сотни тысяч строк!
· Возможность работать с несколькими входными файлами одновременно;
· Возможность сохранения правил трансформации в отдельные файлы.
Для своих проектов миграции мы разработали специализированное АРМ разработчика, взяв за основу стандартную обработку «Консоль запросов» 1С.
Обработка «Консоль запросов» была доработана для возможности делать прямые запросы к файлам xls.
Приведем пример объединения двух исходных xls-файлов Сотрудники.xls
Код сотрудника |
Фамилия |
Имя |
Отчество |
Дата рождения |
2423 |
Иванов |
Иван |
Иванович |
17.11.1992 |
1523 |
Петров |
Василий |
Александрович |
04.02.1991 |
4363 |
Сидоров |
Кирилл |
Николаевич |
01.05.1995 |
6 |
Денисов |
Денис |
Денисович |
01.01.1990 |
и Операции.xls со страницами:
Списания
Код сотрудника |
Дата |
Сумма |
2423 |
01.02.2014 |
354 |
1523 |
02.02.2014 |
26 |
4363 |
03.02.2014 |
457 |
6 |
04.02.2014 |
100000 |
2423 |
05.02.2014 |
235 |
1523 |
06.02.2014 |
235 |
4363 |
07.02.2014 |
2356 |
6 |
08.02.2014 |
140000 |
2423 |
09.02.2014 |
421 |
1523 |
10.02.2014 |
235 |
4363 |
11.02.2014 |
23523 |
6 |
12.02.2014 |
80000 |
и Поступления:
Код сотрудника |
Дата |
Сумма |
6 |
01.05.2004 |
100 |
6 |
02.05.2004 |
100 |
6 |
03.05.2004 |
100 |
6 |
04.05.2004 |
100 |
4363 |
14.02.2016 |
98 |
4363 |
15.02.2016 |
98 |
4363 |
16.02.2016 |
98 |
4363 |
17.02.2016 |
98 |
4363 |
18.02.2016 |
98 |
4363 |
19.02.2016 |
98 |
1523 |
01.06.2014 |
245245 |
2423 |
05.12.1999 |
1341234 |
в один итоговый файл вида:
ФИО |
Код сотрудника |
Дата рождения |
Сумма поступление |
Сумма списание |
Иванов Иван Иванович |
2423 |
17.11.1992 |
1341234 |
1010 |
Петров Василий Александрович |
1523 |
04.02.1991 |
245245 |
496 |
Денисов Денис Денисович |
6 |
01.01.1990 |
380000 |
320000 |
Сидоров Кирилл Николаевич |
4363 |
01.05.1995 |
613382 |
26336 |
ИТОГО: |
|
|
2579861 |
347842 |
Отметим, что пример является искусственным, специально подобранным для демонстрации всех возможных стадий трансформации источников данных.
Технологическая последовательность операций трансформации здесь выглядит следующим образом:
1. Запрос в синтаксисе AccessSQLк таблицам MSExcel.
С помощью языка запросов AccessSQL(дающего существенные дополнительные возможности, по сравнению с языком запросов 1С) создается первоначальный запрос, извлекающий данные из файла xls в среду 1С. При этом уже на данном этапе возможны различные проверки и нормализации данных.
Технология доступа к данным ADO обеспечивает высокую скорость работы.
Рис. 3
2. Запрос на языке 1С – основной запрос, реализующий алгоритм мэппинга полей. А также: обогащение загружаемых данных данными из базы 1С, перегруппирование, объединение с результатами запросов к другим исходным xls-файлам и пр.
Рис. 4
3. Постобработка результата запроса 1С при необходимости. Реализуется с помощью скрипта на языке 1С.
Для примера здесь реализуется добавление строки «ИТОГО» по колонкам сумм.
Рис. 5
4. Запись итогового набора данных в xls-файл.
Рис. 6
В общем случае на выходе мы получаем итоговые файлы для загрузки в целевую базу данных 1С.
Также данный инструмент позволяет сохранять правила конвертации данных в отдельный xml файл:
Рис. 7
Кроме того, реализована возможность работать в пакетном режиме, что особенно актуально при большом количестве разнородных мигрирующих данных.
6. Выгрузка, трансформация и загрузка данных
В ходе предыдущих этапов подготовительная часть работы в целом заканчивается – выявлены все источники данных, сделана выгрузка исходных данных из источников, подготовлены шаблоны загрузки в целевую базу, подготовлен мэппинг данных и, наконец, разработаны скрипты трансформации данных.
Начиная с этого этапа и далее возможна организация череды тестовых и итоговой миграции.
Следует отметить, что перед итоговой миграцией обязательно следует провести несколько тестовых. В ходе тестовых миграций Исполнитель совместно с Заказчиков выявляют:
· ошибки конвертации, ошибки загрузки данных
· проводят предварительную оценку качества загружаемых в целевую систему данных
· по итогам тестовых миграций составляют/актуализируют план итоговой миграции
7. Выверка данных
Проверка качества загруженных данных должна производиться как после тестовых миграций, так и по окончанию итоговой миграции. В ходе выверки могут проверяться следующие показатели:
· Совпадения итоговых сумм по остаткам, по документам;
· Количественные совпадения, например количество ОС;
· Корректность заполнения отдельных выборочных сущностей;
Обращаем внимание, что те или иные проверки мигрирующих данных, вопросы нормализации данных необходимо решать на протяжении всех миграционных процессов. Необходимо всегда задаваться вопросом, что нужно сделать на текущем этапе, чтобы избежать ошибок на последующих этапах.
Например:
· Проверка на дубли по ключевым полям. Можно и нужно проводить еще на исходных данных;
· Приведение типов полей;
· Ссылочная целостность;
· Математические нестыковки. Например, проверка на незаполненные численные поля, на которые запланировано деление при трансформации;
· В целом, проверки обязательной заполненности полей;
· Замена некорректных символов. Например, английские символы в кириллических полях («о», «а», «е» и т.п.) Особенно актуально это для ключевых полей!
· Проверка значений строковых полей на соответствие типов системы-приемника (Ограничения по длине)
После завершения итоговой миграции согласно заранее определенной стратегии миграции и плану миграции принимается решение о дальнейшей эксплуатации исторических систем.
Часто эксплуатация завершается сразу после финальных сверок данных и фиксирования успешности проведенной миграции – пользователи новой системы уже не ведут учет параллельно в двух системах, а полностью переходят в новую систему. При этом доступ к старой системе сохраняется в режиме чтения.
В некоторых случаях может происходить параллельная работа двух систем на время опытной эксплуатации (ОЭ) и даже более этого периода. Вопрос параллельной работы пользователей в двух системах тесно связан с вопросом возможности отката к старой системе, в случае если миграция (или же, в целом, работа новой системы!) будет признана неудовлетворительной.
Заключение
В заключении хотелось бы отметить, что когда речь идёт о миграции больших транзакционных систем, к которым относятся и многие конфигурации «1С:Предприятия», переход на новую систему может быть весьма трудоёмким.
Поэтому следует помнить, что любой подобный проект требует тщательной подготовки и должен сопровождаться индивидуальным планом. Однако независимо от типа мигрируемых систем, объемов баз данных и пр. общая схема миграции выглядит практически идентично.