Харитонцева Галина

55
Рейтинг

cinimex
Галина Харитонцева



  •   Регистрация: 16.05.2016 (7 лет назад)

  •   Был(а) на сайте: 11.03.2024

Друзья
  • Дмитрий Малышев
Подписчики 2

Группы

Профессиональный разработчик

IE 2016 Online

Карта покупателя SILVER

Компания


Синимекс
cinimex.ru

Компания «Синимекс» - российский разработчик и системный интегратор комплексных ИТ-решений.
Работая на рынке с 1997 года, компания «Синимекс» накопила уникальный опыт разработки сложных программных решений на заказ в самых различных отраслях.
Специалисты «Синимекс» обладают уникальной экспертизой и обширными компетенциями в области создания и внедрения бизнес-ориентированных и инфраструктурных решений в крупнейших кредитных организациях России.
В портфеле компании сотни успешных интеграционных проектов различных масштабов и сложности для российских и зарубежных банков уровня ТОП-20, а также международных промышленных корпораций.
В России компания является партнером ведущих мировых поставщиков универсальных решений IBM, Oracle, Microsoft, Red Hat и др.
На сегодняшний день компания является одним из наиболее опытных игроков в области разработки заказного ПО и автоматизации бизнес-процессов банков и корпораций.
За годы работы на рынке информационных технологий Дирекцией автоматизации предприятий компании «Синимекс» реализовано более 100 успешных проектов на базе программных продуктов «1С» для российских и международных компаний, кредитных организаций и производственных предприятий различных масштабов.
Специалистами «Синимекс» накоплен обширный практический опыт разработки и внедрения комплексных решений любого уровня сложности на платформе «1С», а компетенции экспертов компании подтверждены официальными сертификатами и партнерскими статусами вендора.
По данным независимых рейтинговых агентств «ЭКСПЕРТ РА» и «CNews Analytics», «Синимекс» входит в список крупнейших российских компаний в области информационных и коммуникационных технологий.
В 2019 году по результатам конкурса «1С:Проект года» компания «Синимекс» стала победителем в номинации «Лучший региональный проект – Центральная и Восточная Европа» с проектом «1С:ERP» – SPUTNIK в системе управления группой компаний Bang&Bonsomer».

16.05.2016    12562   

Рейтинг 55

Как сократить дебиторскую задолженность с помощью «1С: Бухгалтерия предприятия, ред. 3.0»

Вебинар

Компания «Синимекс», ведущий российский разработчик и системный интегратор, приглашает Вас принять участие, в бесплатном вебинаре, посвященном  управлению дебиторской задолженностью с помощью «1С: Бухгалтерия предприятия, ред. 3.0» 21 июня 2016 года в 12:00 на портале Infostart.ru

21.06.2016    2410    cinimex    3       

0

Технология проведения миграции данных в крупных проектах

Статья Программист Платформа 1С v8.3 Windows Бесплатно (free) Нет файла Внешние источники данных Перенос данных 1C

В статье систематизируется проектный опыт проведения миграции данных в крупных проектах, связанных с переходом Заказчиков на работу в конфигурациях «1С:Предприятие 8».

17.05.2016    50816    cinimex    26       

55

Прошедшие вебинары

Компания «Синимекс», ведущий российский разработчик и системный интегратор, приглашает Вас принять участие, в бесплатном вебинаре, посвященном  управлению дебиторской задолженностью с помощью «1С: Бухгалтерия предприятия, ред. 3.0» 21 июня 2016 года в 12:00 на портале Infostart.ru


Комментарии

ВебинарыКак сократить дебиторскую задолженность с помощью «1С: Бухгалтерия предприятия, ред. 3.0»#0 09.06.16 18:16
Компания «Синимекс», ведущий российский разработчик и системный интегратор, приглашает Вас принять участие, в бесплатном вебинаре, посвященном управлению дебиторской задолженностью с помощью «1С: Бухгалтерия предприятия, ред. 3.0» 21 июня 2016 года в 12:00 на портале Infostart.ru
ОбменТехнология проведения миграции данных в крупных проектах#22 25.05.16 11:44
(21)
Цитата
И удобно именно через 1С по быстрому настроить все необходимые для работы связи между таблицами, настроить типы полей, чтобы из 1С это все работало в типах данных 1С и был доступен механизм "по ссылке". Таким образом у вас и интерфейс человеческий к источнику, и запросы со всеми плюшками разименования по ссылке на языке запросов 1С, опять к анализу можно подключить СКД, и отдать этот функционал человеку, "ни 1с'нику". При этом вы как бы в мире 1С, но в качестве источника у вас совершенно сторонняя система.

да, абсолютно аналогичная мысль пришла и нам - на стороне принимающей 1С-системы необходимо организовать такое рабочее место, чтобы источники уже были как-либо проинициализированы в "1С-нотацию", с переводом ключевых полей в ссылки и прочее. Технологически это могут быть и через ВИД, и прямые запросы к промежуточной СУБД, прямые запросы к xls и что-то другое.

Такое рабочее место позволяет оооочень быстро и эффективно буквально на лету изменять алгоритмы трансформации данных под новые обстоятельства.
ОбменТехнология проведения миграции данных в крупных проектах#18 20.05.16 16:42
(15)
Цитата
На мой взгляд сильно проще описать достаточное количество внешних источников данных. И работать с ними в единообразной 1С-ной манере.
Чувствую, что в 97,5% случаев этого будет достаточно.
Исключением будут являться какие-нибудь поросшие мхом источники данных, подключиться к которым просто так нельзя.

если есть возможность, да, конечно, можно поступить и так

но ситуация может складываться так что:

а) просто так никто к другой базе подключиться не даст. Только через служебки, согласования, пробросы портов, разрешения ИБ и прочее. Для каждой базы по отдельности. Плюс, если это рабочая база - то к ней в принципе могут не дать доступ никак. Только к какой-либо тестовой копии, которую чтобы поднять... см. выше

б) даже если доступ получен - мы можем увидеть оригинальные таблицы СУБД, которые, как и в 1С, могут слабо отражать бизнес-смысл. Соответственно, нужна дополнительная приличная аналитика по этим базам... Это время, ресурсы, бюджеты


Иными словами, нужен промежуточный формат такого плана, чтобы без проблем можно было в него выгрузить из старых баз данные (примеры данных) и без больших трудозатрат посадить бухгалтерш и 1С-консультантов разрабатывать алгоритмы переконвертации этих данных.
ОбменТехнология проведения миграции данных в крупных проектах#16 20.05.16 16:13
(15)
Цитата
Складывается ощущение, что такая схема синхронизации категорически не подходит для достаточно больших компаний, или для компаний, объем данных в исторических системах которых довольно большой.
Я боюсь себе даже представить сколько будет открываться excel с миллионами строк насыщенной колонками таблицы.

я думаю, да, в этом случае - уже next-level, переход на другой технологический уровень и использование других инструментов. Но общий принцип, в целом, такой же.

В целом, открывать миллионные эксели особой необходимости нет - активная работа с таким файлом ведётся на тестовом примере. Например, 100-1000 строк произвольных строк более-менее отражающих срез данных. Повторюсь, работа именно аналитическая, когда, скажем, бухгалтеры Заказчика сопоставляют поля этих экселей и поля таблиц новой системы- это вот как раз работа по мэппингу данных.

Составлен мэппинг, программист по этому мэппингу написал код трансформации - всё, можно конвертировать исходный файл. И только тут первый раз на сцену выходит миллионный файл.

Ну и потом, нужно смотреть, что за предметная область. Откуда миллион строк в таблицах. Если это проводки - то, возможно, достаточно будет ввода остатков и всё. Ну, а НСИ в таких размерах.. ))
ОбменТехнология проведения миграции данных в крупных проектах#14 19.05.16 17:53
(13) спасибо за комментарий

мэппинг - это такой устоявшийся термин, но корнями не совсем из мира 1С, да..

смотрите ссылку на ETL в (12) или вот, к примеру

то есть это процесс сопоставления полей системы А и системы Б - обычно в виде каких правил, алгоритмов, возможно, кусков кода и т.п. Это аналитическая работа специалиста буквально ручками в экселе или в какой-то специальной программе.

а трансформация, конвертация - это просто процесс автоматизированного преобразования данных как раз по этим правилам
ОбменТехнология проведения миграции данных в крупных проектах#12 18.05.16 18:26
Добавлю, что, конечно, если Заказчик - серьёзное предприятие с бесконечно развитым IT-блоком, то там начинают использоваться уже промышленные ETL-системы

Например, по такой схеме Основные функции ETL-систем

Но, понятно, что бюджеты подобных работ равно как и стоимость соответствующего софта очень нескромные.
ОбменТехнология проведения миграции данных в крупных проектах#11 18.05.16 18:14
(9) абсолютно верно

ситуация 1 - миграцию делает 1-2 разработчика 1С. Тут можно хоть прямыми запросами из системы А в систему Б делать. Всё ограничивается только уровнем 1С-ников

ситуация 2 - систем два десятка. Только аналитика и мэппинг полей занимают полгода смежной командой Заказчик+Исполнитель - это и бухгалтеры, и экономисты, и прочие. Тестовых миграций и выверок еще на несколько месяцев. Общая длительность работ - больше года.
Понятно, что тут нужно что-то простое, понятное, всем доступное в любой момент. Чтобы Бухгалтер А мог четко и быстро отработать по телефону по файлу с Экономистом Б.
ОбменТехнология проведения миграции данных в крупных проектах#10 18.05.16 18:09
(8) xls удобен некой общей универсальностью - и как инструмент, и как транспорт данных

В экселе ведется мэппинг полей - прорабатываются и согласуются алгоритмы сопоставления. Этой работой занимаются специалисты Заказчика от бизнеса + аналитики Исполнителя. В экселе тут же ведутся всякие реестры и отчеты. То есть тут - рабочий инструмент.

Ну, и эксель достаточно удобен как средство хранения информации для обработки. Его можно открыть с любой машины, просмотреть. Специалист Заказчика может сам что-то проверить.

По поводу промежуточных SQL-баз - вариант хороший, не спорю. Такие примеры миграции также у нас в практике есть.

Но, в большой конторе для того, чтобы просто поднять чистую sql-базу может потребоваться писать служебки с кучей согласований, в том числе и служб ИБ.
Далее, остро встанет вопрос по поводу квалификации людей, которым нужно работать с этими данными.
Далее, встаёт вопрос _выгрузить_ из старых систем данные в эту новую sql-базу. Систем может быть десяток, на разных платформах - и MS SQL и Oracle, и те же эксели.
Зачастую, владельцы старых систем никак не заинтересованы в таких работах. Выгрузить 10 файлов эксель "как есть" - это просто. А вот работать для переливки в sql-базу...

С xml - примерно те же проблемы. Софт, квалификация, оперативность работы, доступность для работы
ОбменТехнология проведения миграции данных в крупных проектах#7 18.05.16 17:22
(6) имеется ввиду функция ВПР в экселе?

Мы в данном случае эксель используем просто как таблицы некой промежуточной БД.

всю обработку и необходимую аналитику данных в этих таблицах выполняем запросами - там вполне себе полноценный SQL, и insert есть, и нормальное преобразование типов и т.п.

В принципе, можно сразу все эксели переливать в СУБД как есть и работать уже там. Такой ETL будет.... Чем мне не нравится такой вариант - эксель универсален и стоит у всех пользователей и все умеют с ним работать. Это крайне удобно и практично.
ОбменТехнология проведения миграции данных в крупных проектах#5 18.05.16 16:17
(4) да, согласны - такой вариант самый, пожалуй, надежный и сохраняет нервы крепче

добавлю, на мой личной практике была такая миграция, когда старая система так и осталась в строю, но для ограниченного круга лиц и уже, понятно, не для оперативной работы, а как архив прежде всего. Плюс, как некая тестовая база для отработки каких-то технических решений по соседним еще рабочим системам на аналогичной платформе.


По поводу простоя - если брать именно наши проекты, простоя никто из Заказчиков, конечно, не хочет. Да и возможности такой нет. Соответственно, стараемся провести по максимуму тестовых миграций, главных тестовых миграций, сверхглавных тестовых миграций и т.п. Также, стараемся подготовить и автоматизировать процесс так, чтобы финальная миграция ужалась до времени массовой автоматизированной заливки данных по нажатию на одну кнопку, грубо говоря. Поэтому, если всё готово заранее, сама заливка+тест занимают пару-тройку дней и сводится до рутинных нажатий на несколько кнопок.

В целом, вопрос параллельной работы в старых системах, всё же, решается Заказчиком, прежде всего. Если они готовы, IT-отделы старых систем готовы, бизнес готов, это у них стандартная практика - то почему бы и нет. Но нам, как исполнителям потенциально нужно быть готовым к единовременному переносу данных сразу - вот вам новогодние праздники, местные специалисты, дерзайте.