Банк ВТБ внедрил Hadoop и PostgreSQL для работы с большими данными
В организации была запущена система формирования аналитической и управленческой отчетности на открытой платформе Hadoop с применением технологии обработки данных Apache Spark и Apache Zeppelin. В качестве реляционной СУБД была использована PostgreSQL, сообщается на портале CNews.
По словам управляющего директора департамента транзакционного бизнеса банка ВТБ Андрея Новакова, PostgreSQL не является непосредственной частью системы и может быть заменена на другую базу данных.
Сама единая аналитическая система транзакционного бизнеса получила название ГАУСС (GAUSS) – Global Transaction Business Analytic Unified Source & System. Она применяется для построения отчетности, а в дальнейшем планируется использовать ее для оценки различных рисков (кредитных, клиентских, партнерских), для моделирования целевых коммерческих предложений и выявления мошеннических схем и т.д. Система работает на кластерах, состоящих из множества узлов. На случай выхода из строя одного из них, предусмотрено дублирование и поддержка нескольких рабочих копий данных.
«Hadoop был выбран для построения системы, так как его работа основана на принципе параллельной обработки данных. Это позволяет увеличить скорость формирования отчетности и построения прогнозов. Система отличается отказоустойчивостью и возможностью параллельной работы пользователей и программистов одновременно», – пояснили в банке.
Пилотный проект по внедрению ГАУСС начался в ноябре 2016 года, а его ключевой этап завершился в мае 2017 года. С этого момента была проведена аналитическая работа с базами данных банка и сформированы массивы информации за 2014-2016 гг.
По итогам было принято решение расширить функциональность системы к сентябрю 2017 года. Планируется, что в ближайшем будущем в систему начнут поступать данные из альтернативных источников и будут разработаны необходимые аналитические формы для целей моделирования и мониторинга продаж продуктов транзакционного бизнеса.
Стоит отметить, что система ГАУСС в группе ВТБ была реализована по методу гибкой разработки Scrum. Как считают в банке, использование традиционных подходов могло бы растянуть проект на год, то есть, проект занял бы в два раза больше времени.
См. также
«Сколково» объявил отбор перспективных ИИ-проектов для получения грантов
12.04.2024 598 AnastasiaKl 3
3В программу подготовки спортивных программистов вошли бег и скорость печати
16.02.2024 716 VKuser24342747 2
1Новый закон откладывает на год вступление в силу изменений в порядок регистрации на сайтах
20.12.2023 667 VKuser24342747 2
1GitHub опубликовал результаты ежегодного исследования проектов с открытым исходным кодом
15.11.2023 537 VKuser24342747 1
2Некоммерческие проекты смогут получить бесплатный доступ к GigaChat API
01.11.2023 674 VKuser24342747 2
3Минцифры подготовило критерии по выбору оператора реестра провайдеров хостинга
25.10.2023 392 VKuser24342747 0
1Минцифры составило алгоритм действий для компаний, у которых не работает VPN
24.10.2023 650 VKuser24342747 0
0«Сбер» объявила о доступности SberLinux OS Server для российских компаний
20.10.2023 913 VKuser24342747 0
2Минцифры внесло изменения в проект правил идентификации клиентов веб-хостингов
18.10.2023 479 VKuser24342747 0
1«СберТех» представил репозиторий GitVerse с ИИ-помощником для написания кода
26.09.2023 848 VKuser24342747 2
1ИП и юрлица смогут использовать смартфон для создания и замены электронной подписи
18.09.2023 444 VKuser24342747 1
1Журнал IEEE Spectrum опубликовал рейтинг популярности языков программирования
01.09.2023 1333 VKuser24342747 4
2В бета-версии Microsoft 365 появилась поддержка языка Python для Excel
28.08.2023 714 VKuser24342747 0
2Специалисты Калифорнийского университета установили, что боты справляются с CAPTCHA лучше, чем люди
24.08.2023 1176 VKuser24342747 23
2Google Chrome начнет поддерживать квантово-устойчивые алгоритмы шифрования
24.08.2023 494 VKuser24342747 0
1В реестр российского ПО включен первый комплекс обработки больших данных
22.08.2023 483 VKuser24342747 0
1Microsoft внедрила новые функции в GitHub Copilot и анонсировала Windows Copilot
17.08.2023 1187 VKuser24342747 0
1Исследование: ChatGPT дает неправильный ответ на половину вопросов о программировании
14.08.2023 1068 VKuser24342747 5
3