Всем привет.
Вот тут вырисовывается Заказчик, но уж очень специфичный.
С бизнес логикой вроде всё в порядке, а вот технические спецификации даёт "звезда в шоке". Но основное требование не меньше 100000000 (СТО МИЛЛИОНОВ) транзакций в сутки с 5 источников и их обработка. Нечто вроде опердня в банке.
По железу пока нет интереса, а вот как программно реализовать?!?!?!?!?!
Пока видится 1 база на консолидацию потоков и очистку данных. На входе 5 справочников без ЛЮБЫХ индексов, с разделением по областям данных.
2 база получает данные порциями из 1 базы и производит связывание данных.
3 база получает данные из 2 базы и уже формирует набор учетных данных.
На что обратить внимание, какие подводные камни ждать?
ЗЫ: Источники oraclе-вые базы, входящий формат один. Равномерность входных потоков пока неизвестна, но судя по логике есть более "жирные" потоки, и да во времени они не должны быть равномерны.
Вот тут вырисовывается Заказчик, но уж очень специфичный.
С бизнес логикой вроде всё в порядке, а вот технические спецификации даёт "звезда в шоке". Но основное требование не меньше 100000000 (СТО МИЛЛИОНОВ) транзакций в сутки с 5 источников и их обработка. Нечто вроде опердня в банке.
По железу пока нет интереса, а вот как программно реализовать?!?!?!?!?!
Пока видится 1 база на консолидацию потоков и очистку данных. На входе 5 справочников без ЛЮБЫХ индексов, с разделением по областям данных.
2 база получает данные порциями из 1 базы и производит связывание данных.
3 база получает данные из 2 базы и уже формирует набор учетных данных.
На что обратить внимание, какие подводные камни ждать?
ЗЫ: Источники oraclе-вые базы, входящий формат один. Равномерность входных потоков пока неизвестна, но судя по логике есть более "жирные" потоки, и да во времени они не должны быть равномерны.
По теме из базы знаний
Ответы
Подписаться на ответы
Инфостарт бот
Сортировка:
Древо развёрнутое
Свернуть все
(2) Предварительная очистка данных, когда картридж данных входящей транзакции не соответствует заданным правилам. Всего 5 потоков, 5 картриджей, пока озвучены правила для 1 потока.
В принципе содержимое картриджей похоже для всех входящих потоков, т.к. идет стандартизация на уровне шины обмена. Возможность попадания данных из других источников существенно больше 0.
(3) Транзакция это пакет данных состоящий из 1 или более картриджа, Заказчик уверяет что больше 4 картриджей не будет. По сути можно попробовать упереться и уломать Заказчика на создание отдельной интерфейсной шины oracle - 1C, но это писец как сложно. Но тогда картриджи будут разными, и будут как раз равны одной транзакции.
(4) Какие данные известно, и как их обрабатывать известно. Неизвестно как входной поток сохранить без потери данных. И возможно я не разглашу секретов, т.к. контракт еще не подписан, это данных с автоматических датчиков и исполнительных механизмов. Да есть SCAD, но Заказчику виднее, возможно в существующем решении нет необходимой функциональности.
Да для более полного понимания, Заказчик пока не требует обработки "на лету", т.е. его вполне устраивает отставание отчётности на сутки.
В принципе содержимое картриджей похоже для всех входящих потоков, т.к. идет стандартизация на уровне шины обмена. Возможность попадания данных из других источников существенно больше 0.
(3) Транзакция это пакет данных состоящий из 1 или более картриджа, Заказчик уверяет что больше 4 картриджей не будет. По сути можно попробовать упереться и уломать Заказчика на создание отдельной интерфейсной шины oracle - 1C, но это писец как сложно. Но тогда картриджи будут разными, и будут как раз равны одной транзакции.
(4) Какие данные известно, и как их обрабатывать известно. Неизвестно как входной поток сохранить без потери данных. И возможно я не разглашу секретов, т.к. контракт еще не подписан, это данных с автоматических датчиков и исполнительных механизмов. Да есть SCAD, но Заказчику виднее, возможно в существующем решении нет необходимой функциональности.
Да для более полного понимания, Заказчик пока не требует обработки "на лету", т.е. его вполне устраивает отставание отчётности на сутки.
для аналитической базы соотношение индексов к данным может достигать 20 к 1.
так что в "чистом виде" 1с8 не подходит. я так понял начальству скд-овые отчеты любы.
заведите olap базу в субд а клиента на 1с напишите.
так что в "чистом виде" 1с8 не подходит. я так понял начальству скд-овые отчеты любы.
заведите olap базу в субд а клиента на 1с напишите.
Если первоначально данные с датчиков падают в оракловую базу, то какой смысл тянуть их в 1С один к одному? Моя не понимать. Потоковой обработкой оракл уже занимается. 1С нужна для сводных аналитических отчетов, как я понял.
Достаточно грузить задним числом готовые агрегации для базовой аналитики, а при необходимости "провалиться" до первичных данных - показывать детализацию из оракла.
Достаточно грузить задним числом готовые агрегации для базовой аналитики, а при необходимости "провалиться" до первичных данных - показывать детализацию из оракла.
(10) "Моя не понимать." Моя тоже, тем более там есть trace, который может и самое главное делает всё это.
Самое прикольное в этой ситуации что на входе данные не из scada, а прямые данные из входящих буферов. И когда предложили брать данные из scada Заказчик отказался. Мы даже предлагали с trace перейти на другую, ответ отрицательный. Для конторы 1С побочный бизнес.
Самое прикольное в этой ситуации что на входе данные не из scada, а прямые данные из входящих буферов. И когда предложили брать данные из scada Заказчик отказался. Мы даже предлагали с trace перейти на другую, ответ отрицательный. Для конторы 1С побочный бизнес.
Для получения уведомлений об ответах подключите телеграм бот:
Инфостарт бот