Миллиард транзакций в сутки

1. Babys (babys) 21.04.17 13:07 Сейчас в теме
Всем привет.
Вот тут вырисовывается Заказчик, но уж очень специфичный.
С бизнес логикой вроде всё в порядке, а вот технические спецификации даёт "звезда в шоке". Но основное требование не меньше 100000000 (СТО МИЛЛИОНОВ) транзакций в сутки с 5 источников и их обработка. Нечто вроде опердня в банке.
По железу пока нет интереса, а вот как программно реализовать?!?!?!?!?!
Пока видится 1 база на консолидацию потоков и очистку данных. На входе 5 справочников без ЛЮБЫХ индексов, с разделением по областям данных.
2 база получает данные порциями из 1 базы и производит связывание данных.
3 база получает данные из 2 базы и уже формирует набор учетных данных.
На что обратить внимание, какие подводные камни ждать?

ЗЫ: Источники oraclе-вые базы, входящий формат один. Равномерность входных потоков пока неизвестна, но судя по логике есть более "жирные" потоки, и да во времени они не должны быть равномерны.
Ответы
2. Алекс Кон (alex-l19041) 7 21.04.17 13:19 Сейчас в теме
(1)
очистку данных
- можно подробнее ?
3. Алекс Кон (alex-l19041) 7 21.04.17 13:21 Сейчас в теме
(1)
транзакций в сутки
- уточните что в данном случае считать за одну транзакцию?
4. Сан Саныч (herfis) 55 21.04.17 13:21 Сейчас в теме
Говоришь, будет очень много неизвестно каких данных, которые надо неизвестно как обрабатывать?
Понимаю твою озабоченность.
5. Babys (babys) 63 21.04.17 19:58 Сейчас в теме
(2) Предварительная очистка данных, когда картридж данных входящей транзакции не соответствует заданным правилам. Всего 5 потоков, 5 картриджей, пока озвучены правила для 1 потока.
В принципе содержимое картриджей похоже для всех входящих потоков, т.к. идет стандартизация на уровне шины обмена. Возможность попадания данных из других источников существенно больше 0.

(3) Транзакция это пакет данных состоящий из 1 или более картриджа, Заказчик уверяет что больше 4 картриджей не будет. По сути можно попробовать упереться и уломать Заказчика на создание отдельной интерфейсной шины oracle - 1C, но это писец как сложно. Но тогда картриджи будут разными, и будут как раз равны одной транзакции.

(4) Какие данные известно, и как их обрабатывать известно. Неизвестно как входной поток сохранить без потери данных. И возможно я не разглашу секретов, т.к. контракт еще не подписан, это данных с автоматических датчиков и исполнительных механизмов. Да есть SCAD, но Заказчику виднее, возможно в существующем решении нет необходимой функциональности.

Да для более полного понимания, Заказчик пока не требует обработки "на лету", т.е. его вполне устраивает отставание отчётности на сутки.
6. Михаил Максимов (МихаилМ) 21.04.17 20:38 Сейчас в теме
для аналитической базы соотношение индексов к данным может достигать 20 к 1.

так что в "чистом виде" 1с8 не подходит. я так понял начальству скд-овые отчеты любы.

заведите olap базу в субд а клиента на 1с напишите.
ipoloskov; +1 Ответить
7. Валерий М (VmvLer) 21.04.17 20:44 Сейчас в теме
да, скорее это задача для платформы 1С: 12.3

два-три года подождать
8. Михаил Максимов (МихаилМ) 21.04.17 20:52 Сейчас в теме
видимо картриджи это кортэжи
9. Babys (babys) 63 21.04.17 23:43 Сейчас в теме
(8) Ну не мной придумано, а учить Заказчика ....