Загрузка больших объемов данных с транзакцией
Например, имеется такая задача.
Требуется организовать загрузку большого массива данных, записи\перезаписи. При этом должна быть возможность откатить изменения, и контролировать целостность.
1. Большой массив данных - больше миллиона строк (100 колонок)
2. Многопоточная обработка прочитанных данных
3. Требуется возможность возврата, в случае не полностью записанных\перезаписанных данных
4. Возможность применения блокировок
Как возможно организовать многопоточную загрузку огромного массива данных в транзакции?
Требуется организовать загрузку большого массива данных, записи\перезаписи. При этом должна быть возможность откатить изменения, и контролировать целостность.
1. Большой массив данных - больше миллиона строк (100 колонок)
2. Многопоточная обработка прочитанных данных
3. Требуется возможность возврата, в случае не полностью записанных\перезаписанных данных
4. Возможность применения блокировок
Как возможно организовать многопоточную загрузку огромного массива данных в транзакции?
По теме из базы знаний
Ответы
Подписаться на ответы
Инфостарт бот
Сортировка:
Древо развёрнутое
Свернуть все
сейчас миллионом строк никого не напугать, особенно если они хранятся в удобном для быстрого считывания формате
на быстродействие больше скажется не многопоточность,а отделение загрузки от последующей обработки данных
обычная транзакция в коде решит проблему целостности и предоставит возможность отката
на быстродействие больше скажется не многопоточность,а отделение загрузки от последующей обработки данных
обычная транзакция в коде решит проблему целостности и предоставит возможность отката
(6)
на моей практике транзакции ни разу не "вылетали"
миллионы объектов не записывал, но несколько десятков-сотен тысяч были случаи
единственная причина по которой транзакция может "вылететь" - нехватка памяти
еще раз скажу - отделите мух от котлет, т.е. собственно загрузку от постобработки
на моей практике транзакции ни разу не "вылетали"
миллионы объектов не записывал, но несколько десятков-сотен тысяч были случаи
единственная причина по которой транзакция может "вылететь" - нехватка памяти
еще раз скажу - отделите мух от котлет, т.е. собственно загрузку от постобработки
Для получения уведомлений об ответах подключите телеграм бот:
Инфостарт бот