Привет всем. Подскажите пожалуйста как можно разобрать CSV огромного размера С сайта МВД скачивается файл, разархивируется, в итоге он имеет размер 1,3гб Разбор через [1C-CODE]Файл = Новый ТекстовыйДокумент[/1C-CODE] не подходит, при чтении 1С вылетает с ошибкой "Недостаточно памяти". стоит PostgresSQL

Проверка паспортов на действительность(разбор CSV)

Форум Программирование Общие вопросы программирования (Dev)

1С:Управление торговлей 11

1. BARDER 27 30.09.18 12:12 Сейчас в теме

Привет всем.

Подскажите пожалуйста как можно разобрать CSV огромного размера

С сайта МВД скачивается файл, разархивируется, в итоге он имеет размер 1,3гб
Разбор через

Файл = Новый ТекстовыйДокумент

не подходит, при чтении 1С вылетает с ошибкой "Недостаточно памяти".
стоит PostgresSQL

Найденные решения

4. Timur.V 81 30.09.18 21:23 Сейчас в теме

(1)

мСтрокФайла = Новый Массив();
Файл = Новый ЧтениеТекста("D:\Текстовый файл.txt");

//прочитать строку считывает одну строку из файла
//если достигнут конец файла, то возвращается значение НЕОПРЕДЕЛЕНО
Строка = Файл.ПрочитатьСтроку();

Остальные ответы

Подписаться на ответы Инфостарт бот

Свернуть все

4. Timur.V 81 30.09.18 21:23 Сейчас в теме

(1)

мСтрокФайла = Новый Массив();
Файл = Новый ЧтениеТекста("D:\Текстовый файл.txt");

//прочитать строку считывает одну строку из файла
//если достигнут конец файла, то возвращается значение НЕОПРЕДЕЛЕНО
Строка = Файл.ПрочитатьСтроку();

2. palsergeich 30.09.18 13:01 Сейчас в теме

Сервер базы данных не принципиален. Читайте файл построчно, а не разом в память.

3. BARDER 27 30.09.18 14:11 Сейчас в теме

А как прочитать построчно? он все равно же для того что бы читать строку, будет сначала весь файл загонять в память

5. VladimirElohov 137 30.09.18 21:31 Сейчас в теме

(3) На самом деле, не будет, если использовать метод, про который пишет Тимур. Платформа будет обходить файл, как выборку из запроса. В оперативной памяти будет только текущая строка, а не весь файл.

6. DarkUser 30.09.18 22:51 Сейчас в теме

Кстати, просто как предложение, а зачем каждый раз полностью загонять файл актуальных паспортов в 1С? Можно сохранить его в xls и подключаться к нему через ODBC/ADODB из 1с. И выбирать нужные данные из него запросом. Вам же не все физ лица из файла нужны. Делать это можно регламентным заданием, при появлении файла в указанной папке.

7. BARDER 27 30.09.18 23:01 Сейчас в теме

(6)
я хочу автоматизировать процесс, через командную строку через планировщик ночью:
1. скачивает с сайта архив
2. Разархивирует 7zip в текущую папку
3. потом выполняется vbs в котором запускается обработка

CSV не могу сохранить в XLS

(6)

ODBC/ADODB из 1с

не знаком

8. acanta 30.09.18 23:05 Сейчас в теме

ODBC/ADODB не работает с CSV?
https://infostart.ru/public/98398/

9. BARDER 27 30.09.18 23:11 Сейчас в теме

(8) Незнаю((

10. BARDER 27 01.10.18 01:43 Сейчас в теме

Разбор файла сделал как посоветовал Timur.V, спасибо.

Сделал так:
Создал базу чистую с регистром сведений - Серия, Номер и Веб-Сервис, опубликовал,
Ночью планировщиком Запускается Обработка через VBS которая загружает все паспорта в регистр сведений. А базы которые хотят проверить паспорт подключаются через WS-ссылку и возвращается ответ True или False

Вот вопрос еще один, когда проверяется на сайте, МВД, выдает в розыске, истек срок действия, а в файле этих данных нет, возможно как нибудь их вычислить?

Оставьте свое сообщение

E-mail: