8.3.8 и новый формат файла БД

1. PerlAmutor 129 26.07.16 07:05 Сейчас в теме
Столкнулся с проблемой при загрузке данных из ДТшника в 8.3.7:
Превышен максимально допустимый размер внутреннего файла

Просмотрел базу через Tool_1C и определил, что регистры накопления Остатков расчетов с поставщиками и клиентами подошел к максимальному размеру в 4Гб. Почитал на просторах интернета информацию про новый формат файловой базы в 8.3.8 - ссылка 1 ссылка 2 ссылка 3

Раздобыл дистрибутив. Создал пустую базу. Как и писали по ссылкам выше, она создается все же изначально в старом формате. Сконвертировал в новый формат через командную строку с помощью утилиты идущей в поставке с дистрибутивом:
C:\Program Files (x86)\1cv8\8.3.8.1933\bin>cnvdbfl.exe -c -f 8.3.8 -p 65536 D:\8.3.8\1Cv8.1CD

Потом запустил второй раз, чтобы убедиться, что она точно сконвертировалась и не делает это "по кругу". Запустил конфигуратор и начал загрузку ДТшника.

Получил снова ту же самую ошибку о превышении допустимого размера внутреннего файла... Ну как так?
+
По теме из базы знаний
Ответы
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
2. SaschaL 26.07.16 07:29 Сейчас в теме
(1) PerlAmutor, даже при конвертации чистой базы выдается сообщение об ошибке превышения допустимого размера?
+
11. PerlAmutor 129 26.07.16 12:09 Сейчас в теме
(2) SaschaL, так ошибка не при конвертации, а при загрузке ДТшника (4Гб) в чистую базу, уже после конвертации чистой базы в формат 8.3.8.
(3) SaschaL, Windows 7/10 (пробовал на двух компьютерах), NTFS. Сам файл базы данных .1CD - 17Гб.

(4) CaptainMorgan, так я как раз и хочу избежать SQL, потому и решил попробовать 8.3.8. Если бы можно было просто поднять PostgreSQL или SQLITE и использовать в качестве файловой базы, то вопросов не было бы. Но ведь без установки сервера 1С в этом случае обойтись невозможно.

(10) PetroP, ну вот и получается, что я поставил для объектов размер страницы максимальный, но что-то не взлетает.
+
12. sssss_aaaaa_2011 26.07.16 12:12 Сейчас в теме
(11) PerlAmutor, а откуда уверенность, что при загрузке dt хоть как-то учитывается формат того места, куда этот dt грузится?
+
13. PerlAmutor 129 26.07.16 15:21 Сейчас в теме
(12) sssss_aaaaa_2011, намекаете на то, что если написать обработку по созданию и проведению документов и одновременно запустить её на скульной и файловой базе, затем, когда наберется больше 50 миллионов записей в регистре остатков - тормознуть. Выгрузить скульный дтшник и попробовать накатить его на файловую базу, то все импортируется без проблем, т.к. размеры объектов регистров накопления будут примерно одинаковы и не потребуется расширение файловой базы?
+
3. SaschaL 26.07.16 07:30 Сейчас в теме
(1) PerlAmutor, а какая операционная система на компьютера? Какая файловая система?
+
4. CaptainMorgan 26.07.16 07:33 Сейчас в теме
(1) PerlAmutor, размер внутреннего файла, скорее всего, находится на предельных значениях.
И в такой ситуации данное сообщение вполне ожидаемо. Ни сегодня, так завтра бы оно появилось.
В вашей ситуации можно попробовать следующий финт.
На тестовом сервере поднять SQL с 1С 8.3.8 и загрузить туда базу.
После этого сделать выгрузку в DT
и загрузить его в файловый вариант.

Если при загрузке ошибка повториться, то "по взрослому" подумать о переходе на SQL.
kojinandrej; vovan_victory; Fox-trot; +3
5. PetroP 26.07.16 09:26 Сейчас в теме
(1) PerlAmutor, откуда сведения об увеличении максимального размера внутреннего файла?
+
6. dj_serega 391 26.07.16 09:28 Сейчас в теме
(5) PetroP, так 3 ссылки же в (1)
+
7. PetroP 26.07.16 09:33 Сейчас в теме
(6) dj_serega, там речь о возможности установки разных размеров страницы файла иб.
+
8. dj_serega 391 26.07.16 10:55 Сейчас в теме
(7) PetroP, Ссылка 2: "Таким образом, для страницы в 4К теоретический максимум размера файла - 16Тб, но другие ограничения не дадут реализовать этот потенциал."
+
9. PetroP 26.07.16 11:17 Сейчас в теме
(8) dj_serega, т. е. подразумевается размер внутреннего файла. Какие-то постоянные проблемы с терминологией у авторов статей...
dj_serega; +1
10. PetroP 26.07.16 11:20 Сейчас в теме
(8) dj_serega, правильнее звучало бы:
Таким образом, для страницы в 64К теоретический максимум размера внутреннего файла(или одного объекта) - 16Тб
+
14. RocKeR_13 1321 26.07.16 16:09 Сейчас в теме
(1) PerlAmutor, пересчет итогов-то делали со сжатием таблиц? Если не помогает, то пробуйте свертку и думайте на счет перехода на клиент-серверный вариант
+
16. PerlAmutor 129 26.07.16 18:32 Сейчас в теме
(14) RocKeR_13, делал, база еще больше становится после пересчета

(15) DarkUser, база с апреля начала жить, видимо свертку надо делать на начало этого месяца =) Штатных средств по свертке базы в ERP я не обнаружил. Только "Закрытие месяца" и предложение системы перепровести несколько тысяч документов, чтобы разобраться с отрицательными остатками. Только мне все это не нужно. Я в файловой базе не просто так сижу, мне нужен монопольный доступ в конфигуратор и тестировать свои разработки, чтобы не на боевой базе. Ставить скулевую базу да еще и сервер 1С - усложнять себе жизнь на порядок. Попробовал поработать с недозагруженной базой, после добавления внешней обработки в пользовательском режиме - платформа рухнула без каких-либо сообщений.Запустил на ней тестирование и исправление, 12 часов уже висит на 15%, только журнал .lgd все растет и растет... Подожду до утра, аж интересно стало.
+
15. DarkUser 26.07.16 16:37 Сейчас в теме
Свернуть остатки на начало года?
+
17. Pasha1st 838 26.07.16 20:06 Сейчас в теме
А .dt вообще нормальный, не битый? Проверьте, загружается ли в любой SQL (MS/PG).
Какая именно таблица подошла к пределу? И какой именно "внутренний файл" - для индексов, данных или BLOBов (для регистров накопления вроде BLOBов не бывает)?
+
18. PerlAmutor 129 27.07.16 07:09 Сейчас в теме
(17) Pasha1st, битость ДТшника попробую проверить сегодня... Таблиц, которые подошли к пределу - 2 и все они типа DATA и это остатки по расчету с поставщиками и покупателями. Я их открываю и вижу десятки миллионов записей. Ну и соответственно в Tool_1C - 2 колонки на этих таблицах, показывающие реальный размер в байтах и максимальный размер в байтах. Обе таблицы под 4Гб, когда максимальный 4Гб. Третья таблица 2Гб из 4Гб возможных...

Тестирование и исправление уже идет 24 часа, пока все так же 15% и журнал вырос до 500Мб (и продолжает расти).
+
19. DarkUser 27.07.16 09:13 Сейчас в теме
(18) PerlAmutor, возможно вы достигли предела файлового варианта платформы. А что если изменить структуру конфигурации, разделить регистр остатков на несколько объектов. Например каждого крупного контрагента проводить по отдельному, закрепленному за ним, регистру. Это трудно в плане первоначального конфигурирования, свода остатков, но зато вы достигните цели в плане загружаемости базы в файловом варианте.
+
20. PerlAmutor 129 27.07.16 10:42 Сейчас в теме
(17) Pasha1st, думал PostgreSQL будет поставить легче чем MSSQL (вот я наивный). Оказалось, что последние версии не подходят, да и вообще их надо собирать применяя патчи от 1С. В общем спасибо сайту и комментария про кодировку UTF8. В итоге ДТшник я туда все-таки залил, стало быть не битый. База из 4Гб ДТшника развернулась на 42Гб.

(19) DarkUser, конечно достиг, но хотел это исправить новым форматом 8.3.8. Но не взлетело, хотя в теории должно было. Но раз мне все-таки пришлось сделать то, чего я пытался избежать (установки сервера 1С и SQL базы на локальном компьютере), то в принципе цели я достиг.

Ну что, будем пытаться заставить 8.3.8 кушать большую базу или идей больше нет?
Попробую отключить режим совместимости в конфигурации и выгрузить в другой ДТшник.
+
21. Pasha1st 838 27.07.16 12:30 Сейчас в теме
(20) PerlAmutor, везде написано что "типовой" PG не подходит, нужен именно что собранный с патчами от 1С (например, я описывал тут: http://infostart.ru/public/325482/). Самому собирать желания нет, есть уже готовые дистрибутивы, я знаю даже три: от 1С, от Etersoft и PostgresPro. Последние держат наиболее актуальные дистрибутивы, и репозитории для популярных дистрибутивов Linux.
И PostgreSQL необходимо конфигурировать под конкретную систему, настройки по умолчанию там неоптимальные. Результат подбора настроек в дистрибутиве от PostgresPro меня тоже не впечатлил. С установкой под Windows Vista и новее тоже не всё очевидно, иногда бывают проблемы с правами при установке. С другой стороны - полноценная СУБД без лицензионных ограничений на процессоры, память и объемы.

А вот почему .DT не хочет загружаться в базу, даже подготовленную в 8.3.8 - вопрос интересный. Если действительно всё сделано как надо, то остается только считать что это в платформа виновата, не зря же 1С по умолчанию базы в старом формате создают.
+
22. PerlAmutor 129 28.07.16 12:01 Сейчас в теме
(21) Pasha1st, что-то явно сдвинулось с места после тестирования и исправления в базе PostgreSQL и выгрузки в новый .dt'шник. Теперь при разворачивании в файловую базу, она сначала разрастается до 30Гб (против 16Гб ранее), а затем конфигуратор начинает жадно кушать оперативную память, и когда отъедает 2,5Гб ОЗУ - падает с ошибкой "Недостаточно памяти". Похоже "вкусностями" нового формата могут воспользоваться только обладатели 64 битного конфигуратора в Linux...

Играюсь с /PAE, /3GB и increaseuserva ...
---
Не спасло, до 3.7Гб отъело и рухнуло снова.
Прикрепленные файлы:
+
Внимание! Тема сдана в архив

Для получения уведомлений об ответах подключите телеграм бот:
Инфостарт бот