Не могу загрузить dt-шку в серверную базу

1. SeerRM 13 16.08.21 10:33 Сейчас в теме
Есть небольшой сервер 1с. Windows 10, 1С - 8.3.11.3034 (64), Postgres 9.6.7-1.1C.
База Далион около 35 Гб.
Была произведена выгрузка серверной базы в dt - файл. Заново загрузить не получается никаким образом.
Выходит ошибка "Передача данных прервана по инициативе принимающей стороны".
При этом в файловую загружается без ошибок.

Какие были испробованы варианты:
1. Переустановка Postgres
2. Выгрузка из файловой (которая развернута из нашей dt-шки) и загрузка в серверную
3. Загрузка dt-ки из которой была развернута база пару месяцев назад
4. Чистил кеш 1с- сервера, и базы
5. Создавал базу серверную пустую заново и в неё пытался загрузить.

Ошибка одна и та же. Загрузка длится в среднем 6-7 часов.

З.Ы. Кластер 1с - параметры по умолчанию
Postgres - настройки по умолчанию
З.Ы.Ы Не пробовал только развернуть базу с пустой конфой и грузкой-загрузкой перетащить из файловой. Но т.к. данных на 35 Гб оставляю этот способ на самый край
Вознаграждение за ответ
Показать полностью
Ответы
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
2. Torin 753 16.08.21 10:46 Сейчас в теме
(1) ИМХО- база данных содержит недопустимые данные ( строка длиной 500 или подобное) Postgres очень "трепетно относиться" к таким "наборам" данных.., попробуйте на MS SQL.. он менее "чувствителен" или перед выгрузкой DT произведите тестирование и исправление ИБ... ( на файловой )
4. SeerRM 13 16.08.21 10:51 Сейчас в теме
(2)Попробую, но, почему же тогда пару месяцев назад он смог загрузится без проблем?
9. Torin 753 16.08.21 10:55 Сейчас в теме
(4)Потому что данные были корректны :) Смущает что загрузка длиться "6-7 часов" :( не встречал за практику... даже ИБ на 200 ГБ грузиться из dt час

P/S ИБ на 35 ГБ великовато для файловой
13. SeerRM 13 16.08.21 10:59 Сейчас в теме
(9) Тоже смущает время загрузки такое(
Поэтому и перевел на Postgres, и работало все замечательно, но вот случилось(
14. SeerRM 13 16.08.21 11:00 Сейчас в теме
(9) Так я беру туже дт-ку которую тогда загружал (осталась лежать) и все равно не могу загрузить. Вот поэтому и встает вопрос, а точно дело в дт-ке если из неё один раз загрузилось все корректно!?
15. Torin 753 16.08.21 11:02 Сейчас в теме
(14) значить проблемы в Postgres и его настройке... см.. лог Postgres что случилось? почему прервал? почему долго грузил? что помешало... и т.д.
11. user790708 16.08.21 10:56 Сейчас в теме
(4)
но, почему же тогда пару месяцев назад он смог заг

Не было данных неприемлемых для сервера SQL.

Смотрите логи сервера: на чем он обламывается.
Еще как варианты сетевые проблемы (если загружаете по сети) или таймаут транзакции,
Если грузите по сети, то запустите параллельно при востановлении ИБ пинг к серверу, если есть потеряные пакеты, то "ой".
Попробуйте загрузить ИБ локально на сервере SQL.
16. SeerRM 13 16.08.21 11:02 Сейчас в теме
(11)Гружу локально. Единственный вопрос, может ли быть проблема из-за того что клиент 32, а сервер 64?
17. user790708 16.08.21 11:05 Сейчас в теме
Разрядность не должна влиять, единственно ограничение 32-х битного клиента это размер процесса в 2 ГБ. При востановлении данных он не должен сильно пухнуть.
Что в логах сервера SQL?
24. SeerRM 13 16.08.21 11:20 Сейчас в теме
(17)< 2021-08-16 00:15:51.547 MSK >LOG: could not receive data from client: An existing connection was forcibly closed by the remote host.
- Есть вот такое сообщение (возможно как раз прервалась загрузка базы) не могу по времени сорентировать, запустил где-то в 21:00. Проверял уже утром.
27. Torin 753 16.08.21 11:23 Сейчас в теме
(24)
could not receive data from client: An existing connection was forcibly closed by the remote host
ИМХО не хватило памяти ...сколько rphost взял в процесс? сколько в процессе у Postgres ? сколько памяти Всего?

P/S Попробуйте установить MS SQL Developer и загрузить

+ 8.3.11.3034 ( если не ошибаюсь можно вручную увеличить количество рабочих процессов rphost) - ошибаюсь :(
28. SeerRM 13 16.08.21 11:25 Сейчас в теме
(27) Где бы мне такую информацию узнать?

Всего 16 гигов.

MS SQL Developer - поди ограничение на 10 ГБ?
29. Torin 753 16.08.21 11:28 Сейчас в теме
(28)
MS SQL Developer
= "ВыпускSQL Server Developer Edition позволяет разработчикам создавать приложения любого типа на базе SQL Server. Он включает все функциональные возможности выпуска Enterprise Edition, однако лицензируется как система для разработки и тестирования, а не для применения в качестве рабочего сервера. Выпуск SQL Server Developer Edition является идеальным выбором для тех, кто создает и тестирует приложения."

"Максимальный объем памяти для буферного пула на экземпляр Компонент SQL Server Database Engine Максимум, поддерживаемый операционной системой"
26. SeerRM 13 16.08.21 11:23 Сейчас в теме
(17)Вот еще есть немного логово за вечер
Прикрепленные файлы:
42. user790708 16.08.21 13:12 Сейчас в теме
(26)Меня смущает строка в логе:
received fast shutdown request
Там ничего не запускается по расписанию в это время? Может какое-то задание есть?
Вот тут немного об этой ошибке написано
https :// dba. stackexchange. com /questions/183633/unexpected-postgresql-restart
43. ansh15 16.08.21 13:36 Сейчас в теме
(26) Из вашего лога: "could not rename temporary statistics file "pg_stat_tmp/global.tmp" to "pg_stat_tmp/global.stat": Permission denied" - пост 8(он же найденное решение) в в этой теме
Совет перейти на Linux является единственно верным в данном случае.
Впрочем, на 16 ГБ памяти и при настройках СУБД по умолчанию все равно будет весьма медленно, пр размере базы 35 ГБ.
47. user790708 16.08.21 15:13 Сейчас в теме
(43)Вряд ли эта ошибка критична, процесс завершается через пол часа после этой ошибки
18. Torin 753 16.08.21 11:10 Сейчас в теме
(16) что в postgresql.conf ? shared_buffers,effective_cache_size,temp_buffers,work_mem ?
23. SeerRM 13 16.08.21 11:18 Сейчас в теме
(18) Все по умолчанию: 128 MB,
#effective_cache_size = 4GB
#temp_buffers = 8MB
#work_mem = 4MB
25. Torin 753 16.08.21 11:20 Сейчас в теме +1 $m
34. XAKEP 16.08.21 12:09 Сейчас в теме
(23)
уберите #
иначе настройки не действуют
40. SeerRM 13 16.08.21 12:28 Сейчас в теме
(34) Если я не ошибаюсь, это не обязательно. Т.к. эти настройки идут по умолчанию, раскомментить нужно, если я хочу изменить эти параметры.
41. XAKEP 16.08.21 12:30 Сейчас в теме
(40)
ошибаетесь

и для загруки файла из дт - вообще нужно кое-что комментировать
33. AleksandrLeshkov 16.08.21 11:56 Сейчас в теме
(2) У меня как-то в SQL не загружалась база, так же из-за длин строк, если память не изменяет. Тестирование и исправление перед выгрузкой решило вопрос
5. alxarz 31 16.08.21 10:51 Сейчас в теме
(1)
Была произведена выгрузка серверной базы в dt - файл. Заново загрузить не получается никаким образом.
а выгрузка средствами Postgres не была произведена? И уже нет возможности?
8. SeerRM 13 16.08.21 10:53 Сейчас в теме
(5) К сожалению не была и уже не может быть. Мой косяк, с этим не спорю(
19. AlexandrSmith 69 16.08.21 11:11 Сейчас в теме
(1)
Есть небольшой сервер 1с. Windows 10, 1С - 8.3.11.3034 (64), Postgres 9.6.7-1.1C.
База Далион около 35 Гб.
Была произведена выгрузка серверной базы в dt - файл. Заново загрузить не получается никаким образом.
Выходит ошибка "Передача данных прервана по инициативе принимающей стороны".
При этом в файловую загружается без ошибок.


Проверьте лицензионный ли у вас сервер 1С:Предприятия.

В феврале этого года разбирались с этой проблемой, заходили слева, справа. Чего только не делали, оказалось - лицензия.
Долго выясняли, кто поставил битую 1С, так и не выяснили, зато информацию сервер исправно отправлял в 1С и пришло уведомление об отсутствии лицензии и срок до 15 марта на установку лицензии.
20. SeerRM 13 16.08.21 11:14 Сейчас в теме
(19)Однозначно сервер лицензионный 1с. Я лично пин активировал.
21. Torin 753 16.08.21 11:16 Сейчас в теме
(19)
зато информацию сервер исправно отправлял в 1С и пришло уведомление об отсутствии лицензии и срок до 15 марта на установку лицензии.
- ерунда какая то :) куда пришло? на почту ? SMS .... фельдъегерской службой?
Fox-trot; +1 Ответить
30. RustamZz 16.08.21 11:39 Сейчас в теме
(21) Партнерам приходит письмо: "у вашего клиента рег. номер такой-то обнаружены следы эмулятора".
44. AlexandrSmith 69 16.08.21 14:09 Сейчас в теме
(21) Нет повесткой в военкомат.
45. AlexandrSmith 69 16.08.21 14:14 Сейчас в теме
(21) Телепатия пришла с тем светом, потом астрологов заказали.
22. alxarz 31 16.08.21 11:18 Сейчас в теме
(19)
В феврале этого года разбирались с этой проблемой, заходили слева, справа. Чего только не делали, оказалось - лицензия.
что, так же база не грузилась и ту же ошибку выдавал?
35. XAKEP 16.08.21 12:10 Сейчас в теме
(19)
кроме 1с нужен ключ на Далион
39. SeerRM 13 16.08.21 12:26 Сейчас в теме
(35) это само собой, ключ есть. Сейчас на файловой пока все работают.
46. AlexandrSmith 69 16.08.21 14:37 Сейчас в теме
(1) В вашем варианте должен появиться файл дампа
Рассмотрим пример: в каталоге dumps появился файл: rphost_8.3.11.3034_7c938235_20131025162441_3348.mdmp.
Его можно отослать в 1С, если все в порядке с лицензией. Они опишут вам проблему, которая у вас возникла.
Иногда дамп создается с предупреждением, иногда сам собой.
Если проблемы с лицензией, то отсылать не советую.
3. GeraltSnow 172 16.08.21 10:47 Сейчас в теме
Попробуй перед выгрузкой в dt провести реструктуризацию через конфигуратор и скульную проверку файла на ошибки.
7. SeerRM 13 16.08.21 10:52 Сейчас в теме
(3) Подразумеваете эти работы с файловой базой ведь. И "Скульная проверка" - это chekdbf.exe?
10. GeraltSnow 172 16.08.21 10:56 Сейчас в теме
(7) Реструктуризацию можно и в клиент-серверной базе провести. Скульная проверка это аналог DBCC CHECKDB из mssql. Как команда называется в постгресе не знаю.
6. GeraltSnow 172 16.08.21 10:52 Сейчас в теме
И на всякий случай напомню, что расширение dt расшифровывается как Data Transfer (пруф в реестре ос). Этот формат предназначен исключительно для перехода с файлового режима работы на клиент-серверный и обратно. Использовать его для хранения бэкапов недопустимо (пруф на итс), т.к. платформа вообще не гарантирует, что выгруженная в DT файл база успешно загрузится обратно.
Fox-trot; SeerRM; Torin; +3 Ответить
12. SeerRM 13 16.08.21 10:57 Сейчас в теме
(6)Я, все же программист и администрированием приходится заниматься очень редко. Но за 14 лет работы не помню ни разу проблем с восстановлением из дт-шки. Но ваше замечание учту в дальнейшем.
31. user856012 13 16.08.21 11:50 Сейчас в теме
Аналогичный случай, может, что-то из советов оттуда поможет: https://forum.infostart.ru/forum9/topic157114/
32. SeerRM 13 16.08.21 11:53 Сейчас в теме
(31)Перечитывал раз 20, все из предложенного перепробовал(
36. XAKEP 16.08.21 12:13 Сейчас в теме
сколько места на диске, где установлены базы Postgres ?
Postgres 9.6.7-1.1C хотя бы обновите от 10-й версии
37. SeerRM 13 16.08.21 12:25 Сейчас в теме
(36) Придется поднимать платформу до 13. Места 170 гб, ССД
38. XAKEP 16.08.21 12:26 Сейчас в теме
(37)
посмотрите
настройки постгрес для ссд ( гугл )

- они оптимизированы под хдд

например
https://interface31.ru/tech_it/2020/03/optimizaciya-proizvoditel-nosti-postgresql-dlya-raboty-s-1spredpriyatie.html
48. SeerRM 13 17.08.21 23:12 Сейчас в теме
И так что я после всех обсуждений делал:
1. ТИИ в файловой
2. Переустановка 1с сервер и postgres
3. Загрузка через сеть.
4. Настройка postgres через редактирование конфигурационного файла по статье на 1с и по статье выше в сообщениях
и прочие советы, все перепробовал (кроме установки Linux)
Все тоже самое, только ошибка другая теперь: "Удаленный хост принудительно разорвал соединение". Те же "коки" только в профиль.

После сообщения Torin-а стал поглядывать в лог postgres
и словил вот такое сообщение:

"EDT LOG could not rename temporary statistics file "pg_stat_tmp/global.tmp" to "pg_stat_tmp/global.stat": Permission denied"


Поискал по этому поводу в интернете, не очень много информации, но вроде как есть. В основном все повторяется. Где-то написано что-то из-за большого объема этих файлов (файлы статистики), у меня они не более 10 КБ, из-за антивируса который сканирует файловую систему и занимает файл (нет антивира), а в этот момент postgres пытается к этому файлу обратиться (не нашел я как в винде отследить кто использует файл). Советы типа переместить в RAM память. Насколько я понял это делается легко в Linux, а вот в Windows там какие-то танцы с бубнами (ну не админю я почти, не мой профиль).
И решил я, а перемещу ка я этот файл (пропишу настройки в config) на другой физический диск (Операционка , Сервер 1с и postgres с базами находятся на C (raid1 из двух ssd), а еще есть HDD рядом).

В итоге, база загружалась 8 часов, раздулась в итоге до 65 гб (почему так??), но загрузилась. И работает нормально.

Вот такие приключения, но они мне совсем не понравились.

Всем спасибо, монетку отдам Torin (никто не в обиде надеюсь)
49. ansh15 21.08.21 10:57 Сейчас в теме
(48)
и занимает файл (нет антивира), а в этот момент postgres пытается к этому файлу обратиться (не нашел я как в винде отследить кто использует файл)

Он же сам и занимает, технология работы у него такая. В этом сообщении есть ссылка на доклад, в котором все доступно объясняется. А так, эта ошибка возникает из-за принципиальной разницы в работе с файлами в Windows и Linux, единственное верное решение - это переход на Linux,
Или купить(затраты работодателя) MS SQL...
Оставьте свое сообщение

Для получения уведомлений об ответах подключите телеграм бот:
Инфостарт бот