База 50 Гб. Выгрузка 60 Мб.

1. TODD22 18 17.12.14 17:07 Сейчас в теме
Здравствуйте.

Есть рукоблудная конфигурация. В файловом варианте вешает 50Гб. Выгружаю dt он вешает 60 Мб.
При попытке загрузить в новую базу этот процесс длится уже более часа... Но так и не закончился.

База небольшая по сути и 50Гб весить в ней нечему. Там просто нет таких объёмов данных. И выгрузка всего 60 Мб. И делается буквально за пару минут.

Я так предполагаю что может быть проблема с индексами. Кто то включил много полей на ндексацию.
ТиИ делается в базе регулярно. Без него вообще всё медленно работает.
Или может ещё что то?

Пока что пытаюсь себе развернуть копию. Видимо проще скопировать каталог с базой. В общем коллеги кто сталкивался с подобным пните в нужную сторону?
Ответы
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
2. Boneman 298 17.12.14 17:14 Сейчас в теме
(1) TODD22, более часа нормально, для базы такого объема.
по поводу
Там просто нет таких объёмов данных

а если, прикрепить бинарный файл забитый нулями, размером 50 гб, в хранилище, без сжатия ?
Тогда база будет весить 60 гб, но при формировании DT-шника, легко свернется в очень маленький размер.

Короче, просто дождись конца процесса. Раз ошибок при выгрузке не выдал, мнк кажется что все нормально с базой, просто там какие то хитрые данные.
Ну можно переиндексировать попробовать
3. Boneman 298 17.12.14 17:15 Сейчас в теме
(1) TODD22, кстати 8.3 хреново работает с файловыми базами больших размеров.
4. TODD22 18 17.12.14 17:16 Сейчас в теме
Ну вот загрузилось. База теперь вешает 6 Гб. Что уже радует :)
Теперь осталось разобраться с тормозами. И почему она такая большая...
Там нет бинарных файлов. Простая база учёта посетителей и оказанных услуг.
5. PetroP 17.12.14 17:17 Сейчас в теме
(4) TODD22, что такое 50 ГБ? Файл 1сд или папка в целом с конфой?
10. TODD22 18 17.12.14 17:45 Сейчас в теме
(5) PetroP,
что такое 50 ГБ?
Сам файл CD.
(6) DeniNikitin, ТиИ делалось и полное и тд. После полного ТиИ база ужимается нормально. Только не надолго.
После загрузки из dt файла вешает 6 Гб.
12. DeniNikitin 36 17.12.14 18:02 Сейчас в теме
(10) TODD22,
Тогда не только анализируй свойства и поиски полнотекстовые, а ещё и код а то в друг какой механизм подключен, который новый журнал регистрации пишет с подробностями редактирования строки и.т.д. У меня например подключен Пример Но база SQL, зато лог 90 ГБ весит!!!
6. DeniNikitin 36 17.12.14 17:18 Сейчас в теме
(4) TODD22,
Сделай тестирование и исправление полное!
7. PetroP 17.12.14 17:19 Сейчас в теме
Ну и кроме того надо не просто делать ТиИ, но при этом делать сжатие.
8. DeniNikitin 36 17.12.14 17:23 Сейчас в теме
(7) PetroP,
Я имел ввиду все галки, которые есть!!!
9. PetroP 17.12.14 17:25 Сейчас в теме
(8) DeniNikitin, я еще не видел (6), когда писал (7) )))
11. kolya_tlt 86 17.12.14 17:53 Сейчас в теме
вы расшифруйте, что значит "тормоза"? ощущение что вы перебираете все подряд методы. файловые базы ускорить только апгрейдом жесткого диска можно, других способов не знаю
13. TODD22 18 17.12.14 18:06 Сейчас в теме
(11) kolya_tlt, "тормоза" это означает что есть несколько критичных по времени операций которые выполняются долго.
Дисковая подсистема уже давно апгрейдирована(ssd). И железо нормальное.

Для начала нужно разобраться с размером базы. Потому что в ней не хранят файлов и тд. Её выгрузка вешает 60Мб. После загрузки 6Гб. Что явно очень много. В базе ведётся учёт оказанных услуг.
Посмотрел что делают в этой. В ней работает 1 кассир! на внесение данных и 1-2 человека в базу иногда заходят отчёт за день глянуть ничего при этом не внося.
Да не откуда там таким объёмам данных взяться. За 2 года один кассир набил 6 Гб данных :) По оказанным услуга. Когда одному человеку оказывается за раз 1-6 услуг. Никакого склада, остатков, себестоимости и тд. База делает только то что показывает сколько услуг было оказано за период в количестве, деньгах ну и ещё несколько разрезов аналитики.

Проблема видимо в том что она самописная... и где то не грамотно что то спроектировали. Завтра буду смотреть....

Начну с составных типов в измерениях регистров. Да и посмотрю какие таблицы больше всего весят.

В целом база работает нормально. За исключением отражения оказания услуг. На нём померает.....

Критичные операции там нужно код переписать. Там явно в нём дело. Потому что кассир вводит документ оказанных услуг. А он проводится и печатается до нескольких минут. Это явно много для кассы. Ну и для такого простого документа.
14. TODD22 18 17.12.14 19:54 Сейчас в теме
А никому не попадалась хорошая обработка с помощью которой можно хотя бы приблизительно оценить размеры таблиц в файловой БД и посмотреть структуру ? Что бы работала на 8.3.
15. DeniNikitin 36 17.12.14 20:42 Сейчас в теме
(14) TODD22,
В файловой нет и её не может быть, там один файл! А в SQL Куча сам анализировал, что резать, средствами sql, а что руками!
16. TODD22 18 18.12.14 05:51 Сейчас в теме
(15) DeniNikitin, Есть, уже нашёл :) Внешняя прога для анализа таблиц в CD файлах. Здесь на ИС. Ссылку только найти не могу :)
20. PetroP 18.12.14 10:28 Сейчас в теме
(15) DeniNikitin, очень может быть, т. к. 1сд - это составной файл.
25. AlexO 135 18.12.14 12:08 Сейчас в теме
(14) TODD22,
хотя бы приблизительно оценить размеры таблиц в файловой БД и посмотреть структуру ? Что бы работала на 8.3.
толку вам от неё? Конфа не типовая, в 8.3 наворочено чего-то со структурой... пока инфо 0, что тут делать.
17. TODD22 18 18.12.14 06:31 Сейчас в теме
Утилита показала размер таблиц.
Больше всего весят индексы таблицы _systemsettings.

Я так понимаю эта таблица каких то системных настроек.
Прикрепленные файлы:
21. AllexSoft 18.12.14 10:36 Сейчас в теме
(17) TODD22, добро пожаловать в клуб "у кого растет" ))
вот моя ветка: http://forum.infostart.ru/forum26/topic101399/
necropunk; TODD22; dj_serega; +3 Ответить
18. TODD22 18 18.12.14 07:21 Сейчас в теме
Вот скрин из tool_cd.
Прикрепленные файлы:
19. TODD22 18 18.12.14 07:21 Сейчас в теме
Что можно с этим сделать?
Как уменьшить индекс у этой таблицы?
24. AlexO 135 18.12.14 12:06 Сейчас в теме
(19) TODD22,
Как уменьшить индекс у этой таблицы?
Это, видимо, очередное ноу-хау у 1С в 8.3, так что - обращайтесь к ним или на партнерку, почему это данная таблица такая гигантская, и как с этим жить.
Или ждите, когда накопится критическая масса и появятся решения.
26. TODD22 18 18.12.14 12:08 Сейчас в теме
(24) AlexO, Это не проблема 8.3 данная проблема тянется с 2005 года. И исправлять 1с её не будет о чём написано на партнёрском. Варианта два или СУБД или как посоветовали выше чистить все настройки.
На СУБД не могу загрузить вылетает ошибка. Пробую почистить настройки в файловой. Пока что безуспешно.....
27. AlexO 135 18.12.14 12:15 Сейчас в теме
(26) TODD22,
Это не проблема 8.3 данная проблема тянется с 2005 года
Если это "давняя" проблема с сохранением непонятно чего от форм - это проблема 8.2 и УФ.
И исправлять 1с её не будет
т.е. вас это не напрягает?
Варианта два или СУБД или как посоветовали выше чистить все настройки.
ну могу предложить еще вариант - выгрузить в SQL, очистить/удалить эту таблицу, загрузить обратно в файл.
Только саму проблему это не решает никак. А также её последствия, из-за которых "1с исправлять не будет".
28. AllexSoft 18.12.14 12:19 Сейчас в теме
(27) AlexO, да вы бы хоть посмотрели в ветку из (21), там я подробно расписываю из за чего это и как лечить.. и причем тут УФ или 8.2.. это проблема в БСП и конкретных формах
33. AlexO 135 18.12.14 12:39 Сейчас в теме
(28) AllexSoft,
это проблема в БСП и конкретных формах
БСП прекрасно жила и в 8.1. Безо всяких УФ и переполнения _SYSTEMSETTINGS.
36. AllexSoft 18.12.14 12:49 Сейчас в теме
(33) AlexO, можно БСП совместимую с 8.1 ? БСП изначально написана только под УФ.. а как мы помним в 8.1 УФ не было в помине
39. AlexO 135 18.12.14 15:37 Сейчас в теме
(36) AllexSoft,
БСП изначально написана только под УФ..
да, ошибся - не для 8.1, а работала в ОФ на 8.2.
40. AllexSoft 18.12.14 15:41 Сейчас в теме
(39) AlexO, вы опять путаете ОФ и толстый клиент) БСП на ОФ не работает и не будет работать хоть в 8.2, хоть в 8.3.5..)
ПС: но что вы признаете свои ошибки это хорошо..
41. AlexO 135 18.12.14 15:50 Сейчас в теме
(40) AllexSoft,
БСП на ОФ не работает и не будет работать
частично модули работают и в ОФ. Технологические универсальные механизмы, работа с файлами...
43. AllexSoft 18.12.14 15:51 Сейчас в теме
(41) AlexO, согласен, если мы рассматриваем частичную работу небольшой части общих модулей.. основная масса (ни форм, ни модулей БСП с ОФ не работают)
44. AlexO 135 18.12.14 15:56 Сейчас в теме
(43) AllexSoft, так я и писал, что до УФ с БСП проблем не было - т.е. это исключительно УФ-ные заскоки, которые 1С игнорирует.
29. TODD22 18 18.12.14 12:26 Сейчас в теме
(27) AlexO, Ещё раз.... проблема в формате хранения. 1С не будет менять этот механизм.
(28) AllexSoft,
это проблема в БСП и конкретных формах

Ну как бы не совсем в БСП и УФ. Просто они очень сильно усугубляют эту проблему.

Дело не в том что УФ и БСП пишут данные. Сами данные 200 метров в таблице занимают. А вот индексы растут как на дрожжах. И там проблема как я понял именно с самими индексами.
30. AllexSoft 18.12.14 12:29 Сейчас в теме
(29) TODD22, в конфе можно создать Хранилище настроек данных форм и никакой проблемы не будет... так что вполне типовой метод решения проблемы предусмотрен
31. TODD22 18 18.12.14 12:34 Сейчас в теме
(30) AllexSoft, Может и можно. Я не пробовал. Да и нет такой задачи :)
Надо хотя бы заставить это работать..... :)
32. AllexSoft 18.12.14 12:35 Сейчас в теме
(31) TODD22, обработка которую я дал, заставит работать )) правда у вас проблема запущенная.. так что ждите пока выполнится )
34. TODD22 18 18.12.14 12:39 Сейчас в теме
(32) AllexSoft, Порция в 15000 на СУБД удаляется 20 минут.(база загрузилась, но с ошибками поэтому только для теста делаю).
В файловой запустил первый вариант обработки. Часа 2 идёт уже...
Если верить утилите то в таблице 62 000 записей....
38. AllexSoft 18.12.14 12:50 Сейчас в теме
(34) TODD22, терпение мой друг, терпение.. база как я сказал запущенная) так что следуйте инструкции и все получится
35. AlexO 135 18.12.14 12:41 Сейчас в теме
(29) TODD22,
Ещё раз.... проблема в формате хранения
Что обеспечивает данный формат хранения? Если хранят - им это нужно. Почему, к примеру, 1С не перезаписывает данные форм, а постоянно создает новые записи?
37. TODD22 18 18.12.14 12:50 Сейчас в теме
(35) AlexO, да откуда я знаю... :) Читал на партнёрском. Там типа при каких то условиях рост индексов начинается.
Собственно мне нужно решение, а не то почему так происходит. Одно из решений переход на СУБД. Есть вариант очистки этих данных. В принципе то же нормальный вариант в моём случае. Переодически чистить не проблема. Просто тут случай запущенный :)
42. AllexSoft 18.12.14 15:50 Сейчас в теме
(37) TODD22,
Одно из решений переход на СУБД

не поможет, я же описал все подробно из за чего ошибка, она как на клиент-сервере, так и на файловой..
46. TODD22 18 18.12.14 16:12 Сейчас в теме
(42) AllexSoft, Где то читал что проблема именно в файловом варианте. На СУБД такой проблемы вроде как быть не должно потому что проблема не в самих сохраняемых данных по действиям. А именно в их индексации. Хотя может и ошибаюсь. У меня база файловая.
Но на СУБД даже и не знаю как переводить. Она в СУБД загружается с ошибкой.... :( То есть процесс загрузки вылетает с ошибкой. Но при этом база создаётся, открывается, работает... Но раз ошибка то нужно разбираться.
47. AllexSoft 18.12.14 17:03 Сейчас в теме
(46) TODD22, в файловом варианте усугубляется это да, но и в серверном вот вам статистика одной УТ 11.. база небольшая, но размер таблицы SYSTEMSETTINGS уже показательно 3тий по размеру! там BLOB-записи еще есть, кроме индексов ) собственно в BLOB-ах и хранятся те самые настройки которые не нужны
Прикрепленные файлы:
48. TODD22 18 18.12.14 17:06 Сейчас в теме
(47) AllexSoft, Ну когда BLOBы место занимают это я понимаю... Но вот когда при данных в 200 Мб индекс становится 4 Гб это уже я не понимаю :)
49. AllexSoft 18.12.14 17:10 Сейчас в теме
(48) TODD22, как сказали бы в 1С: Все потому что кто-то слишком много ест печатает документов ))))
51. TODD22 18 18.12.14 17:23 Сейчас в теме
(49) AllexSoft, В этом и есть видимо наша проблема :) Как раз с проведением и печатью документов проблема :( На этом и начинаются проблемы. А так база работает резво.
Но как доходит дело до формирования документов и печати всё встаёт колом :( Надо что то придумать будет. Так как документы печататься будут дальше и индексы опять будут расти.
54. AlexO 135 18.12.14 17:25 Сейчас в теме
(51) TODD22,
печататься будут дальше и индексы опять будут расти.
не индексы расти, а куча бесполезной (пока вроде как) инфрмации будет хранится и копиться в отдельно взятой таблице.
Которая тоже будет индексироваться, поиск там по ней, выборка...
50. AlexO 135 18.12.14 17:21 Сейчас в теме
(48) TODD22,
Но вот когда при данных в 200 Мб индекс становится 4 Гб
количество строк подсчитайте в таблице, и все станет на свои места.
53. TODD22 18 18.12.14 17:24 Сейчас в теме
(50) AlexO, утилита показывает 62 000 строк.
55. AlexO 135 18.12.14 17:26 Сейчас в теме
(53) TODD22, ну смотрите, в (47) 56 тыс записей и ~150 Мб данных. Так что - с ненужными BLOB'ами вас ))
56. TODD22 18 18.12.14 17:38 Сейчас в теме
(55) AlexO,
Так что - с ненужными BLOB'ами вас ))

Спасибо :)

Надо теперь придумать что сделать :) Или запускать чистку переодически... или может есть ещё какое то решение. Но хотелось бы без переписки конфигурации.
Не тот случай так сказать что бы что то сильно переделывать :)
57. AllexSoft 18.12.14 17:49 Сейчас в теме
(56) TODD22, я в той ветке описывал что нужно сделать чтобы излечить проблему, читать пост 6..
58. TODD22 18 19.12.14 15:31 Сейчас в теме
(57) AllexSoft, Сегодня оператор попробовал работать. Всё отлично. Всё работает быстро. Проблема с производительностью решилась.
Но при первом запуске при выполнении одной из процедур платформа упала. Но упала при выводе на печать и с вроде как с виндовой ошибкой дело было не при мне. Но после перезапуска всё отработало нормально.
В понедельник будем рабочую пробовать.
59. AllexSoft 19.12.14 15:37 Сейчас в теме
(58) TODD22, все должно быть окей) вы не первый с этой таблицей страдаете =)
60. TODD22 18 19.12.14 15:52 Сейчас в теме
(59) AllexSoft, Я то же думаю что всё будет Ок :) По крайней мере это решает все наши проблемы и рост базы и производительность.
61. AlexO 135 19.12.14 16:43 Сейчас в теме
(58) TODD22,
Но при первом запуске при выполнении одной из процедур платформа упала.
С почином ))
(59) AllexSoft, Вроде как вырисовывается причина упорства 1С?
52. AlexO 135 18.12.14 17:23 Сейчас в теме
(48) TODD22,
Но вот когда при данных в 200 Мб индекс становится 4 Гб
И это не данные форм как документов, а данные печати - т.е. там сбрасывались метаданные настроек печати.
22. TODD22 18 18.12.14 11:33 Сейчас в теме
При попытке залить на СУБД ms sql вылетает ошибка:

Ошибка загрузки информационной базы. В информационную базу загружены не все данные
по причине:
Ошибка СУБД:
Microsoft SQL Server Native Client 10.0: Внимание! Максимальная длина ключа - 900 байт. Индекс "_SystemSett_ByKey_SSS" имеет максимальную длину 1152 байт. Для некоторых комбинаций больших значений операции вставки или обновления не смогут быть выполнены.
HRESULT=80040E2F, HRESULT=80040E2F, SQLSrvr: SQLSTATE=23000, state=1, Severity=10, native=1505, line=1
SQLSrvr: SQLSTATE=01000, state=1, Severity=0, native=1945, line=1
23. AlexO 135 18.12.14 12:04 Сейчас в теме
(22) TODD22,
Максимальная длина ключа - 900 байт.
Уменьшайте количество измерений.
45. AllexSoft 18.12.14 16:08 Сейчас в теме
это цикл какой-то... на ОФ БСП и не было никогда ((
Оставьте свое сообщение

Для получения уведомлений об ответах подключите телеграм бот:
Инфостарт бот