База быстро растет

1. K_Elagin 07.09.20 14:48 Сейчас в теме
Есть практически самописная незаконченная конфигурация. В базе присутствуют архитектурные нарушения, в частности, не выводятся в 0 остатки по часто используемому регистру накопления типа остатки.
Ежемесячно в базу вводится в сумме около 1000 документов (примерно поровну: Заявки на заказы, Счета клиентам, Акты выполненных работ, ПКО, РКО), файлы в базе не хранятся. 1CD-файл базы занимает 3,5 Гб, архив - 100 мб. Ежемесячно 1CD-файл увеличивается на 150 Мб. Опасаюсь, что это многовато. Каким образом оценить угрозы базе?

П.С. после какого размера 1cd файла невозможно сделать выгрузку базы в архив?
По теме из базы знаний
Ответы
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
2. lefthander 07.09.20 14:54 Сейчас в теме
(1)размер архива будет определяться возможностями файловой системы.
3. alex-l19041 8 07.09.20 14:56 Сейчас в теме
(1)
dt-шник базы занимает 3,5 Гб
- сколько сама база ?
5. K_Elagin 07.09.20 14:59 Сейчас в теме
(3)Прошу прощения, 1cd - 3,5 гб, а dt - 100 Мб
9. TODD22 18 07.09.20 15:02 Сейчас в теме
(5)
Прошу прощения, 1cd - 3,5 гб, а dt - 100 Мб

Проверьте индексируемые поля. У вас случайно не проиндексировали поля которые имеют тип строка и тд.
Есть ощущение что у вас проиндексировали всё до чего дотянулись руки.
15. alex-l19041 8 07.09.20 15:07 Сейчас в теме
(5) сжатие таблиц делали ?
30. K_Elagin 07.09.20 17:17 Сейчас в теме
(15)сделал, не помогло. изменения размера 1CD не заметил
35. TODD22 18 07.09.20 17:26 Сейчас в теме
(30)Посмотрите обработкой размеры таблиц.

Вы посмотрели в регистрах какие измерения проиндексированы?
37. AlexandrSmith 69 07.09.20 17:37 Сейчас в теме
(35) (1) А вот к примеру BMP будут схлопываться в 3 раза и при однотонном рисунке не будут влиять на размер DT файла, потому что практически сжимаются до нуля. Есть также интересные картинки и PNG которые можно сжать до 200 байт а в развернутом состоянии или при другом сжатии они могут достигать 20-40 Мб. Все это условности на наличие пользовательских картинок необходимо базу проверить и постараться как можно скорее.
43. TODD22 18 07.09.20 17:42 Сейчас в теме
(37)
Есть также интересные картинки и PNG которые можно сжать до 200 байт а в развернутом состоянии или при другом сжатии они могут достигать 20-40 Мб.

Можно сжать чем? Сторонним софтом или сжимаются при выгрузке в dt ?
46. AlexandrSmith 69 07.09.20 18:05 Сейчас в теме
(43) DT тоже имеет механизм сжатия.
47. AlexandrSmith 69 07.09.20 18:12 Сейчас в теме
(43) Я конечно могу ошибаться, но очевидно что DT это сжатый 1CD
49. TODD22 18 07.09.20 21:59 Сейчас в теме
(47)
Я конечно могу ошибаться, но очевидно что DT это сжатый 1CD

Что то я сомневаюсь что выгрузка в dt файл сжимает картинки в формате jpg например загруженные в базу. Если и сжимает то общими алгоритмами сжатия. А они не сжимают изображения.
36. AlexandrSmith 69 07.09.20 17:31 Сейчас в теме
(30) Может поможет выгрузка загрузка данных, у меня подобная ситуация была, база разрослась до 40 Гб, виной были фоновые задания которые бесконечно запускались, и писали данные в некие регистры, которые на практике не имели никакого значения ни для базы ни для программы. Не помню точно наименования, в УТ их 3, походите по другим форумам, можете нарыть названия таких отчетных регистров, которые имеют значения только при восстановлении утерянной информации.
7. TODD22 18 07.09.20 15:01 Сейчас в теме
(1)Вы скорее столкнётесь с тем что не сможете из этого архива потом загрузить. Выгружаться может и очень большая база.

Посмотрите размеры таблиц, определите ту таблицу которая больше всего весит, ну и думайте как её оптимизировать.
Выведите остатки в ноль.
8. K_Elagin 07.09.20 15:02 Сейчас в теме
(7) а каким инструментом это делается?
11. TODD22 18 07.09.20 15:03 Сейчас в теме
(8)
а каким инструментом это делается?

Обработкой на ИС можно поискать.
16. user958326 07.09.20 15:08 Сейчас в теме
(1)
Проверяйте отчетами размеры таблиц, где-то что-то не оптимизировали и рано или поздно начнутся проблемы с превышением максимально допустимого размера таблицы базы данных
19. K_Elagin 07.09.20 15:27 Сейчас в теме
20. user958326 07.09.20 15:30 Сейчас в теме
(19)
там ничего не менялось
В платформах 1С:Предприятие с версии 8.3.8 до 8.3.13 включительно увеличение размера страниц позволяло увеличить максимальный размер внутреннего файла до 6Гб, но начиная с версии 8.2.14 размер файла по прежнему не может превышать 4Гб.
21. AlexandrSmith 69 07.09.20 15:32 Сейчас в теме
(1) Самое главное не хранят ли пользователи картинки в базе и файлы больших объемов
https://applix.ru/articles/kak-umenshit-obem-bazy-1s/
Зачем уменьшать размер базы 1С?
Чем больше объем базы, тем менее неповоротливой она становится, тем больших ресурсов она требует для своей работы.
тем больший объем требуется для хранилища резервных копий.

Уменьшив объем базы, мы прежде всего экономим на затрачиваемых ресурсах, уменьшаем требования к серверу и к объему хранилища резервных копий.
Также пользователям работать будет комфортнее, так как все операции будут выполняться быстрее.

Выгрузив файлы и картинки во внешний каталог, можно сократить размер базы на 30-60%.
23. TODD22 18 07.09.20 15:39 Сейчас в теме
(21)
Самое главное не хранят ли пользователи картинки в базе и файлы больших объемов

Тогда бы файл dt весил бы практически как сама база.
28. AlexandrSmith 69 07.09.20 17:15 Сейчас в теме
(23) Поясните пожалуйста вашу мысль, почему DT с текстовыми файлами будет весить много, если они отлично сжимаются. К примеру вы забиваете свою базу XML И dt ничего не весит а база растет как на дрожжах. Сжатие происходит на уровне формирования Dt а сжатие в хранилище значений к примеру стоит слабое или не стоит вообще. Кстати, как вариант автору проверить сжатие полей хранилища значений. Так сказать подробно удостовериться.
34. TODD22 18 07.09.20 17:24 Сейчас в теме
(28)В том комментарии на который я отвечал речь была про картинки, а они практически не сжимаются.
31. AlexandrSmith 69 07.09.20 17:18 Сейчас в теме
(23) Word файлы тоже довольно отлично плющатся при выгрузке DT и excel и HTML тем более. С картинками и EXE файлами я согласен, там как правило применяются очень хорошие алгоритмы сжатия, рассчитанные на то, что файл будет именно небольшое место занимать, а Word и Excel такой строгой нагрузки на себе не несет и HTML файлы тем более, Хотя вполне возможно, что я ошибаюсь.
22. oleg-x 27 07.09.20 15:35 Сейчас в теме
(1) Для начало определите что растет и насколько. База может вырасти и до 60гб и при этом размер таблицы может не превысить 4Гб.
Рост базы в 350Мб не такой уж и большой при таком количестве документов.
А 3,5Гб не так уж и много. Как вариант можно сделать сжатие базы, возможно база уменьшится в размерах. Также как посоветовали выше, проверьте индексы, они могут занимать очень много места при не оптимальном индексирование всего и вся.
32. RocKeR_13 1325 07.09.20 17:19 Сейчас в теме
(1)
не выводятся в 0 остатки по часто используемому регистру накопления типа остатки.

Что-то я не пойму, что вы имеете здесь в виду? Для хранения остатков товаров на складах, например, используются РН с видом "Остатки" и по нему остатки уж точно не будут нулевыми.

3.5 Гб - это совсем немного. Если у вас версия формата файла БД 8.3.8, то вообще можете забыть об ограничении в 4 Гб на таблицу.

после какого размера 1cd файла невозможно сделать выгрузку базы в архив?

Уже неоднократно здесь обсуждалось, что dt не предназначен для резервного копирования. Если вы посмотрите актуальные конфигурации, то в них увидите, что для файловых баз в качестве резервной копии используется сам файл 1CD
33. oleg-x 27 07.09.20 17:22 Сейчас в теме
(1) https://infostart.ru/public/176476/ качайте обработку и смотрите размер таблиц.
Если есть старые копии, можете сравнить с последней копией (месячной давности), что выросло больше всего и там начать оптимизацию, если это возможно.
40. AlexandrSmith 69 07.09.20 17:39 Сейчас в теме
(1) Для подробного разбора возьмите на вооружение программку
https://infostart.ru/public/280215/
Есть где-то её бесплатный аналог, хотя и этот не совсем платный.
Показывает информацию о размерах таблиц базы данных на SQL (количество строк и занимаемое место в Кб) в связке с метаданными базы данных 1С в виде таблицы.
Показывает информацию о размерах таблиц базы данных на SQL (количество строк и занимаемое место в Кб) в связке с метаданными базы данных 1С в виде таблицы.

Позволяет анализировать базу данных на предмет "толстых мест".

Выводимые данные:

Зарезервировано, Кб
Данные, Кб
Индекс, Кб
Неиспользовано, Кб
КоличествоСтрок
41. oleg-x 27 07.09.20 17:41 Сейчас в теме
(40) Вы хоть бы почитали что пишет автор и другие, прежде чем предлагать.
У автора файловая баз, а вы предлагаете обработку для клиент-серверной базы.
42. TODD22 18 07.09.20 17:41 Сейчас в теме
(40)Там речь про файловую базу.

Если память не изменяет была такая обработка для файловой базы. "базапузомер" вроде называлась. Не совсем обработка, какой то экзешник которому базу показываешь, он тебе список таблиц с размерами.
44. RocKeR_13 1325 07.09.20 18:03 Сейчас в теме
(42) ни видел ни одного решения для просмотра размера таблиц 1CD. Обычно только статистику по количеству объектов показывают все обработки/отчеты
45. oleg-x 27 07.09.20 18:04 Сейчас в теме
(44) Я выше скинул ссылку на обработку для файловой базы. Люди сделали компоненту для просмотра размер таблиц.
4. BackinSoda 07.09.20 14:59 Сейчас в теме
Зачем ждать когда припечёт (какая-то таблица превысит 4 гига) ?

зы: Пытались дтшник загрузить в какую-то новую пустую базу, загружается без проблем хоть ?
6. K_Elagin 07.09.20 15:01 Сейчас в теме
(4) да загружаться - загружается, и даже работает без проблем. Но когда проблема станет заметной - может быть уже сложно что-то изменить
10. BackinSoda 07.09.20 15:03 Сейчас в теме
(6) "Размеры внутренних файлов растут неравномерно и проблемы с запуском информационной базы могут начаться уже когда размер файла информационной базы 1Cv8.1CD немногим превысит 4Gb, но вполне возможно, что база распухла до 10Gb и продолжает запускаться в файловом режиме "
12. user958326 07.09.20 15:05 Сейчас в теме
(10)
Там вроде по размерам таблиц ограничение для файловой, а не по общему размеру базы
14. BackinSoda 07.09.20 15:06 Сейчас в теме
(12) про это я выше написал

(1) поищите тут на инфостарте "Базопузомер".. ну или на ИТС может быть где, точно не скажу
17. user958326 07.09.20 15:08 Сейчас в теме
18. user958326 07.09.20 15:09 Сейчас в теме
13. user958326 07.09.20 15:06 Сейчас в теме
(6)
А после выгрузки и загрузки в пустую (до начала в ней работы) сколько база весит? Столько же как при выгрузке из старой?
alex-l19041; +1 Ответить
24. K_Elagin 07.09.20 15:48 Сейчас в теме
(13)да столько же, сколько и после выгрузки архива.
25. TODD22 18 07.09.20 16:28 Сейчас в теме
(24)
да столько же, сколько и после выгрузки архива.

Берите обработку "базопузомер" и смотрите размеры таблиц.

Посмотрите какие измерения проиндексированы в регистрах.
27. user958326 07.09.20 17:06 Сейчас в теме
(24)
Странно, обычно при таких симптомах после выгрузки-загрузки через ДТ база меньше, возможно не этот случай
29. oleg-x 27 07.09.20 17:16 Сейчас в теме
(27) ничего странного, размер базы при такой операции может быть уменьшен только в том случае, когда освободившееся место в результате удаления данных из базы, еще не заполнено. А также если не пересчитывали индексы и итоги. А если нет "мусорного пространства" которое еще не заполнено, то и уменьшать в базе нечего.
48. user958326 07.09.20 18:57 Сейчас в теме
(29)
Тогда она у него странно быстро растет, что ненормально
26. XAKEP 07.09.20 16:42 Сейчас в теме
Есть практически самописная незаконченная конфигурация. В базе присутствуют архитектурные нарушения, в частности, не выводятся в 0 остатки по часто используемому регистру накопления типа остатки.

почему вы решили,
что при таких ошибках и объемах
не нужно навести порядок в коде
и конфигурации

ведь это вопрос времени, даже если перейдете на серверный вариант

объемы будут увеличиваться и не факт, что руководство не захочет новых "плюшек"
как правило, захочет и....конечно в самый не подходящий момент
ipoloskov; +1 Ответить
38. oleg-x 27 07.09.20 17:37 Сейчас в теме
Выгрузка/загрузка тут не поможет и уже писали что размер не уменьшается. Вместо выгрузки можно сделать обычные операции индексирование, пересчет итогов и сжатие базы, но это все врятли поможет, потому что база растет не просто так.
Тут два варианта судя повсему:
1) Ни куда от роста не деться, просто факт занесения данных. Вот и растет база.
2) Много индексов, можно оптимизировать и тогда можно будет уменьшить размер базы.
39. TODD22 18 07.09.20 17:39 Сейчас в теме
(38)
2) Много индексов, можно оптимизировать и тогда можно будет уменьшить размер базы.

Вот мне то же кажется что кто то про запас всё проиндексировал. Попадалась пара баз таких, самописных. В которых индексы были включены у всех измерений. К тому же часть измерений были строкового типа и тд.
ipoloskov; +1 Ответить
50. muskul 08.09.20 11:04 Сейчас в теме
Да скажите ему что изза незакрытых регистров итоги пухнут как на дрожжах. но даже так 150 в месяц, это 1.5 гига в год и за 10 лет будет 15...что вообще фигня по сравнению с БП, УТ или не дай бог ЕРП
51. oleg-x 27 08.09.20 11:14 Сейчас в теме
(50) Проблема не закрытых итогов рост базы с годами. Это как снежный ком, с каждым оборотом он все больше и больше.
Но тут проблема решается просто, надо в конце месяца просто обнулять остатки по не актуальным позициям, тогда такого не будет.
52. muskul 08.09.20 11:16 Сейчас в теме
(51)а в чем сложность сделать правильно и перепровести все?
53. oleg-x 27 08.09.20 11:20 Сейчас в теме
(52) Я не знаю в чем. Автор пишет, что это какая то архитектурная ошибка. В чем она заключается, он не сказал, возможно какой то алгоритм расхода и пришло 10, а расход 9.99 и на остатках остается 0,01.
А может еще что то.
54. AlexandrSmith 69 09.09.20 12:01 Сейчас в теме
Возможно кто-то трудится над загрузкой адресного классификатора.
https://artemvm.info/information/uchebnye-stati/1s-predpriyatie/kak-umenshit-razmer-bazy-1s-8.3/
С переходом на версию 1С:Предприятие 8.3 размер информационной базы сильно возрос. Что с этим можно сделать и как постараться уменьшить размер базы, да и вообще — можно ли это сделать? Рассмотрю пример для 1С:Бухгалтерии 8.3.
Более подробно про один из методов уменьшения размера базы, а именно про удаление ненужных регионов адресного классификатора, читайте отдельно.
55. AlexandrSmith 69 09.09.20 12:03 Сейчас в теме
Возможно документов накопилось действительно много и надо произвести свертку базы.
https://artemvm.info/information/uchebnye-stati/1s-predpriyatie/kak-umenshit-razmer-bazy-1s-8.3/
При свёртке базы 1С анализирует документы с самого начала и до даты свёртки, после чего формирует остатки на основе этих данных, а сами данные удаляет. Это приводит к уменьшению размера информационной базы 1С, причём тем больше, чем более новая дата устанавливается в процессе сворачивания базы.
56. slasher777 29.09.20 20:13 Сейчас в теме
Размеры внутренних файлов растут неравномерно, проблемы с запуском информационной базы могут начаться уже когда размер файла информационной базы 1Cv8.1CD немногим превысит 4Gb, но вполне возможно, что база распухла до 10Gb и продолжает запускаться в файловом режиме
Оставьте свое сообщение

Для получения уведомлений об ответах подключите телеграм бот:
Инфостарт бот