Таблица значений. Нюансы

01.10.19

Разработка - Механизмы платформы 1С

Обзор некоторых аспектов использования общеизвестного инструмента 1С.

Общие сведения

Таблица значений (далее ТЗ) - универсальная коллекция, наиболее близко моделирующая "классическую" таблицу базы данных. Она имеет колонки различных типов, в т.ч. неопределённого "произвольного" типа, и строки с содержимым; свойства и методы для работы с колонками и строками. Всё это, надеюсь, общеизвестно, изложено в десятках статей и есть в СП. ТЗ можно заполнять произвольным кодом, из наборов регистров, или по результатам работы запроса, построителя запроса, процессора СКД, загружать из табличных частей, заполнять массивами. В ТЗ есть выгрузка журнала регистрации и результатов поиска ссылок. ТЗ можно использовать для заполнения таб.частей, наборов регистров, как источник данных в запросах, построителях запросов, построителях отчётов и наборах данных СКД. ТЗ является входным аргументом и результатом специальных функций СКД, в т.ч. расширяющих возможности встроенного языка 1С.

ТЗ работает в COM-обмене, где поддерживает те же методы (включая и индексацию на стороне базы-провайдера), за малыми исключениями допускается русскоязычная нотация в свойствах и методах.

ТЗ сериализуется в XDTO. Наряду с деревом значений, ТЗ не существует на тонком и веб-клиенте, хотя сериализуется для обмена с сервером; в толстом клиенте может являться реквизитом формы "в естественном виде" и с интерфейсной ипостасью, а также с модальным окном просмотра/выбора, в тонком клиенте существует на сервере, а на клиенте отображается специальной коллекцией. Также может являться реквизитом (в т.ч. явно указанного типа), например, у отчётов и обработок. ТЗ удобно просматривается отладчиком. За уникальными исключениями, чтение и запись ТЗ всегда монопольны, что устраняет все проблемы конкурентного доступа.


Размещение

ТЗ всегда существует в сеансовых данных. Сеансовыми данными рулит менеджер кластера, и если в нём несколько серверов, то сеансовые данные располагаются равномерно по всем серверам (если, конечно, не указаны требования функциональности). ТЗ может быть сформирована одномоментно, некоей выгрузкой, или расти постепенно, но платформа обрабатывает ТЗ всегда одинаково - блоки по 64 МБ (больше бывает только при помещении во временное хранилище согласно мнению rmngr'а о производительности) выделяемые менеджером кластера, пишутся в конец файла сеансовых данных. Как и другие коллекции, ТЗ сначала размещается в памяти rphost, потом бинарным потоком передаётся rmngr'у. В отличие от других сеансовых данных, чей срок жизни считается по открытой форме, или по серверным вызовам, данные ТЗ считаются актуальными до конца сеанса или существования указателя на таблицу (имени переменной, реквизита экземпляра отчёта/обработки). Если ТЗ заняла более четверти объёма файла, то выделение блоков происходит с учётом прочих актуальных сведений в файлах, каждые 5 сек. делается актуализация и сборка мусора. Если ТЗ невелика, то актуальные сеансовые данные копируются в новые файлы, а сборка мусора идёт потом.

Сеансовые данные обычно располагаются в папке \1cv8\srvinfo\reg_1541\snccntx, дописанной специфическим UID, и лежат там в файлах вида snccntx.000057F1.dat (по сути это noSQL key-value storage). Конкурентный доступ к ним в норме невозможен (если только не задвоились процессы rmngr в памяти и не смотрят на одну и ту же папку реестра кластера). Таким образом, для работы с ТЗ не важен сервер СУБД и она сама, а важна скорость дисковой подсистемы ПК, где лежат сеансовые файлы, и мощность процессора, обрабатывающего их. Особенно это стоит учитывать при совмещении серверов СУБД и приложения. Также, очевидно, поведение ТЗ на разных СУБД и в файловом варианте идентично и в логическом, и в физическом чтении. При этом существует несколько ситуаций, определяемых платформой согласно объёму данных, когда индексы ТЗ размещаются в ОЗУ сервера приложений на время их перестроения.


Типизация

ТЗ, как и другие универсальные коллекции, может содержать простые и ссылочные типы, другие коллекции, com-объекты, системные перечисления, указания на экземпляры объектов, модули, служебные переменные и т.д. Для этого достаточно не объявлять тип колонки, а оставить на откуп платформе - описание типов такой колонки пусто, а квалификаторы определены по умолчанию (длина 0, точность 0, любые длина и знак, любые части даты), и это не мешает заносить туда простые типы, вроде бы противоречащие квалификаторам. При явном указании типа ТЗ контролирует это: если знаков дробной части недостаточно для числа, то округляет (причём 0.5 округляет всегда до 1); если не влезает строка - обрезает; если объявлена фиксированная строка и реальная длина меньше, то дописывает пробелами; сообразно обрезает дату/время - словом, всё ожидаемо. Если тип колонки строковый, то возможны дополнительные свободы преобразования (так, ЗаполнитьЗначения, где указано значение другого типа для внесения в строковую колонку, отработает, внеся строковое представление значения; аналогично работает ЗагрузитьКолонку). "Никакое" значение имеет тип "Неопределено", при работе с запросами и внешними источниками может содержаться и Null (как наряду с другими типами, так и в качестве единственного типа, и наполнения, колонки). Изменить тип колонки ТЗ невозможно (даже для произвольного), нельзя изменять и свойства квалификаторов.

При передаче ТЗ в параметр запроса и в конструктор описания источника данных для построителя запроса/отчёта чёткая типизация обязательна. Для источника набора данных СКД это не требуется (поля набора не будут никак типизированы), но по опыту желательно. В ранних релизах 8.3 произвольный тип колонки в коллекции на клиенте не поддерживался, в толстом клиенте при конфигурировании его нельзя сделать и поныне (но можно создать и отобразить программно).

События, касающиеся ТЗ, отслеживаются в технологическом журнале только косвенно - это, конечно, "ALL", а также "MEM" (увеличение объёма памяти под серверные процессы); на 8.2.16-19 иногда наблюдался "LEAKS", связанный с ТЗ. Русскоязычные упоминания ТЗ в logcfg в ряде случаев могут вызывать ошибку и логи тихо перестают писаться.


Строка таблицы значений

Элемент таблицы - строка ТЗ - самостоятельный объект языка, и по сути она же - первичный внешний ключ. Ссылка на строку ТЗ и массив ссылок, найденный поиском, всегда содержит активные ссылки на строки; изменение данных в них сказывается на ТЗ; строка может храниться в той же ТЗ, в переменной и любом соответствующем реквизите формы или объекта. При удалении строки и очистке ТЗ такая переменная по-прежнему имеет тип "СтрокаТаблицыЗначений", но операция со значениями её колонок вызывает ошибку чтения, а с ней самой в рамках ТЗ вызывает ошибки, свидетельствующие об индексовой, "ключевой" сути строки - "индекс за границами диапазона". Тип свой такая переменная (и массив таких переменных) сохранит, даже если сама ТЗ уничтожена, осталась в покинутом контексте или явно очищена, что может стать причиной утечек памяти. Аналогичный эффект наблюдается при свёртке - если некая строка сохранена в переменной, но исчезла в результате свёртки, её тип остаётся, но работа с ней невозможна. Никакую ссылочную целостность 1С для ТЗ не проверяет.

Явные номера строк в ТЗ можно организовать либо добавлением соответствующей колонки и заполнением в цикле, либо запросом, либо использованием служебного поля СКД "НомерПоПорядку". Также, номера образуются при выгрузке из табличной части - при этом появляется колонка с именем "НомерСтроки", заголовком "N", типом "Число" с пустым квалификатором, нумерация в ней идёт не с 0, а с 1. Неявная нумерация строк организована платформой - важно, что это не доступный в языке первичный ключ, а внутреннее служебное поле.
 

Изменение содержимого

Добавление данных выполняется только построчно. Метод "ЗагрузитьКолонку" заполняет уже имеющиеся строки, начиная с нулевой, столько, сколько есть (если массив больше по размеру, остальное пропадёт), т.е. если строк нет, не добавляет их. Метод "ЗаполнитьЗначения" также оперирует имеющимися строками. Если надо вставлять блоки данных, разумно использовать метод, предложенный Гилёвым: http://www.gilev.ru/%d0%bf%d1%80%d0%be%d1%81%d1%82%d0%be%d0%b9-%d1%82%d1%80%d1%8e%d0%ba-%d0%b4%d0%bb%d1%8f-%d0%b1%d1%8b%d1%81%d1%82%d1%80%d0%be%d0%b3%d0%be-%d0%be%d0%b1%d1%8a%d0%b5%d0%b4%d0%b8%d0%bd%d0%b5%d0%bd%d0%b8/

К сожалению, ТЗ в 8.Х не обладает возможностями "вырезки" кусков с указанием начального и конечного номеров строк, как было в 7.7, но это можно смоделировать в запросе или СКД, пронумеровав строки и наложив условие на них. На эту тему, как и на тему сравнения ТЗ, на ИС достаточно публикаций.

Удаление данных выполняется построчно либо очисткой. Уничтожение ТЗ происходит при присвоении имени переменной ТЗ нового значения или при покидании контекста существования.


Индексация

ТЗ имеет возможность индексации с целью ускорения поиска. Индексов может быть много, они добавляются и удаляются средствами языка; индекс может содержать несколько колонок в произвольном порядке, индекс как элемент коллекции имеет строковое представление по именам колонок, входящих в него. Перечисление колонок в добавлении индекса не связано с их порядком в таблице. Изменение состава индекса невозможно. Разные индексы могут касаться одних и тех же колонок. Пример:

тз.Индексы.Добавить("Кол1,Кол2,Кол3"); // 1-й индекс, покрывающий все колонки
тз.Индексы.Добавить("Кол2"); // 2-й индекс, работающий с одной колонкой
тз.Индексы.Добавить("Кол3,Кол1"); // 3-й индекс, по 2 колонкам в обратном порядке

Индексы используются при поиске методами "Найти" и "НайтиСтроки", причём для "НайтиСтроки" критически важно точное совпадение порядка колонок в конструкторе структуры отбора с порядком в индексе, поэтому рекомендуется явный конструктор "Структура("Поле1,Поле2",знч1,знч2)". При таком поиске идёт перебор ключей структуры, неприменимые индексы и индексы с лишними элементами отбрасываются, и если платформа находит подходящий индекс, то задействует его. Пример:

тз.Индексы.Добавить("Кол1,Кол2"); // единственный индекс ТЗ
тз.НайтиСтроки(Новый Структура("Кол1,Кол2",знч1,знч2)); // индексный быстрый поиск
тз.НайтиСтроки(Новый Структура("Кол2,Кол1",знч2,знч1)); // безындексный медленный поиск
тз.Найти(знч1,"Кол1"); // безындексный медленный поиск
тз.Найти(знч2,"Кол2"); // безындексный медленный поиск
тз.НайтиСтроки(Новый Структура("Кол1,Кол2,Кол3",знч1,знч2,знч3)); // безындексный медленный поиск

У индексов примерно с 8.2.16 нет ограничения на количество полей, длину ключа (900 байтов, 16 колонок), т.к. применяется хэш по ключу полей, что несколько медленнее привычных индексов СУБД. Ни о какой статистике, оценке фрагментированности и прочая для ТЗ речи не идёт, а выбор полей для индексации (согласно их содержимому, селективности итд) целиком на разработчике.

Построение/перестроение индексов выполняется сервером приложения, даёт пик по занятости процессора и активности диска, незначительно по % использования памяти. Файлы подкачки не используются. При индексном поиске идёт обращение к диску (% активности серьёзно колеблется), виртуальная держится стабильно. При безындексном вся нагрузка ложится на процессор. Поиск по индексированным и неиндексированным полям вместе, либо поиск по нескольким полям, порядок и состав которых не имеют точного совпадения ни у одного из индексов, в плане нагрузки на оборудование всегда является безындексным.


Зависимость индексов от изменений ТЗ

Изменение может касаться состава колонок. При удалении колонки индекс по ней остаётся (с пустым значением, неработоспособный), если индекс был по нескольким колонкам и часть их удалена, весь индекс также остаётся и также неработоспособный; при очистке всех колонок индексы остаются; это тоже утечка памяти. При переименовании колонки индекс по ней остаётся работоспособным, его представление меняется автоматически.

Изменение может касаться состава строк. Наиболее ресурсозатратно добавление/вставка строк в индексированную таблицу, это сильно загружает процессор и на 60-70% медленнее добавления в неиндексированную. Чем больше есть индексов, тем больше также загружен диск. Падение скорости при перестроении индексов для каждого добавления строки нелинейно, связь между характером и порядком индексов и содержимым строк не прослеживается. Рекомендуется сначала добавлять строки, потом строить индекс. Пример:

тз=НекаяИсходнаяТаблица.Скопировать(,"Кол1");
// индексировать до добавления - нерационально
Для й=1 По N Цикл
тз.Добавить().Кол1=й;
КонецЦикла;
тз.Индексы.Добавить("Кол1"); // после добавления разово строим индекс

Если индексы уже есть, разумнее их удалить и создать заново, если добавляется более 1/4 от прежнего объёма ТЗ.

Перестроение индексов происходит при изменении содержимого конкретных ячеек, причём присвоение значения - это сразу перестроение, и это ещё одна причина использовать ЗаполнитьЗначенияСвойств - при её применении индексы перестраиваются, когда процедура отработала по всем колонкам строки. Методы ЗаполнитьЗначения и ЗагрузитьКолонку вызывают разовое перестроение индексов по завершении своего выполнения, и тоже выполняются на 30-35% медленнее, чем при работе с неиндексированной ТЗ.

Изменение может касаться сразу и колонок, и строк - это метод Свернуть(). При любой свёртке, даже если колонки индекса остаются в качестве группировочных (а равно и суммируемых), все индексы удаляются автоматически.

Вплоть до 8.3.8 включительно при изменении значения в колонке, не входящей ни в какой индекс, всё равно происходило перестроение индексов; потом это исправили.

При уничтожении, полной перезагрузке или переинициализации ТЗ все индексы удаляются автоматически.


Особенности индексов

Ни индексный, не безындексный поиск не кэшируются, поэтому скорость их повторного выполнения примерно равна скорости первоначального.

Поведение построения индексов и поиска для колонок, имеющих несколько типов, зависит от этих типов (несмотря на хэширование); так, для простых типов отличие от работы с однотипной колонкой минимально, если есть ссылочные типы и системные значения/системные перечисления - в среднем на 5% дольше. Если наполнение состоит из ссылок на формы и модули, скорость даже выше на 2-3%, чем для простых типов. Для наполнения из сложных коллекций прямой зависимости не выявлено.

Строки неограниченной длины индексируются в общем порядке и поиск правильно находит фрагменты любого размера; скорость индексации и поиска не отличается от таковой по иным простым типам. Хранилища значений индексируются и ищутся аналогично, прямой зависимости от объёмов не выявлено.

Сортировка индексированной таблицы в релизах до 8.3.9 медленнее на 10-15%, чем неиндексированной, даже если делается по неиндексированным полям; в новых релизах - медленнее на 2-5%.

При использовании ЗначениеВСтрокуВнутр и ЗначениеВФайл, и обратно, при сериализации через СериализаторXDTO, индексы сохраняются и работоспособны, время выполнения этих действий практически не зависит от наличия и характера индексов.

При передаче по ссылке, т.е. "ТЗ2=ТЗ1", при ТЗ2=ТЗ1.Скопировать() и Скопировать(,""), индексы сохраняются и работоспособны. Но при любом прямом указании колонок, в т.ч. если копируются все индексированные колонки, сами индексы не копируются. При указании любых отборов на строки индексы не копируются. Копирование индексированной ТЗ в среднем на 10-20% дольше копирования неиндексированной, в зависимости от её объёма и характера индексов.

При передаче ТЗ в процедуру/функцию и присвоении реквизиту соответствующего типа, при возвращении функцией - индексы сохраняются и работоспособны, единожды сделанные индексы везде "сопровождают" ТЗ. Важно, что директива "ЗНАЧ" в объявлении аргументов игнорируется: индексы, добавленные/изменённые для ТЗ внутри процедуры/функции, продолжают существовать и работать по её завершении, вне её контекста. Изменения ТЗ и индексы никак не связаны с принудительно объявляемыми транзакциями.

Явное удаление ненужных индексов или очистка всех индексов означает немедленный вызов сборщика мусора сеансовых данных.


При подготовке обзора использована информация с партнёрских сайтов, сайт http://www.gilev.ru и материалы видеоуроков В.Богачёва. Эксперименты по производительности ставились на Win Server 12 R2 Стандарт х64, Intel Xeon 2.6 GHz, 16 Гб ОЗУ, и аналогичной ОС, 2.0 GHz, 44 Гб ОЗУ. Использовались платформы релизов 8.3.6.2237, 8.3.10.2561 и 8.3.15.1565. Наблюдения велись с помощью замеров конфигуратора, и Perfomance Monitor по показателям: "% загруженности процессора _Total", "% использования физ.диска _Total", "% использования файла подкачки", "% использования выделенной памяти" и ещё нескольким второстепенным. По другим ОС ничего сказать, к сожалению, не могу. Во всех случаях речь идёт о сервере приложений, в ряде случаев совмещённом с клиентским. Рассматривалась работа на клиенте в обычных формах и на сервере в тонком клиенте.

 

Кроме //infostart.ru/public/19720/ подходящих публикаций на ИС не нашёл; если есть - извиняюсь за баян. Картинок нету ввиду криворукости, моей и браузера, стоящей каждый раз мне и модераторам кучу нервов.

Успеха, интересной и приятной работы всем нам)

См. также

Поинтегрируем: сервисы интеграции – новый стандарт или просто коннектор?

Обмен между базами 1C Администрирование СУБД Механизмы платформы 1С Платформа 1С v8.3 Бесплатно (free)

В платформе 8.3.17 появился замечательный механизм «Сервисы интеграции». Многие считают, что это просто коннектор 1С:Шины. Так ли это?

11.03.2024    4620    dsdred    53    

73

Как готовить и есть массивы

Механизмы платформы 1С Платформа 1С v8.3 Бесплатно (free)

Все мы используем массивы в своем коде. Это один из первых объектов, который дают ученикам при прохождении обучения программированию. Но умеем ли мы ими пользоваться? В этой статье я хочу показать все методы массива, а также некоторые фишки в работе с массивами.

24.01.2024    5310    YA_418728146    25    

64

Планы обмена VS История данных

Обмен между базами 1C Механизмы платформы 1С Платформа 1С v8.3 Бесплатно (free)

Вы все еще регистрируете изменения только на Планах обмена и Регистрах сведений?

11.12.2023    6436    dsdred    36    

112

1С-ная магия

Механизмы платформы 1С Бесплатно (free)

Язык программирования 1С содержит много нюансов и особенностей, которые могут приводить к неожиданным для разработчика результатам. Сталкиваясь с ними, программист начинает лучше понимать логику платформы, а значит, быстрее выявлять ошибки и видеть потенциальные узкие места своего кода там, где позже можно было бы ещё долго медитировать с отладчиком в поисках источника проблемы. Мы рассмотрим разные примеры поведения кода 1С. Разберём результаты выполнения и ответим на вопросы «Почему?», «Как же так?» и «Зачем нам это знать?». 

06.10.2023    18504    SeiOkami    46    

118

Дефрагментация и реиндексация после перехода на платформу 8.3.22

Механизмы платформы 1С Платформа 1С v8.3 Бесплатно (free)

Начиная с версии платформы 8.3.22 1С снимает стандартные блокировки БД на уровне страниц. Делаем рабочий скрипт, как раньше.

14.09.2023    12111    human_new    27    

74

Валидация JSON через XDTO (включая массивы)

WEB-интеграция Универсальные функции Механизмы платформы 1С Платформа 1С v8.3 Конфигурации 1cv8 Бесплатно (free)

При работе с интеграциями рано или поздно придется столкнуться с получением JSON файлов. И, конечно же, жизнь заставит проверять файлы перед тем, как записывать данные в БД.

28.08.2023    8849    YA_418728146    6    

141

Внешние компоненты Native API на языке Rust - Просто!

Механизмы платформы 1С Платформа 1С v8.3 Конфигурации 1cv8 Бесплатно (free)

Внешние компоненты для 1С можно разработывать очень просто, пользуясь всеми преимуществами языка Rust - от безопасности и кроссплатформенности до удобного менеджера библиотек.

20.08.2023    6289    sebekerga    54    

94

Все скопируем и вставим! (Буфер обмена в 1С 8.3.24)

Механизмы платформы 1С Платформа 1С v8.3 Конфигурации 1cv8 Бесплатно (free)

Рассмотрим новую возможность 8.3.24 и как её можно эффективно использовать

27.06.2023    16019    SeiOkami    31    

103
Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. CheBurator 3119 01.10.19 23:35 Сейчас в теме
"Русскоязычные упоминания ТЗ в logcfg... " - вот это не понял
tormozit; jONES1979; +2 Ответить
2. Yashazz 4709 02.10.19 00:04 Сейчас в теме
(1) Мне известен случай, когда речь шла о ТЗ в реквизите обработки, и пока не перевели всё на латиницу, лог просто отказывался писаться, ошибок не выдавал. Ясно дело, что, кроме значений параметров, кириллице там делать нечего, но русскоязычные имена колонок почему-то вызывали проблему, релиз 8.3.7; точнее уже сейчас не вспомню. Извини за расплывчатый ответ, ловили утечку оперативы; дело было в 15-м году и подзабылось, только сам факт мучений помню.
user748289; Дмитрий74Чел; jONES1979; +3 Ответить
24. tormozit 7138 04.10.19 13:32 Сейчас в теме
(2) Думаю стоит разъяснить этот момент в статье. Иначе он будет многим непонятен.
3. JohnConnor 64 02.10.19 04:51 Сейчас в теме
хорошая статья!
DrAku1a; jONES1979; +2 Ответить
4. pavlov_dv 02.10.19 05:36 Сейчас в теме
Хорошая статья!
Все кратко, информативно, только по существу и никакой воды.
AlX0id; user1835472; Ali1976; Jeka44; YPermitin; +5 Ответить
5. ZloyProger 8 02.10.19 08:54 Сейчас в теме
Автору безусловный плюс, всё четко, по существу. Только хотел поворчать по поводу трюка с копированием тз - его в своих "минимализмах" выложил Сергей (ildarovich) (минимализмы 1, минимализмы 2, минимализмы 3) где ещё много интересных трюков с ТЗ приведено. Хотя судя по оформлению - скопировано чуть менее, чем полностью, возможно он же и постил у Гилёва)
user748289; Дмитрий74Чел; Yashazz; wowik; +4 Ответить
7. Yashazz 4709 02.10.19 10:00 Сейчас в теме
(5) Охотно верю, Ильдарович могуч, Гилёв вполне мог у него перепостить. Спасибо за ссылку, обыскался эту публикацию.
6. Поручик 4670 02.10.19 08:56 Сейчас в теме
Это Яков Коган. Можно сразу в Избранное, а прочитать потом. Хотя пробежался и узнал кое-что новое.
e.kogan; wowik; +2 Ответить
8. Yashazz 4709 02.10.19 10:01 Сейчас в теме
(6) ой да ладно, захвалишь) Спасибо)
9. Yashazz 4709 02.10.19 13:21 Сейчас в теме
Кстати, вот чего не сравнивал и не знаю - скорость работы НайтиСтроки у ТЗ и у коллекции данных управляемой формы. Интересно бы выяснить, кто быстрее. А ещё сравнить с поиском по таб.частям обработок, например, они ж тоже не скульные.
10. ixijixi 1777 02.10.19 19:49 Сейчас в теме
Это монументально, однозначно в закладки!
11. PerlAmutor 129 02.10.19 21:18 Сейчас в теме
Кстати немного не справедливо, что ТЗ в 1С и SQL сервер умеют хранить несколько наборов индексов "Кол1, Кол2, Кол3" и "Кол1, Кол3" и "Кол2, Кол3", а временные таблицы в запросах 1С так проиндексировать нельзя, т.е. либо первое, либо второе, либо третье, но не одновременно 3 индекса. Плюс ТЗ может содержать типы, которые не дают строить временную таблицу из ТЗ, а также использовать ТЗ в качестве реквизита формы и использовать поиск по полю, пока не построишь на основе ТЗ - новую ТЗ без этих "запрещенных" типов, что приводит к дополнительным накладным расходам. Ровно как и не хватает метода Найти с предварительным отбором по полям и только до первой найденной строки, чтобы избежать полного сканирования ТЗ, например, если знаешь, что комбинация значений в 3-х колонках - уникальна (как измерение).
12. e.kogan 1892 02.10.19 23:07 Сейчас в теме
"При использовании ЗначениеВСтрокуВнутр и ЗначениеВФайл, и обратно, при сериализации через СериализаторXDTO, индексы сохраняются и работоспособны, время выполнения этих действий практически не зависит от наличия и характера индексов."

Между сеансами и базами?
А размер строки/файла как меняется?
13. Yashazz 4709 03.10.19 01:17 Сейчас в теме
(12) Между базами не пробовал, а между сеансами, если не страдает ссылочная целостность, то да, сохраняется. Там достаточно своеобразно, если речь о "строке внутр": в саму строку добавляется нечто вроде указателя на индекс, описания, что проиндексировано (это буквально десяток-другой символов, из них значащих совсем мало), и различие в строках минимально. А сам индекс при этом уходит в пользовательские сохраняемые настройки (туда же, куда размеры форм, сохранённые значения и запомненные позиции, итд), т.е. по идее если пользователю жёстко почистить кэши, то индексы погибнут. Насчёт "ЗначениеВФайл" последний раз пользовался этим для ТЗ на 8.3.6, там было аналогичное строке поведение. Т.е. индексы сериализуются неявно и потом восстанавливаются в сеансовые данные при загрузке из.

Но вообще этот вопрос заслуживает актуализации, особенно в части файлов. Желающие могут поэкспериментировать)
14. e.kogan 1892 03.10.19 01:20 Сейчас в теме
(13) Хм. А что происходит при восстановлении такой индексированной таблицы, если кэш чистили? Индексы реиндексируются или тихо отрубаются? Ну и между базами тоже интересно. У неё же есть этот указатель, то есть понимание, что индекс должен быть, у системы есть...
15. Yashazz 4709 03.10.19 01:21 Сейчас в теме
(14) А вот не знаю, не встречал на практике. Исходя из теории, должны стать "мёртвыми душами", как если бы колонку грохнули.
25. tormozit 7138 04.10.19 13:35 Сейчас в теме
(12) При сериализации сохраняются только метаданные индексов (описание их структуры), а не сами индексы. При десериализации ТЗ все индексы строятся заново. В статье стоило бы это четко обозначить.
CheBurator; +1 Ответить
16. Yashazz 4709 03.10.19 01:24 Сейчас в теме
Вообще, не следует всё-таки превращать ТЗ в постоянное хранилище постоянных данных, и надеяться, что единожды построенный индекс будет живучим. Всё-таки для другого она, и накладные расходы на индексацию не столь ужасны.
17. vano-ekt 123 03.10.19 09:34 Сейчас в теме
18. Brawler 454 04.10.19 08:10 Сейчас в теме
Просьба пояснить такой момент с индексами.

тз.Индексы.Добавить("Кол1");
тз.Индексы.Добавить("Кол2");
тз.НайтиСтроки(Новый Структура("Кол1,Кол2",знч1,знч2));


Индексный или без индексный поиск будет?
19. Yashazz 4709 04.10.19 09:46 Сейчас в теме
(18) Нет, будет безындексный. Не существует индекса, включающего "Кол1,Кол2" в таком порядке.
20. Brawler 454 04.10.19 09:59 Сейчас в теме
(19) Тогда странно как при таком варианте у меня скорость поиска в 60 раз увеличилась, когда я сидел рефакторингом выгрузки на сайт занимался недели две назад.
22. Yashazz 4709 04.10.19 10:32 Сейчас в теме
(20) Интересно. Какой релиз?
23. Brawler 454 04.10.19 11:16 Сейчас в теме
26. Yashazz 4709 04.10.19 14:43 Сейчас в теме
(23) Поставил ряд экспериментов, оборудование то же, что указано в статье; релиз 15.1565, ситуация следующая: безындексный поиск, видимо, как-то стал кэшироваться, или флюктуации загрузки оборудования влияют, но каждый следующий вызов на 100 тысяч поисков примерно на 5-10 секунд быстрее. Но только если вызывать в пределах 15-20 минут (возможно, это именно 20-ти минутный интервал существования некоторых кэшей). Поиск с двумя одиночными индексами по "кол1" и "кол2" показывает тот же результат, что без них. А вот поиск по "Кол1,Кол2" мгновенный, как и ожидалось. Поэтому, объяснить ускорение в 60 раз использованием индекса явно нельзя, тут что-то другое повлияло.
27. Brawler 454 04.10.19 15:34 Сейчас в теме
(26) Склонен думать, что при поиске могут использоваться подходящие индексы да и все, к примеру когда отдельные индексы Кол1 и Кол2, а поиск идет по Связке "Кол1,Кол2", то просто берется первое Кол1, и по индексу ищется, а Кол2, вероятно уже нет.
28. Yashazz 4709 04.10.19 16:28 Сейчас в теме
(27) Т.е. частичное использование? Слабо верится, при классике индексного поиска по N полей же нужно дерево, откуда оно возьмётся? Ну нашлось множество по "кол1", а дальше ведь его сканировать... Не знаю, не знаю. Возможно, ещё играет роль наполнение таблицы, отсортированность... По ситуации смотреть надо.
33. Brawler 454 04.10.19 18:14 Сейчас в теме
(28) Добрался только до кода, который оптимизировал, признаю несколько надурил всех, самая ресурсоемкая таблица, по части поиска, была проиндексирована только по одному полю.
От сортировок я наоборот избавился везде, где это явно не было нужно,. по минут 5+ выиграл.
В целом же я ускорил выгрузку с 3-х+ часов до менее 4-х минут)))

Индексы рулят, но тулить их везде не стоит, это и расход памяти и вычислительных ресурсов!
21. dimensh 04.10.19 10:03 Сейчас в теме
Давно хотел с этим вопросом разобраться, спс, очень детально.
29. acanta 04.10.19 16:32 Сейчас в теме
Если таблица отсортирована по кол1,кол2, влияет ли наличие /отсутствие соответствующего индекса?
30. Yashazz 4709 04.10.19 16:40 Сейчас в теме
(29) Влияет на что? Индексированная таблица сортируется медленнее, чем неиндексированная; иногда сильно медленнее.
31. acanta 04.10.19 16:42 Сейчас в теме
(30) я про необходимость добавления индексов в заранее отсортированную таблицу значений (или полученную выгрузкой из запроса с нужной сортировкой) для команды НайтиСтроки.
Я использовала запрос в цикле с фильтром по кол1.
Это ошибка?
32. Yashazz 4709 04.10.19 17:10 Сейчас в теме
(31) можно сюда или в личку кусок кода? Так навскидку трудно ответить.
34. AneJIbcuH 37 09.10.19 05:02 Сейчас в теме
Подскажите тоже по индексам, если делаем

тз.Индексы.Добавить("Кол1,Кол2");

А потом: тз.Найти(знч1,"Кол1");

Будет безиндексный поиск? (вроде так в статье). А для индексного в данном случае строго необходимо тз.Индексы.Добавить("Кол1"); ?
35. Yashazz 4709 09.10.19 21:15 Сейчас в теме
(34) Да, именно. Будет искать без использования индекса. И да, надо добавить одноколоночный, чтоб искало по нему.
36. ip0593 20 27.11.19 11:32 Сейчас в теме
у меня иногда бывает, что человек работаю в тз на форме изменяя быстро значение в какой-то ячейке очищал весь столбец и тз начинала "плыть". команда должна была выделить одну строку, выделяет другую.
37. e-9 60 27.01.20 13:56 Сейчас в теме
К такому монументальному труду сложно что-то добавить - но, вспоминая один случай из практики, выдерну из СП:

Альфа = Новый СравнениеЗначений;
ТаблицаЦен.Сортировать("Цена Убыв", Альфа);

============================
Из ИТС - https://its.1c.ru/db/v8std#content:781:hdoc

Особенности сортировки в таблице значений
#std781
Область применения: управляемое приложение, мобильное приложение, обычное приложение.

В тех случаях, когда для таблицы значений применяется сортировка по колонкам, содержащим ссылочные значения, необходимо учитывать, что при этом для каждой из этих колонок для всех строк таблицы значений системой будет выполнено обращение к информационной базе за представлением этой ссылки.

Поэтому рекомендуется:

В тех случаях, когда требуется сортировка по наименованию – сразу, на этапе заполнения, добавлять в таблицу дополнительные колонки с представлениями, и сортировку выполнять уже по ним. Если, конечно, это не вызовет аналогичных многократных обращений к информационной базе;
В остальных случаях – сортировать «по ссылке», а не по представлению. Для этого в методе Сортировать следует использовать объект СравнениеЗначений:
ОбъектСравнения = Новый СравнениеЗначений;
ТаблицаДокументов.Сортировать("Дата,Ссылка", ОбъектСравнения);

Особенно это важно для таблиц с большим количеством (несколько сотен и тысяч) строк, в алгоритмах критических ко времени исполнения.

============================

(Случай был таков: в древней БП 1.6 типовая процедура партионного учета стала падать с ошибкой - на одном проекте из множества. Деталей сейчас не помню - кажется, партии шли в разном порядке, в дереве остатков, полученном запросом, и в промежуточной ТЗ - добавление второго параметра в метод сортировки, исправило проблему).
Stylo; SlavaKron; molodoi1sneg; Yashazz; acanta; +5 Ответить
38. Smoking1C 7 03.02.20 23:59 Сейчас в теме
Суперское исследование с чутким неравнодушием к ТЗ&
Все используют ТЗ но никто не погружался в его сознание как Яков Коган=)
Риник; +1 Ответить
39. dimonb123 22.04.20 14:59 Сейчас в теме
Очень интересное наблюдение.
У нас есть некоторые ночные регламентные процессы синхронизации, в которых используется множество таблиц значений. Делали их для того, чтобы не запрашивать одни и тебе же данные по нескольку раз, а использовать в разных местах синхронизации повторно.
Но объем синхронизации непрерывно рос и вот иногда фоновое задание стало завершаться с ошибкой о недостатке памяти на сервере.

Ессно сразу подозрение пало на таблицы значений, т.к. их никто не унитожал. И они жили все время синхронизации (порядка 3 часов).
Озаботился я тут оптимизацией этого. И что я обнаружил:

ТЗ = Неопределено; //это таблицу не уничтожает, во всяком случае занимаемое место rphost не уменьшается


пришлось сделать вот так:

ТЗ.Очистить(); //это таблицу очищает, во всяком случае занимаемое место rphost уменьшается, хотя и не до первоначальных значений


Версия платформы 8.3.15.1830
40. dimonb123 27.04.20 08:44 Сейчас в теме
(39) ха.. я понял почему так получилось. Потому что таблица была ранее указана как параметр запроса. Век живи - век учись.
Прошу прощения за ложный вброс :)
41. DrAku1a 1679 08.05.20 08:17 Сейчас в теме
При передаче ТЗ в параметр запроса и в конструктор описания источника данных для построителя запроса/отчёта чёткая типизация обязательна.

Если в запросе для колонки ТЗ используется "Выразить", то четкая типизация необязательна. Но при выполнении запроса могут быть ошибки преобразования типов (иначе говоря, число или объект в строку такая конструкция не преобразовывает).
SlavaKron; +1 Ответить
42. Salavat 13 08.05.20 15:27 Сейчас в теме
Если индексы уже есть, разумнее их удалить и создать заново, если добавляется более 1/4 от прежнего объёма ТЗ.

Это относится не только к индексам.
Общеизвестное правило в действии и здесь -
Быстрее не ремонтировать, а снести и новое построить.
(Разумеется - речь именно про ремонт (перестройку индексов), а не полы помыть (добавить ссылку - на единственное значение).
43. ellavs 1024 09.05.20 12:45 Сейчас в теме
Буквально вчера наткнулась на то, что не получилось вернуться из процедуры на сервере в процедуру на клиенте из-за того, что платформа не смогла передать ТЗ с сервера на клиент (при чем передача была неявная, ТЗ являлось реквизитом формы и передача осуществлялась платформой самостоятельно, т.к. серверная процедура выполнялась с контекстом).
Краткое описание: ТЗ является реквизитом формы. В серверной процедуре в зависимости от различных параметров и результатов запросов к ИБ ТЗ заполняется нужными колонками и данными.
Всё работает нормально, кроме случаев, когда появляются вложенные ТЗ (т.е. каждая строка ТЗ содержит еще вложенные ТЗ). Если построить такое ТЗ с вложенными ТЗ через конфигуратор, то работает, но при программном построении в момент возврата из серверной процедуры возникают следующие ошибки.
Выдавалась сначала такая ошибка:
Ошибка при вызове метода контекста (ЗаполнитьТаблицуПросмотрДанныхНаСервере)
по причине: Ошибка передачи данных между клиентом и сервером. Значение недопустимого типа.
по причине: Ошибка преобразования данных XDTO:
НачалоСвойства: v Форма: Элемент Тип: {http://www.w3.org/2001/XMLSchema}anyType
по причине: Ошибка отображения типов:
Отсутствует отображение для типа '{http://v8.1c.ru/8.1/data/core}ValueTable'

Из-за этого случался, видимо, какой-то глобальный глюк и при следующих действиях на форме была ошибка:
Ошибка при вызове метода контекста
по причине: При работе формы произошла системная ошибка (нарушена синхронизация состояния формы на клиенте и сервере).: "Различаются аффилированные значения счётчиков для данных форм: 1 != 0"


PS: отвечая на вопрос "А зачем вложенные ТЗ в ТЗ в ТЗ и т.д.", они в дальнейшем используются при генерации иерархической структуры XML.
44. Yashazz 4709 10.05.20 23:22 Сейчас в теме
(43)
PS: отвечая на вопрос "А зачем вложенные ТЗ в ТЗ в ТЗ и т.д.", они в дальнейшем используются при генерации иерархической структуры XML.

Имхо, я бы всё в плоскую таблицу значений развернул, а потом по некоему ключу рекурсивно скручивал бы в нужную иерархию. 1С вообще не любит некоторые универсальные коллекции именно за то, что в них могут быть напиханы другие по принципу матрёшки, и это фиг проконтролируешь, да и сериализуется иногда своеобразненько.
Drivingblind; ellavs; +2 Ответить
45. naa1c 78 01.06.20 18:12 Сейчас в теме
(0)
Использует ли 1С индексы ТЗ при:
Свернуть()?
Сортировать()?
Скопировать()?

Или только для Найти() и НайтиСтроки()?
56. tormozit 7138 15.09.21 17:58 Сейчас в теме
46. _7445_ 21.07.20 14:47 Сейчас в теме
47. ojiojiowka 10.08.20 17:10 Сейчас в теме
Коллеги, эта информация ложная:
тз.Индексы.Добавить("Кол1,Кол2"); // единственный индекс ТЗ
тз.НайтиСтроки(Новый Структура("Кол1,Кол2",знч1,знч2)); // индексный быстрый поиск
тз.НайтиСтроки(Новый Структура("Кол2,Кол1",знч2,знч1)); // безындексный медленный поиск


безындексный медленный поиск - на самом деле будет выполняться индексный быстрый поиск. Эта информация присутствует на ИТС (https://its.1c.ru/db/v8std/content/452/hdoc) и может быть проверена эмпирическим путем:
&НаСервереБезКонтекста
Процедура ПроверитьПоискПоИндексам()
  
  ТЗ = Новый ТаблицаЗначений;
  ТЗ.Колонки.Добавить("Колонка1", Новый ОписаниеТипов("Строка"));
  ТЗ.Колонки.Добавить("Колонка2", Новый ОписаниеТипов("Строка"));
  
  ЧислоСтрок = 1000000;
  Колонка1 = Неопределено;
  Колонка2 = Неопределено;
  
  ГСЧ = Новый ГенераторСлучайныхЧисел(ТекущаяУниверсальнаяДатаВМиллисекундах());
  ИскомаяСтрока = ГСЧ.СлучайноеЧисло(0, ЧислоСтрок);
  Для Инд = 0 По ЧислоСтрок Цикл
    НоваяСтрока = ТЗ.Добавить();
    НоваяСтрока.Колонка1 = Строка(Новый УникальныйИдентификатор());
    НоваяСтрока.Колонка2 = Строка(Новый УникальныйИдентификатор());
    Если Инд = ИскомаяСтрока Тогда
      Колонка1 = НоваяСтрока.Колонка1;
      Колонка2 = НоваяСтрока.Колонка2;
    КонецЕсли;
  КонецЦикла;
  
  ТЗ.Индексы.Добавить("Колонка1, Колонка2");
  
  НайтиСтроки(ТЗ, Новый Структура("Колонка1, Колонка2", Колонка1, Колонка2));
  НайтиСтроки(ТЗ, Новый Структура("Колонка2, Колонка1", Колонка2, Колонка1));
  НайтиСтроки(ТЗ, Новый Структура("Колонка1", Колонка1));
  НайтиСтроки(ТЗ, Новый Структура("Колонка1, Колонка2", Колонка1, Колонка2));
  НайтиСтроки(ТЗ, Новый Структура("Колонка2, Колонка1", Колонка2, Колонка1));
  
КонецПроцедуры

&НаСервереБезКонтекста
Функция НайтиСтроки(ТЗ, Структура)
  
  ВремяНачала = ТекущаяУниверсальнаяДатаВМиллисекундах();
  
  Строки = ТЗ.НайтиСтроки(Структура);
  
  ВремяВыполнения = ТекущаяУниверсальнаяДатаВМиллисекундах() - ВремяНачала;
  
  Сообщить(ОбщегоНазначения.ЗначениеВСтрокуXML(Структура) + СтрШаблон("Время выполнения %1 мс.", ВремяВыполнения));
  
КонецФункции
Показать
Риник; +1 Ответить
48. Yashazz 4709 10.08.20 18:17 Сейчас в теме
(47) Сведения, изложенные мной, все были проверены эмпирически. Советую уточнить условия задачи. Возможно, или я не все случаи протестировал, или вы. Не торопитесь с выводами, а то выше уже извинялись за ложный вброс.
49. SlavaKron 10.08.20 19:41 Сейчас в теме
(47)
(48)
Типизация к примитивным типам автоматически создает индексы. Однако в (47) всё равно прав (перепроверил на нетипизированных колонках), от перестановки ключей скорость выполнения не меняется.
50. Yashazz 4709 11.08.20 21:32 Сейчас в теме
(49) Странно. У меня менялась. Ну не может же это зависеть от релиза... Перепроверю на досуге. Меня в своё время сильно удивила эта разница во времени исполнения при перемене мест полей.
51. Cерый 25 09.07.21 12:18 Сейчас в теме
Акцентирую возможность помещения ТЗ в запросы:
https://helpf.pro/faq/view/925.html
https://programmist1s.ru/kak-pomestit-tablitsu-v-zapros-1s/
у меня реализована типизация на лету (https://infostart.ru/public/558547/)
52. Yashazz 4709 09.07.21 13:37 Сейчас в теме
(51) Баян. Я это сделал ещё в 2009-м. https://infostart.ru/1c/articles/1133780/ содержит использование типизации и пример передачи в СКД и запросы.
И безо всяких стартмани. Я не жадный)
53. Cерый 25 09.07.21 14:45 Сейчас в теме
(52) Попробовал сегодня редактировать свою публикацию, поставил 0$m/валюта:Бесплатно, сохранение установило 1$m - ЧЯДНТ?
54. Yashazz 4709 09.07.21 16:40 Сейчас в теме
(53) Это не вы, это редактор ИС теперь не даёт забесплатно поставить. Надо модераторам писать.
55. Cерый 25 09.07.21 16:57 Сейчас в теме
(54) Благодарю Вас, вопрос решен (https://infostart.ru/about/help/28158/1293827/ Бесплатное размещение инструментов)
57. AnryMc 849 02.02.22 14:57 Сейчас в теме
Немного не по теме публикации, но

Нюанс практического применения ТЗ (типизация "по умолчанию" в ТЗ - реализация в платформе):

Движение документа (для примера: Бухгалтерский ("Хозрасчетный")) выгружается в ТЗ.

	
				НаборЗаписей  = текОбъект.Движения[Движение.Имя];
				НаборЗаписей.Прочитать();
				НадоЗаписывать = Ложь;
				ТаблицаДвижений = НаборЗаписей.Выгрузить();


Ничего не меняем и записываем обратно в движения...

				НаборЗаписей.Загрузить(ТаблицаДвижений);
				НаборЗаписей.Записать();


Колонка ТЗ "Валюта" - СправочникСсылка.Валюта (Для счетов без "валютный учёт" - ПустаяСсылка)
В бух. регистре для счета без "валютный учет" - это NULL

Итог этой простейшей манипуляции на рис.:
Прикрепленные файлы:
58. Yashazz 4709 02.02.22 15:06 Сейчас в теме
(57) Да, есть такой эффект. Он ещё в некоторых случаях наблюдается, кроме наборов регистров. Начиная от СОМ-соединения и заканчивая методом Заполнить() области таб.документа, применительно к расшифровке.
59. AnryMc 849 02.02.22 17:49 Сейчас в теме
(58) и "картинки" теряются
60. Yashazz 4709 02.02.22 18:18 Сейчас в теме
(59) Какие? Значения типа "Картинка" в колонках таблицы?
61. AnryMc 849 02.02.22 18:27 Сейчас в теме
(60) Да

Во всяком случае при РеквизитФормыВЗначение - ЗначениеВРеквизитФормы (сталкивался на 8.3.15.1700)
62. Yashazz 4709 02.02.22 18:28 Сейчас в теме
(61) Ага. В каких-то более ранних релизах 8.3 и 8.2, точно уже не скажу, так же терялись уникальные идентификаторы и хранилища значений, потом вроде перестали.
Оставьте свое сообщение