T-SQL + 1С: нумерация записей табличных частей и наборов регистров по порядку

22.12.16

Разработка - Механизмы платформы 1С

Обработка данных больших баз 1С часто выполняется средствами SQL. Это может быть свёртка или какая-то другая задача. После выполнения команды DELETE может нарушиться последовательность нумерации записей табличной части или набора регистра. Это может привести к неприятным последствиям, если её не восстановить. В данной публикации приводится достаточно простое решение этой проблемы.

Предположим, что нам необходимо свернуть все движения по выбывшей из оборота номенклатуре. Мы выполнили удаление движений по регистрам накопления и обнаружили, что нумерация записей наборов нарушилась. Это может выглядеть примерно вот так (значения в ячейках имеют демонстрационный характер для упрощения восприятия):

_Period _RecorderTRef _RecorderRRef _LineNo _Fld123RRef
01.01.2010 12:00:00 0x12 0x01 1 0x11
01.01.2010 12:00:00 0x12 0x01 2 0x22
01.01.2010 12:00:00 0x12 0x01 4 0x44

 где

_Period - период регистра накопления;

_RecorderTRef - код типа документа, например, Документ.ПоступлениеТоваровУслуг;

_RecorderRRef - ссылка на документ (имеет тип binary(16), по факту является GUID'ом);

_LineNo - порядковый номер записи набора регистра;

_Fld123RRef - измерение, ссылка на элемент справочника "Номенклатура" (в нашем примере так).

В данной таблице не хватает записи с номером строки _LineNo равным 3. Эта строка была удалена в процессе свёртки. Если мы оставим это так как есть, то, например, при выполнении такого кода 1С (проверялось на платформе 8.3):

Набор = РегистрыНакопления.ТоварыНаСкладах.СоздатьНаборЗаписей();
Набор.Отбор.Регистратор.Установить(ДокументСсылка);
Набор.Прочитать();
Набор.Записать();

 Можно неожиданно получить вот такой результат:

_Period _RecorderTRef _RecorderRRef _LineNo _Fld123RRef
01.01.2010 12:00:00 0x12 0x01 1 0x11
01.01.2010 12:00:00 0x12 0x01 2 0x22
01.01.2010 12:00:00 0x12 0x01 3 0x44
01.01.2010 12:00:00 0x12 0x01 4 0x44

Последняя строка в наборе регистра задублировалась. Как это произошло? Моя гипотеза такова: набор записей был успешно прочитан в оперативную память, а затем, при его записи обратно в базу данных, 1С восстановила последовательность нумерации и та строка, которая имела значение поля _LineNo равным 4 стала равна 3. В таком виде набор записывается в базу данных, но строка со значением _LineNo равным 4 из базы данных не была удалена и к ней дописываются строки со значениями _LineNo равными 1, 2 и 3, которые они получили в оперативной памяти. Таким образом получается дублирование.

В таких случаях требуется восстановить последовательность нумерации строк. Как это сделать наиболее простым способом? Это можно сделать при помощи следующей команды SQL:

UPDATE T
SET
    T.[_LineNo] = T.[RowNumber] -- Обновляем значения
FROM
    (SELECT
        T.[_LineNo] AS [_LineNo],
        -- Нумерация по порядку средствами SQL - используем оконные функции
        ROW_NUMBER() OVER(PARTITION BY T.[_RecorderRRef] ORDER BY T.[_LineNo]) AS [RowNumber]
    FROM
        [ИмяТаблицыРегистра] AS T
        INNER JOIN
            (SELECT
                [_RecorderRRef]  AS [_RecorderRRef],
                COUNT([_LineNo]) AS [LineCount], -- Количество строк в разрезе регистратора
                MAX([_LineNo])   AS [LineMax]    -- Максимальное значение номера строки в разрезе регистратора
            FROM
                [ИмяТаблицыРегистра]
            WHERE
                [_Period] < @Period -- Здесь может быть любое нужное нам условие отбора записей набора регистра
            GROUP BY
                [_RecorderRRef]
            HAVING
                COUNT([_LineNo]) <> MAX([_LineNo]) -- Таким образом мы отбираем регистраторы, у которых нарушилась нумерация

            ) AS U
        ON T.[_RecorderRRef] = U.[_RecorderRRef]) AS T; -- Фильтруем записи регистра по найденным регистраторам

Вместо [ИмяТаблицыРегистра] нужно подставить нужное имя таблицы регистра накопления. А вместо [_Period] < @Period можно использовать любое другое условие отбора нужных нам записей регистра накопления. Обращаю внимание на выражение COUNT([_LineNo]) <> MAX([_LineNo]), которое позволяет определить какие наборы записей были фрагментированы с точки зрения нумерации строк набора по порядку.

Краткое описание алгоритма:

1. Находим те регистраторы, у которых количество строк в наборе не равно максимальному значению номера строки этого набора (обнаруживаем фрагментацию).

2. Отбираем все записи регистра по полученным регистраторам, используя INNER JOIN.

3. При помощи оконной функции SQL вычисляем правильные порядковые номера строк в разрезе регистраторов.

4. Обновляем отобранные записи правильными значениями порядковых номеров строк.

Этот алгоритм аналогичным способом можно использовать для восстановления нумерации табличных частей.

Обновление от 19.07.2016

Прочитал книгу "Microsoft SQL Server 2012. Высокопроизводительный код T-SQL. Оконные функции." Ицик Бен Ган. Познакомился с алгоритмом поиска островков. Данная задача как раз из этого класса. Переписал код. В результате получился ещё более быстрый и, в тоже самое время, лаконичный код. Производительность увеличена примерно в 4 раза по сравнению с первым вариантом. Секрет успеха: избавление от внутреннего соединения и сортировки данных после него. Как следствие сократилось количество чтений и время использования CPU. Работа ведётся исключительно с кластерным индексом регистра накопления, в который входят поля _Period, _RecorderTRef, _RecorderRRef и _LineNo.

UPDATE T

SET

T.[_LineNo] = T.[RowNumber]

FROM

(SELECT

[_LineNo],

ROW_NUMBER() OVER (

PARTITION BY [_Period], [_RecorderTRef], [_RecorderRRef]

ORDER BY [_LineNo]) AS [RowNumber]

FROM

[ИмяТаблицыРегистра]

WHERE

[_Period] <= @Period) AS T

WHERE

T.[_LineNo] <> T.[RowNumber];

SQL свертка оптимизация обработка данных оконные функции

См. также

Динамическое обновление - это зло?

Механизмы платформы 1С Платформа 1С v8.3 Конфигурации 1cv8 Бесплатно (free)

Копнем глубже в тему "Что же такое динамическое обновление" и почему оно может привести к проблемам. И может ли?

09.05.2022    27413    Infostart    83    

243

Совместимость работы со строками. Жизнь до 8.3.6 и после

Механизмы платформы 1С Платформа 1С v8.3 Бесплатно (free)

Немного о совместимости со старыми версиям платформы 1С в работе со строками.

21.02.2020    8401    Infostart    25    

69

Эволюция расширения конфигурации

Механизмы платформы 1С Платформа 1С v8.3 Конфигурации 1cv8 Бесплатно (free)

С каждым днем всё больше возможностей появляется в расширении конфигурации, но не все до сих пор работают даже на платформе 8.3.6! Давайте окунемся в историю появления и эволюции расширения конфигурации, чтобы знать и понимать, когда можно применить тот или иной функционал!

06.02.2020    26774    Xershi    51    

223

Как работают управляемые формы и тонкий клиент 1С – взгляд "из-под капота"

Механизмы платформы 1С Управляемые формы Бесплатно (free)

Переход на управляемые формы перевернул процесс разработки на 1С, заставив программистов менять привычные подходы к описанию логики работы интерфейса. Руководитель компании «Цифровой Кот» Юрий Лазаренко в своем докладе на конференции Infostart Event 2019 Inception рассказал о том, как устроены управляемые формы и как правильно работать с тонким клиентом платформы 1С:Предприятие.

23.12.2019    25143    TitanLuchs    23    

100

30 задач. Странных и не очень

Математика и алгоритмы Механизмы платформы 1С Платформа 1С v8.3 Бесплатно (free)

30 задач на знание языка программирования 1С и некоторого поведения платформы. Маленьких. Странных и не очень.

02.12.2019    50764    Infostart    65    

164

Фишечки-рюшечки

Механизмы платформы 1С Платформа 1С v8.3 Бесплатно (free)

За годы работы с 1С собрался определенный багаж хитростей, который позволяет разрабатывать быстрее/эффективнее/качественнее. Поделюсь ими в данной статье.

06.11.2019    11204    mpeg1989    95    

66

ЧтениеДанных и ЗаписьДанных. Работа со строками

Механизмы платформы 1С Платформа 1С v8.3 Бесплатно (free)

Использование потоков и двоичных данных для работы со строками.

04.10.2019    23851    Yashazz    16    

76
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. Danil.Potapov 516 10.01.17 11:13 Сейчас в теме
А что говорит служба поддержки 1с?
+
2. zhichkin 1455 10.01.17 11:17 Сейчас в теме
(1) Вы про пресловутое лицензионное соглашение для 1С:Предприятие 8 ?
Ну, как всегда, автор не рекомендует повторять это дома, так как все трюки выполнены профессионалами =)
+
3. Danil.Potapov 516 10.01.17 11:19 Сейчас в теме
(2) да не, мне на это все равно. Служба поддержки 1с подтвердила такую ошибку в платформе?
+
4. zhichkin 1455 10.01.17 11:23 Сейчас в теме
(3) Это не ошибка платформы. Я встречался с такими нетиповыми конфигурациями, где допускается иметь движения документа с разными значениями периода ... Вот как бывает =) Кроме этого, статья имеет практический смысл при работе с табличными частями средствами SQL Server. Я об этом упоминаю в конце статьи.
+
5. Danil.Potapov 516 10.01.17 11:27 Сейчас в теме
(4) подожди, в статье идет речь про то, что платформа допускает запись в регистр накопления записи пронумерованные не по порядку и если их перечитать и записать, то добавляет еще одну запись. Пока нашел в списке ошибок платформы 8.3 только ошибку нумерации набора записей регистра бухгалтерии (https://bugboard.v8.1c.ru/error/000023566.html). На каком релизе платформы была эта ошибка?
+
6. zhichkin 1455 10.01.17 11:33 Сейчас в теме
(5) Ах, Вы об этом ... Ну, да, есть такая шляпа. Просто если не шаманить на SQL, то подобную штуку не воспроизвести. По этому я в службу поддержки 1С не обращался. Релиз платформы на тот момент времени (июль 2016 года) я использовал последний. Думаю это было что-то типа 8.3.5. Да и суть статьи опять же была не в этом. Ошибку я обнаружил, можно сказать, по ходу дела, тестируя результаты свёртки.
+
7. Danil.Potapov 516 10.01.17 11:35 Сейчас в теме
(6) понял, не надо так пугать, думал что уже платформа разучилась нормально нумеровать записи.
+
8. METAL 289 02.03.18 14:45 Сейчас в теме
Не совсем по теме, но всё же позволю себе поинтересоваться, может знаете:
_RecorderTRef - какое значение какому типу документа соответствует, можно ли узнать как-то программно в 1С либо запросом к какой-то таблице в SQL?
Спасибо!
+
9. zhichkin 1455 02.03.18 15:59 Сейчас в теме
(8) Программно средствами языка 1С это можно узнать следующим образом:
Отбор = Новый Массив();
Отбор.Добавить(Метаданные.Справочники.Номенклатура);
ТаблицаМетаданных = ПолучитьСтруктуруХраненияБазыДанных(Отбор, Истина);
Инфо = ТаблицаМетаданных.Найти("Основная", "Назначение");
ИмяТаблицыSQL = Инфо.ИмяТаблицыХранения;

Переменная ИмяТаблицыSQL будет содержать что-то вида _Reference41. Число в конце наименования таблицы, в данном случае это 41, будет именно тем, что Вам нужно - кодом типа 1С, которое сохраняется в полях вида _[ИмяПоляТаблицы]TRef.
+
10. zhichkin 1455 02.03.18 16:03 Сейчас в теме
(8) Имейте в виду, что если восстановить базу из dt-файла, то все коды типов 1С при загрузке генерирует заново!
+
11. zhichkin 1455 02.03.18 16:10 Сейчас в теме
(8) На всякий случай: 41 не равно 0х41 =) Используйте в SQL коде преобразование int в binary(4).
CAST(41 AS binary(4))
+
13. zhichkin 1455 25.12.18 18:01 Сейчас в теме
(12) Спасибо! Было дело копался в этом. Тоже хотел написать SQL CLR хранимку, но в итоге не хватило времени и желания копаться в формате 1С. Теперь может быть вернусь к этой теме =)
+
14. МихаилМ 26.12.18 15:38 Сейчас в теме
(13) dbnames быстрее парсить через xml
+
Оставьте свое сообщение