Запрос – комбинатор

0. 7237 06.08.14 21:53 Сейчас в теме
Описывается запрос, позволяющий получить и пронумеровать все возможные комбинации значений заранее неизвестного набора свойств. Одним из примеров применения запроса является перечисление всех вариантов спецификаций для заданной продукции.

Перейти к публикации

Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. chmv 08.08.14 14:58 Сейчас в теме
2. Yashazz 3742 08.08.14 18:28 Сейчас в теме
Круто. Правда, нумеровать предпочитаю с помощью СКД. Да и вообще некоторые функции СКД уже существенно облегчили жизнь, например, по нарастающим итогам.
Ильдарович, а не было мысли поиграть с объектной моделью запросов 8.3.5, попробовать на ней все композитные запросы (например, замыкания)?
3. ildarovich 7237 11.08.14 12:04 Сейчас в теме
(2) Yashazz,
1) СКД хорош на своем месте - для постобработки результатов запроса. Все же это черный ящик. Когда я писал запрос для отчета "Неоплаченные долги при распределении оплаты по правилу ФИФО одним запросом и намного быстрее, чем Вы думали", столкнулся с тем, что первый вариант запроса в СКД работал невообразимо дольше, чем в консоли. Разработчик подтвердил ошибку и обещал исправить, но исправил или нет - не проверял, поскольку нашел обходной путь - другой вариант записи запроса. В СКД меня сейчас интересует возможность их каскадного соединения: когда в запросе что-то делается, затем делается постобработка в СКД и результат передается в следующую СКД для следующего этапа обработки. Вот этот путь кажется перспективным, поскольку позволяет быстро сделать вне запроса вещи, которые сложны для чисто запросной техники. Тут есть тонкое место - таблица значений вроде бы вводится в запрос по записям отдельными инсертами и это может узким местом. Но пока не выделил задачу, на которой можно было попробовать этот подход.
2) Относительно объектной модели запроса - мысль интересная. Но есть сомнения. Результатом будет программа (функция), которая строит программу (запрос). Пусть и более четко, но, кажется, еще менее наглядно. Здесь я бы подождал, пока эту технику начнут использовать в типовых. При наличии времени я бы стал пробовать придумать (несколько уже придумал) и использовать инструкции препроцессора в запросе, сохраняющие его читаемость. Поскольку у меня уже есть функция НовыйЗапрос, которой я интенсивно пользуюсь, я бы внес в нее и препроцессинг текста запроса.
4. YPermitin 10496 11.08.14 13:37 Сейчас в теме
5. Dach 306 13.08.14 19:04 Сейчас в теме
Декартово произведение. Если количество свойств заранее известно, то можно решить такую задачу проще. Разбиваем таблицу на столько виртуальных таблиц, сколько различных свойств. Далее левое соединение первой ВТ со всеми остальными ВТ. В итоге получим из таблицы вида:

цвет волос блондинка
цвет волос брюнетка
интеллект умная
интеллект глупая
размер груди большая
размер груди маленькая

таблицу вида:

цвет волос блондинка интеллект умная размер груди большая
цвет волос блондинка интеллект умная размер груди маленькая
цвет волос блондинка интеллект глупая размер груди большая
цвет волос блондинка интеллект глупая размер груди маленькая

и т.д.

Таким образом нечетная колонка - свойство, четная - значение
6. ildarovich 7237 13.08.14 19:20 Сейчас в теме
(5) Dach, все правильно, декартово произведение сразу дает все комбинации значений свойств.
Только в вашем примере колонка "свойство" во всех соединяемых таблицах - лишняя, так как каждое свойство будет храниться в отдельной таблице, естественно ее назвать также как свойство (зачем колонка, которая во всей таблице принимает одно и то же значение?). Так же как свойство можно назвать поля в итоговой таблице.
Но это очевидное решение не работает, когда свойства и значения заранее не определены. Тогда при вашем подходе придется анализировать состав свойств и набирать под эти свойства текст запроса. Метод и запрос получится громоздким. Я, в общем-то пробовал этот подход в задаче получения вариантов спецификаций - хотел просто с минимальными усилиями решить задачу. Но получилось очень длинно и коряво.
Описанный метод гораздо более универсален: работает с заранее неизвестным набором свойств.
7. Dach 306 13.08.14 22:50 Сейчас в теме
(6) а если попробовать вот такой алгоритм:

Динамически управлять текстом запроса в цикле, да-да в цикле, ничего тут страшного.

0. Таблицу свойств и значений помещаем в ВТ на сервере СУБД.
1. Выбрать различные свойства, выгрузить в массив.
2. Цикл по массиву, получаем имя свойства, выбираем в ВТ все строки, с отбором по свойству. Имя ВТ назначаем как имя свойства.
3. Еще один проход по массиву в цикле, на этот раз получаем на первом шаге первую ВТ и далее, на последующих проходах лефт джойн. Используем менеджер ВТ, разумеется, для доступа к ВТ.
4. На выходе получаем требуемое декартово произведение.
Solvolna; An@st@si; AlexSunS; +3 Ответить
8. ildarovich 7237 14.08.14 10:56 Сейчас в теме
(7) Dach, вполне можно так сделать - будет работать, но это самый неэффективный способ.
Если уж решили выбрать свойства в массив, то (как было предложено в (6)) в том же своем цикле без всяких временных таблиц постройте конкатенацией текст запроса, который сразу соединит все таблицы.
По сравнению с моим вариантом потом еще потребуется запросы, которые
1) пронумеруют варианты;
2) объединят значения из разных колонок в одну таблицу с тремя колонками.
Еще раз повторяю, я такой подход пробовал. Получается более громоздко.
Можете попробовать сами - посмотрим, что у вас получится.
Также при большом количестве вариантов в вашем подходе много времени уйдет на нумерацию вариантов.
В общем, считаю пока свой метод решения этой задачи самым гибким, компактным и быстрым.
9. Makushimo 157 19.08.14 02:49 Сейчас в теме
"Последний запрос нужно повторить ]Log2(N)[ раз в зависимости от общего количества свойств N"
Если свойств будет 10, то сколько раз нужно "повторить последний запрос" ?
10. ildarovich 7237 19.08.14 10:41 Сейчас в теме
(9) Makushimo, запрос нужно будет повторить четыре раза:
1) ]10 / 2[ = 5,
2) ]5 / 2[ = 3,
3) ]3 / 2[ = 2,
4) ]2 / 2[ = 1.
11. CheBurator 3453 27.08.14 18:58 Сейчас в теме
12. ildarovich 7237 20.09.14 13:27 Сейчас в теме
Оказалось, что если добавить к исходной таблице вероятность принятия свойствами конкретных значений, то можно посчитать вероятности сочетаний значений свойств и решать таким образом задачи расчета вероятностей сложных событий. Об этом написано в статье "Расчет вероятностей запросом".
13. i_volodin 04.02.15 15:38 Сейчас в теме
Здравствуйте, ildarovich Люблю "непонимать" Ваши статьи :). Есть одни вопрос, Вы конструируете запросы конкатенацией в основном, а я тут наткнулся на "СхемаЗапросов", не пробовали ли вы ее? мне кажется, что она была бы Вам полезна.
14. ildarovich 7237 04.02.15 16:19 Сейчас в теме
(13) Илья, рад услышаться. К "схеме запросов" пока присматриваюсь. Обратил внимание на нее сразу как она появилась. Переписывать на нее уже сделанное не буду, а в новых задачках попробую. Даже задачка есть - сравнение таблиц значений запросом - полным соединением. Обычная техника дала слишком длинный код. Как-нибудь перепишу на объектную модель.

С другой стороны, есть идея развить язык запросов, добавив туда инструкции препроцессора. Несколько уже придумал, но застопорился. Кажется, такой подход даст большую наглядность при программировании запросов. С такой точки зрения объектная модель запроса - лишний уровень абстракции, уводящий от сути задачи.
15. ildarovich 7237 24.04.15 23:33 Сейчас в теме
Еще одна задача, которая может быть решена данным методом: поиск чисел, формирующих нужную сумму. В публикации http://infostart.ru/public/350311/ задача решается внешними средствами (на Java). А здесь можно сделать одним запросом.
16. director04 3624 08.02.19 10:05 Сейчас в теме
Все это работает на весьма небольших выборках.
Если мы имеем дело со значительным количеством элементов выборки, а количество итераций ("Цепь1, Цепь2...и т.д.) достаточно велико, то легко "ложится" любой мощный сервер.

В моем случае проблемы возникали уже на третей итерации. Не помогла даже расстановка индексов на поля, которые участвуют в соединении таблиц (у вас, кстати, почему то это не используется).

На маленьких выборках - работает прекрасно ....
17. jan-pechka 251 04.10.20 18:16 Сейчас в теме
Шесть лет прошло, а вопрос до сих пор актуален: и до сих пор - не просто в обычной или корп. бухгалтерии развернуть Матрешку спецификаций хотя бы до третьего уровня вложения....
поэтому мысль проста:1) рисуем отчет первого уровня - ловим по проданной продукции в Спецификации 1-го уровня -Материалы и Полуфабрикаты, 2)потом для стандартных 1с-бух: делаем расшифровку(2-й отчет) материалов хотя бы до третьего уровня....3) а если нужно дальше разворачивать и до беспредела, то - нужно иную 1с-ку, у к-й будут соответствующие таблицы-флаги в типовой конфе.ИМХО.
вот скрин по первому уровню Спецификаций в стандартных бух.1с-прогах:
Прикрепленные файлы:
Оставьте свое сообщение
Вопросы с вознаграждением