Подведем итоги. Нарастающие.

07.12.09

Разработка - Математика и алгоритмы

Как одним пакетом запросов получить таблицу просроченных долгов контрагента ?
Подробное иллюстрированное построение пакета запросов.


Скачать файлы

Наименование Файл Версия Размер
-
.dt 26,43Kb
409
.dt 26,43Kb 409 Скачать бесплатно

                                                              Шепоту посвящается.

Возможно  читателю покажется интересным приложение в конце статьи :
Что такое нарастающие итоги ? И зачем они нужны ?

Три подхода или кто прав ?

1. Eugeneer предлагает следующий алгоритм решения задачи получения просроченных долгов контрагентов . Организовать цикл обхода выборки контрагентов ,в каждой итерации которого выполнять "мелкий" запрос к базе и с помощью кодинга получить необходимые данные отчета. Eugeneer имеет весомый аргумент - отчет  //infostart.ru/public/60670/  ,практическое тестирование которого показало неплохие результаты при размере базы УТ - 13 Гб и количестве контрагентов - более 4 тыс.

2. Ish_2 в дискуссиях с Anig99 и Eugeneer настаивал на том , что лучший вариант с точки зрения быстродействия - это сделать один запрос к базе и за один проход выборки кодингом получить все необходимые для отчета данные . Ish_2 считает весомым аргументом  собственные рассуждения и  умозрительные построения.

3. Anig99  предлагает уместить алгоритм получения всех данных в один пакет запросов. Anig99 имеет весомый аргумент- отчет //infostart.ru/public/58966/ , который показал хорошее быстродействие при объеме базы 120(!) Гб

В настоящий момент , автор статьи считает , что прав в споре - Anig99. Опуская аргументацию почему Eugeneer и Ish_2 неправы (пожалуй , потянет на отдельную статью о вредности "семерочного" похода при работе с таблицами БД),скажу лишь , что выбранный Anig99  подход , не предполагающий кодинга вовсе  - самый простой и технологичный , при котором мы "отвязываемся" от "слабости" клиента и передаем всю обработку данных  на сервер баз данных. Итак, правильный подход к решению задачи выбран. Осталась мелочь - написать эффективный запрос , обеспечивающий наилучшее быстродействие. Мелочь эту мы и рассмотрим в статье.
     Рассматриваемый ниже вариант построения текста пакета запросов для решения  поставленной задачи представляется автору самым оптимальным  для как небольших, так и очень больших объемов данных (свыше 120-150 ГБ). В демонстрационных целях , для объяснения сути подхода к решению задача несколько упрощена . Несколько упрощен , соответственно , и  предлагаемый к рассмотрению текст пакета запросов . Теперь можно приступить к делу.

Постановка задачи.

Даны две таблицы: 
Таблица «Долги»

 

Контрагент

Долг

ДатаОтсрочки

Компания

  200

     01.11.09

 



Таблица «Обороты»

Контрагент

Период

Рег-р

Сумма

Компания

10.09.09

Накл. 1

        40

Компания

20.09.09

Накл. 2

        60

Компания

31.10.09

Накл. 3

        80

Компания

25.11.09

Накл. 4

      100

 

 

 

 

 

 

Требуется получить таблицу «Просроченные долги»

Контрагент

Период

Рег-р

Сумма

Долг

Просроченный долг

Компания

20.09.09

Накл. 2

        60

       20

                              20

Компания

31.10.09

Накл. 3

        80

        80

                              80

Компания

25.11.09

Накл. 4

      100

      100

                                0

 

 

 

 

 

 

 В выходную таблицу вошли документы на общую сумму равную долгу контрагента (=200).
Алгоритм получения выходной таблицы сводится к нахождению в таблице «Обороты» строки с регистратором «Накл 2»,.
Действительно , сумма долга 200 будет складываться как
Строка «Накл 4» - 100
Строка «Накл 3» - 80
Строка «Накл 2» - 20 , где 20 – это часть значения «Суммы» текущей строки
                                       таблицы «Обороты».
Итак , мы ищем строку в таблице «Обороты», которая является последней в последовательности строк таблицы «Обороты» , «набирающих» в обратном порядке следования строк необходимую сумму долга.

 

 

Frown Отступление для "семерочников".
Не спешите восклицать: " Делов -то ! Пройтись по таблице "Обороты" циклом,  да и дело с концом !" Представьте себе , что во встроенном языке 1с нет оператора цикла .  Возможно, тогда представленный алгоритм не покажется совсем уж нелепым.

 

Описание  алгоритма решения .

I. Получим  суммарные обороты с нарастающими итогами по месяцам из таблицы «Обороты». . Долг контрагента(=200) лежит в интервале 180-280, значит искомый период - сентябрь . Остаток долга для последующего поиска составит 200 – 180 = 20.

В вехней строке таблицы показаны нарастающие итоги оборотов.

0 100 180                                280

       Ноябрь

        Октябрь

         Сентябрь    

         100

           80

               100        


II.  Получим последовательность документов с нарастающими итогами в сентябре. Остаток долга 20 лежит в интервале 0-60 , значит искомая строка  таблицы «Обороты» найдена.
 

0                                                 60                                   100

    Накл.   1  от 20.09.09

       Накл. 1 от 10.09.09

                 60

                 40


III. Скопируем все строки из таблицы «Обороты» с периодом большим или равным 20.09.09 в новую таблицу. Добавим новые колонки «Долг» и «Просроченный долг». Заполним добавленные колонки очевидным образом ,учитывая , что «Долг»  для строки с «Накл. 2» составляет 20, и значение «Даты Отсрочки» - 01.11.09 .

Контрагент

Период

Рег-р

Сумма

Долг

Просроченный долг

Компания

20.09.09

Накл.  2

        60

        20

                              20

Компания

31.10.09

Накл.  3

        80

        80

                              80

Компания

25.11.09

Накл.  4

      100

      100

                                0

 

 

 

 

 

Frown Отступление для "семерочников".
Обратите внимание на то, что с точки зрения здравого ("семерочного") смысла мы сделали немыслимое : вместо очевидного перебора строк в таблице "Обороты"  просуммировали по месяцам всю таблицу. Поехали в Москву через Владивосток ? - Смотри приложение в конце статьи.

 

В демонстрационном примере мы рассматривали лишь два вида интервала для поиска Месяц-документ. В реальных же задачах, когда очень большая таблица "Обороты" имеет строки  с высокой плотностью по времени (розничные продажи по дисконтным картам , как у пользователя Anig99) количество видов интервалов для поиска должно быть увеличено, например Год - квартал - месяц - декада - день - документ.

 

 

 

Текст пакета запросов

 

Рассмотрим текст пакета запросов из отчета "ПросроченныйДолг", содержащегося в демонстрационной конфигурации "ПросроченныйДолг.dt". Таблицы "Долги"и "Обороты" реализованы как справочники . Сделано допущение,  что поле "Период" в справочнике "Обороты" содержит только уникальные значения. 

 


1. Найдем обороты по месяцам

  ВЫБРАТЬ
          Обороты.Контрагент,
         НАЧАЛОПЕРИОДА(Обороты.Период, МЕСЯЦ) КАК НачПериода,
         КОНЕЦПЕРИОДА(Обороты.Период, МЕСЯЦ) КАК КонПериода,
         СУММА(Обороты.Сумма) КАК Сумма
ПОМЕСТИТЬ ОборотыПоМесяцам
ИЗ
         Справочник.Обороты КАК Обороты
СГРУППИРОВАТЬ ПО
         Обороты.Контрагент,
        НАЧАЛОПЕРИОДА(Обороты.Период, МЕСЯЦ),
        КОНЕЦПЕРИОДА(Обороты.Период, МЕСЯЦ)
;

  Временная таблица "ОборотыПоМесяцам"

Контрагент

НачПериода

КонПериода

Сумма

Компания

01.09.09

30.09.09

      100

Компания

01.10.09

31.10.09 

        80

Компания

01.11.09

30.11.09

      100

 

 

 

 


2.
Получим нарастающие итоги для "ОборотыПоМесяцам".

ВЫБРАТЬ
        ОборотыПоМесяцам.Контрагент,
        ОборотыПоМесяцам.НачПериода,
        ОборотыПоМесяцам.КонПериода,
        ОборотыПоМесяцам.Сумма,
        СУММА(ОборотыПоМесяцамКопия.Сумма) КАК СуммаПосле,
        СУММА(ОборотыПоМесяцамКопия.Сумма) - ОборотыПоМесяцам.Сумма КАК СуммаДо
ПОМЕСТИТЬ ОборотыПоМесяцамНарастающие
ИЗ
        ОборотыПоМесяцам КАК ОборотыПоМесяцам
  ВНУТРЕННЕЕ СОЕДИНЕНИЕ ОборотыПоМесяцам КАК ОборотыПоМесяцамКопия
  ПО    ОборотыПоМесяцам.Контрагент   =  ОборотыПоМесяцамКопия.Контрагент
   И      ОборотыПоМесяцам.НачПериода <= ОборотыПоМесяцамКопия.НачПериода
СГРУППИРОВАТЬ ПО
        ОборотыПоМесяцам.НачПериода,
        ОборотыПоМесяцам.КонПериода,
        ОборотыПоМесяцам.Контрагент,
        ОборотыПоМесяцам.Сумма
;

 Временная таблица "ОборотыПоМесяцамнНарастающие"

Контрагент

НачПериода

КонПериода

Сумма

 СуммаДо   СуммаПосле  

Компания

01.09.09

30.09.09

      100

        180              280

Компания

01.10.09

31.10.09 

        80

        100              180

Компания

01.11.09

30.11.09

      100

           0              100

 

 

 

 



3.
 Найдем строку, интервал которой от "СуммаДо " до "СуммаПосле" содержит в себе значение долга (=200)
 , используя внутренне соединение таблиц "Долги" и "ОборотыПоМесяцамНарастающие".

ВЫБРАТЬ
        Долги.Контрагент,
        Долги.Долг,
        Долги.ДатаОтсрочки,
        ОборотыПоМесНарастающие.НачПериода,
        ОборотыПоМесНарастающие.КонПериода,
        Долги.Долг - ОборотыПоМесНарастающие.СуммаДо КАК ОстатокДолга
ПОМЕСТИТЬ ДолгиПоВыбраннымМесяцам
ИЗ
        Справочник.Долги КАК Долги
ВНУТРЕННЕЕ СОЕДИНЕНИЕ ОборотыПоМесяцамНарастающие КАК ОборотыПоМесНарастающие
        ПО Долги.Контрагент = ОборотыПоМесНарастающие.Контрагент
        И Долги.Долг > ОборотыПоМесНарастающие.СуммаДо
        И Долги.Долг <= ОборотыПоМесНарастающие.СуммаПосле
;

 Временная таблица "ДолгиПовыбраннымМесяцам"

Контрагент

НачПериода

КонПериода

  Долг

 ДатаОтсрочки   ОстатокДолга 

Компания

01.09.09

30.09.09

     200

     01.11.09              20

 

 

 

4.  Выберем из таблицы "Обороты" документы только за указанный период    

ВЫБРАТЬ
        Обороты.Контрагент,
        Обороты.Документ,
        Обороты.Период,
        ДолгиПоВыбМесяцам.Долг,
        ДолгиПоВыбМесяцам.ОстатокДолга,
        Обороты.Сумма,
        ДолгиПоВыбМесяцам.ДатаОтсрочки
ПОМЕСТИТЬ ДвиженияПоВыбраннымМесяцам
ИЗ
        Справочник.Обороты КАК Обороты
ВНУТРЕННЕЕ СОЕДИНЕНИЕ ДолгиПоВыбраннымМесяцам КАК ДолгиПоВыбМесяцам
       ПО Обороты.Контрагент = ДолгиПоВыбМесяцам.Контрагент
       И Обороты.Период >= ДолгиПоВыбМесяцам.НачПериода
       И Обороты.Период <= ДолгиПоВыбМесяцам.КонПериода

;

 Временная таблица "ДвиженияПоВыбраннымМесяцам"

Контрагент

Период

Рег-р

Сумма

Долг

ОстатокДолга

ДатаОтсрочки

Компания

10.09.09

Накл  1

        40

   200

         20

01.11.09

Компания

20.10.09

Накл. 2

        60

   200

         20      

01.11.09

 

 



5.
Получим нарастающие итоги по документам   

ВЫБРАТЬ
       ДвиженияПоВыбМесяцам.Контрагент,
       ДвиженияПоВыбМесяцам.Документ,
       ДвиженияПоВыбМесяцам.Период,
       ДвиженияПоВыбМесяцам.Сумма,
       СУММА(ДвиженияПоВыбМесяцамКопия.Сумма) КАК СуммаПосле,
       СУММА(ДвиженияПоВыбМесяцамКопия.Сумма) - ДвиженияПоВыбМесяцам.Сумма КАК СуммаДо,
       ДвиженияПоВыбМесяцам.ОстатокДолга,
       ДвиженияПоВыбМесяцам.ДатаОтсрочки
ПОМЕСТИТЬ ДвиженияПредварительные
ИЗ
       ДвиженияПоВыбраннымМесяцам КАК ДвиженияПоВыбМесяцам
ВНУТРЕННЕЕ СОЕДИНЕНИЕ ДвиженияПоВыбраннымМесяцам КАК ДвиженияПоВыбМесяцамКопия
       ПО ДвиженияПоВыбМесяцам.Контрагент = ДвиженияПоВыбМесяцамКопия.Контрагент
       И ДвиженияПоВыбМесяцам.Период <= ДвиженияПоВыбМесяцамКопия.Период
СГРУППИРОВАТЬ ПО
       ДвиженияПоВыбМесяцам.Контрагент,
       ДвиженияПоВыбМесяцам.Документ,
       ДвиженияПоВыбМесяцам.Период,
       ДвиженияПоВыбМесяцам.Сумма,
       ДвиженияПоВыбМесяцам.ОстатокДолга,
       ДвиженияПоВыбМесяцам.ДатаОтсрочки

;

   Временная таблица "ДвиженияПредварительные "

Контрагент

Период

....

ОстатокДолга

СуммаДо

СуммаПосле

Компания

10.09.09

....

        20

        60 

      100

Компания

20.10.09

....

        20

        0

       60

 

 




6.
По "ОстаткуДолга" =20 определим единственную строку и выведем ее в таблицу "ДвиженияОкончательные" 

ВЫБРАТЬ
       ДвиженияПредв.Контрагент,
       ДвиженияПредв.Документ,
       ДвиженияПредв.Период,
       ДвиженияПредв.ОстатокДолга - ДвиженияПредв.СуммаДо КАК СуммаДолга,
       ДвиженияПредв.Сумма,
       ДвиженияПредв.ДатаОтсрочки
ПОМЕСТИТЬ ДвиженияОкончательные
ИЗ
       ДвиженияПредварительные КАК ДвиженияПредв
ГДЕ
       ДвиженияПредв.ОстатокДолга > ДвиженияПредв.СуммаДо
       И ДвиженияПредв.ОстатокДолга <= ДвиженияПредв.СуммаПосле
;

  Временная таблица "ДвиженияОкончательные"

Контрагент

Период

....

ОстатокДолга

СуммаДо

СуммаПосле

Компания

20.10.09

....

        20

        0

       60

 

 

 

 

7. Используя таблицу "ДвиженияОкончательные" и внутреннее соединение с исходной таблицей "Обороты" получим выходную таблицу запроса.

ВЫБРАТЬ
       Обороты.Контрагент,
       Обороты.Период,
       Обороты.Документ,
       Обороты.Сумма,
       ВЫБОР
       КОГДА Обороты.Документ = ДвиженияОконч.Документ
                  ТОГДА ДвиженияОконч.СуммаДолга
                   ИНАЧЕ Обороты.Сумма
        КОНЕЦ КАК СуммаДолга,
        ///
        ВЫБОР
        КОГДА Обороты.Период < ДвиженияОконч.ДатаОтсрочки
                    ТОГДА ВЫБОР
                                 КОГДА Обороты.Документ = ДвиженияОконч.Документ
                                              ТОГДА ДвиженияОконч.СуммаДолга
                                              ИНАЧЕ Обороты.Сумма
                                 КОНЕЦ
                    ИНАЧЕ 0
        КОНЕЦ КАК СуммаПросроченногоДолга
ИЗ
        Справочник.Обороты КАК Обороты
ВНУТРЕННЕЕ СОЕДИНЕНИЕ ДвиженияОкончательные КАК ДвиженияОконч
        ПО Обороты.Контрагент = ДвиженияОконч.Контрагент
        И Обороты.Период >= ДвиженияОконч.Период

Выходная таблица "ПросроченныеДолги"

Контрагент

Период

Рег-р

Сумма

Долг

Просроченный долг

Компания

20.09.09

Накл.  2

        60

        20

                              20

Компания

31.10.09

Накл.  3

        80

        80

                              80

Компания

25.11.09

Накл.  4

      100

      100

                                0

 

 

 

 


 В прикрепленном к статье  файле "ПросроченныйДолг.dt"(26Кб)  находится небольшая демонстрационная конфигурация,содержащая  :

  • справочники "Контрагенты","Долги","Обороты".
  • отчет "ПросроченныйДолг".

 После запуска конфигурации см. Рисунок ниже :

 

Приложение .
Что такое нарастающие итоги ? И зачем они нужны ?

Дана таблица с именем  «Таблица» наших месячных оборотов :

        Месяц

         Оборот

Сентябрь

            100

Октябрь

              80

Ноябрь

            100

 

Вопрос : В каком месяце мы достигли суммарного оборота 200 ,начиная с сентября  ?
               
Решение.

Представим , что  у нас в языке 1с нет оператора цикла и «в лоб» перебрать строки таблицы мы не можем. Но у нас есть язык запросов.
Вначале сделаем «ненужный» вспомогательный запрос , проясняющий суть соединения по неравенству . Таблица "Таблица" соединяется "сама с собой".


Выбрать Т1.Месяц , Т1.Оборот, Т2.месяц,Т2.Оборот
ИЗ Таблица как Т1
ВнутреннееСоединение Таблица как Т2
по Т1.Месяц >=Т2.Месяц

 

Т1Месяц

  Т1Оборот

  Т2Месяц

   Т2Оборот

Сентябрь

      100

  Сентябрь

        100

Октябрь

        80

  Сентябрь

        100

Октябрь

        80

  Октябрь

          80

Ноябрь

       100

   Сентябрь

        100

Ноябрь

       100

   Октябрь

          80

Ноябрь

       100

   Ноябрь

        100


Уберем из полей выборки лишние поля и сгруппируем по Т1Месяц с суммой поля Т2Оборот

 

Выбрать Т1.Месяц , Т1.Оборот, Сумма(Т2.Оборот) как СуммаПосле // так вот назвал
ИЗ Таблица как Т1
ВнутреннееСоединение Таблица как Т2
по Т1.Месяц >=Т2.Месяц
Сгруппировать ПО Т1.Месяц , Т1.Оборот

 

Т1Месяц

  Т1Оборот

   СуммаПосле

Сентябрь

       100

         100

Октябрь

         80

         180

Ноябрь

       100

         280


Но этого мало , в каждой строке нужно иметь интервал СуммаДо и СуммаПосле.
Поэтому перепишем запрос :


Выбрать Т1.Месяц , Т1.Оборот, Сумма(Т2.Оборот) как СуммаПосле ,
Сумма(Т2.Оборот) – Т1.Оборот как СуммаДо
ИЗ Таблица как Т1
ВнутреннееСоединение Таблица как Т2
по Т1.Месяц >=Т2.Месяц
Сгруппировать ПО Т1.Месяц , Т1.Оборот



Т1Месяц

  Т1Оборот

   СуммаДо

   СуммаПосле

Сентябрь

       100

               0

         100

Октябрь

         80

           100

         180

Ноябрь

       100

           180

         280


Теперь нужно определить в какой строке  выполняется двойное неравенство
СуммаДо <= 200 <= CуммаПосле. Или , другими словами, в каком месяце мы достигли оборота со значением 200.

Для этого поместим результат первого запроса во временную таблицу Итоги и приведем весь  пакетный запрос решения :


Выбрать Т1.Месяц , Т1.Оборот, Сумма(Т2.Оборот) как СуммаПосле ,
Сумма(Т2.Оборот) – Т1.Оборот как СуммаДо
ПОМЕСТИТЬ  Итоги
ИЗ Таблица как Т1
ВнутреннееСоединение Таблица как Т2
по Т1.Месяц >=Т2.Месяц
Сгруппировать ПО Т1.Месяц , Т1.Оборот
;
Выбрать Итоги.Т1Месяц,Итоги.Т1Оборот,Итоги.СуммаДо , Итоги.СуммаПосле  
ИЗ Итоги как Итоги
ГДЕ  200 >Итоги.СуммаДо и 200 <=Итогм.СуммаПосле

 

Выходная таблица решения :

Т1Месяц

  Т1Оборот

   СуммаДо

   СуммаПосле

Ноябрь

       100

           180

         280

 

Вывод : нарастающие итоги (значения колонок СуммаДо и СуммаПосле, задающих определенный интервал) нужны в контексте темы статьи для поиска некоторого определенного значения (Оборот = 200).


Примечание : Представим, что исходная таблица "Таблица" имеет миллионы записей . Тогда какого размера достигнет таблица в результате соединения "сама с собой" ( первый запрос  в приложении) ?
Поэтому нарастающие итоги применять нужно для таблиц ограниченного
размера. В этом весь смысл приведенного в статье алгоритма :
нарастающие итоги применяются сначала для поиска в небольшой таблице месячных итогов , затем "вырезается" интервал в таблице "Обороты" и в этом небольшом месячном интервале снова используются нарастающие итоги для поиска нужного значения оборотов.

 

 

См. также

SALE! 20%

Infostart Toolkit: Инструменты разработчика 1С 8.3 на управляемых формах

Инструментарий разработчика Роли и права Запросы СКД Платформа 1С v8.3 Управляемые формы Запросы Система компоновки данных Конфигурации 1cv8 Платные (руб)

Набор инструментов программиста и специалиста 1С для всех конфигураций на управляемых формах. В состав входят инструменты: Консоль запросов, Консоль СКД, Консоль кода, Редактор объекта, Анализ прав доступа, Метаданные, Поиск ссылок, Сравнение объектов, Все функции, Подписки на события и др. Редактор запросов и кода с раскраской и контекстной подсказкой. Доработанный конструктор запросов тонкого клиента. Продукт хорошо оптимизирован и обладает самым широким функционалом среди всех инструментов, представленных на рынке.

13000 10400 руб.

02.09.2020    122095    670    389    

714

Начните уже использовать хранилище запросов

HighLoad оптимизация Запросы

Очень немногие из тех, кто занимается поддержкой MS SQL, работают с хранилищем запросов. А ведь хранилище запросов – это очень удобный, мощный и, главное, бесплатный инструмент, позволяющий быстро найти и локализовать проблему производительности и потребления ресурсов запросами. В статье расскажем о том, как использовать хранилище запросов в MS SQL и какие плюсы и минусы у него есть.

11.10.2023    16179    skovpin_sa    14    

98

MS SQL Server: изучаем планы запросов

Запросы HighLoad оптимизация Запросы Бесплатно (free)

Многие знают, что для ускорения работы запроса нужно «изучить план». При этом сам план обычно обескураживает: куча разноцветных иконок и стрелочек; ничего не понятно, но очень интересно! Аналитик производительности Александр Денисов на конференции Infostart Event 2021 Moscow Premiere рассказал, как выполняется план запроса и что нужно сделать, чтобы с его помощью находить проблемы производительности.

20.06.2023    15997    Филин    37    

113

Все консоли запросов для 1С

Запросы Инструментарий разработчика Бесплатно (free)

Список всех популярных обработок.

17.03.2023    35531    kuzyara    84    

179

Идентификатор объекта в запросе. Вы этого хотели?

Запросы Механизмы платформы 1С Платформа 1С v8.3 Запросы Бесплатно (free)

В платформе 8.3.22 появилась возможность получать идентификатор в запросе. Лично я ждал этого давно, но по итогу ждал большего. Что не так?

12.01.2023    39647    dsdred    26    

96

Практическая шпаргалка по новым возможностям языка запросов 1С

Механизмы платформы 1С Запросы Платформа 1С v8.3 Запросы Конфигурации 1cv8 Бесплатно (free)

В предлагаемой статье решил привести примеры применения новых возможностей языка запросов 1С, начиная с версии платформы 8.3.20.

21.11.2022    23421    quazare    36    

122
Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. Ish_2 1104 24.11.09 14:06 Сейчас в теме
Три "никаких" использовались автором при написании пакета запросов :

1. Никаких вложенных запросов.
Представленный пакет предствляет собой совокупность последовательно получаемых простых временных таблиц.
2. Никаких выражений в условиях соединения .
Применение операторов и выражеий в условиях соединения повышает время исполнения запроса.
3. Никаких сложных выражений в полях выборки .
В частности, оператор ВЫБОР применен лишь для двух полей в последнем запросе пакета .
2. Ish_2 1104 24.11.09 14:29 Сейчас в теме
Особую благодарность хочу выразить Anig99 , стойкостью своей в теме
http://infostart.ru/public/58966/?PAGEN_1=2
вынудившего автора написать эту статью.

Подход Anig99 к решению этой задачи , заключающийся в том , что весь алгоритм должен умещаться в один пакет запросов и не содержать кодинга , представляется автору глубоко верным.
Такое же глубокое ,но уже несогласие, автор выражает по поводу алгоритма решения и техники исполнения в вышеназванной теме Anig99 . См (1).
3. anig99 2843 25.11.09 13:38 Сейчас в теме
много букв (: но, таки, плюс.
4. Арчибальд 2706 25.11.09 13:43 Сейчас в теме
(3) А мне как раз буквы понравились :)
5. Ish_2 1104 25.11.09 14:18 Сейчас в теме
(3) Саша, а где зл-лоба ? Обижаешь...
Ну ничего .. Сейчас попробуем.
Пост (2) во второй части означает отвержение твоего алгоритма решения - раз ! осуждение техники исполнения в твоей разработке с посылом к (1) - два ! Забирай плюс назад !
6. Шёпот теней 1779 25.11.09 16:55 Сейчас в теме
скажите пожалуйста ?

ножом - удобно резать ...
топором - удобно колоть ...
молотком - удобно забивать ...

ключевое слово "удобно" ... хотя конечно можно-с и молотком - резать или колоть ...

... 1С поставило во главу угла запросы ... понятно SQL он и есть SQL ...

... но лично я запросами получаю максимально приближенные таблицы - только то, что Запрос делает быстро ...

а вот ТАКИЕ вещи просто делаю в "результатах" ... как и много другое ... потому, что:
... 1. я не такой спец в запросах ...
... 2. и есть вещи для которых данный язык (запросов) просто не приспособлен - елементарно "сцепить" тестовые строки ...

... вотТАКОЕестьМНЕНИЕ ...
7. Ish_2 1104 25.11.09 17:45 Сейчас в теме
(6) Согласен, что ножом только режут, топором колят.
Цель этой статьи как раз и показать на конкретном примере ,
что вырежешь ножом - не вырубишь топором.

Привычные топорные "семерочные" алгоритмы в "восьмерке" будут плохо работать или не работать вовсе на базах 100 -200 Гб.
И правильнее писать такие отчеты ,которые будут работать на любых базах, маленьких или больших, без приписок вроде : "Ой , не для всех баз."

Конкретный пример : Anig99 занялся оптимизацией отчета и перешел к варианту "один запрос" не от хорошей жизни, а потому что вывод первоначально сделанного "обычного" отчета занимал более 30 мин.
10. Ish_2 1104 25.11.09 17:57 Сейчас в теме
(6) Продолжим. Ведь почему неправ Ish_2 - в своем предложении сделать один запрос и за один проход выборки получит необходимую таблицу ?
Симпатично , вроде.
А выборка в базе 200Гб может быть настолько большой , что сделает невозможной дальнейшую обработку и выгрузку данных с сервера на клиента. Это раз.
Для больших объемов данных такая переброска данных с сервера на клиента тоже затратна. Это два.

Поэтому нужно стремиться как можно плотнее использовать запросы
и всю обработку выносить на сервер Бд.
Клиент же должен получать готовые выходные данные , небольшие по объему.
Из этой идеологии и вытекает другое построение алгоритмов , так нелюбимое в среде 1сников.
8. artbear 1448 25.11.09 17:47 Сейчас в теме
(0) Опять не выставляешь индексы для временных таблиц для тех полей, что используются в условиях соединений.
Совсем не гуд.
Скулевский оптимизатор может не все понять правильно :)
Укажи ему явно индексируемые поля для исключения неоднозначности.
94. Ish_2 1104 02.12.09 12:39 Сейчас в теме
(8) Почему-то пропустил твой комментарий - прочитал только сейчас.
В демонстрационном варианте , думаю, возможно и опустить. Но если дашь ссылку где сказано , что всегда лучше индексировать явно таблицу перед соединением в след.статьях буду ставить.
97. Ish_2 1104 02.12.09 13:12 Сейчас в теме
(8) Впрочем, ненужно ссылки. И так понятно , что ты прав.
98. artbear 1448 02.12.09 17:00 Сейчас в теме
127. Ish_2 1104 13.01.10 12:38 Сейчас в теме
(8),(17),(21),(27),(87),(88)
Господа , разрешите вас побеспокоить.
В продолжение темы "Подведем итоги . Нарастающие" я опубликовал отчет теперь уже для типовой конфигурации БП 1.6. http://infostart.ru/public/62899/
9. artbear 1448 25.11.09 17:56 Сейчас в теме
(0) Из условия задачи нифига не понял, как из первых 2 таблиц вообще можно получить итоговую таблицу :)
Откуда взялись долги и соответственно просроченные долги для накл.2 и 3 ?
Что такое дата отсрочки? и почему она = 01.11?

или ты что-то в описании пропустил, или условия неточны?
14. Ish_2 1104 25.11.09 18:18 Сейчас в теме
(9) Нет , не согласен.

Постановка задачи приведена для конкретного элементарного примера .
Таблицы заполнены значениями на вкус автора,
чтобы читатель мог визуально убедиться в правильности хода вычислений.
И проверить "на глаз" правильность запросов.
Весь продемонстрированный ход алгоритма с показом промежуточных результатов как раз показывает как из двух первых таблиц получается выходная таблица .

ДатаОтсрочки - это дата , которой все суммы документов с более ранней датой считаются просроченным долгом. Обычно в начальных условиях указывается количество дней отсрочки платежа. Я пошел на упрощение и задал в начальных условиях ДатуОтсрочки.
Показывать реальный запрос в статье вряд ли нужно.
Текст запроса и так для статьи слишком велик . Мне не удалось его упростить и сжать сильнее.

11. artbear 1448 25.11.09 18:00 Сейчас в теме
(9+) Да, под конец рабочего дня сложновато думать :)
Условия понял, таблицы связал, ТЗ уяснил.
Сами запросы буду анализировать завтра.
12. artbear 1448 25.11.09 18:07 Сейчас в теме
(0) Изучаю условия и обоснования дальше.
Вопрос - нафига нам нужны лишние выборки и ограничения по месяцам/периодам ?
Ведь в условии об этом нигде не сказано, нужно получить выходную таблицу, в которой нет никаких месяцев :)
13. artbear 1448 25.11.09 18:15 Сейчас в теме
(12+) Или все-таки ограничение по периодам используются для оптимизации работы запроса?
Если так, предлагаю в описании это каким-то образом обозначить.
Иначе сторонний/новый наблюдатель/тестер, не читавший всю дискуссию, в роли которого я сейчас пытаюсь выступить :) , может не понять данной схемы :)
15. Ish_2 1104 25.11.09 18:32 Сейчас в теме
(13) Конечно , в выходной таблице никаких меСяцев нет.
Выбор периода "месяц"- это на вкус разработчика.
У меня вначале демонстрационного запроса находятся суммарные итоги по месяцам (как из один из возможных вариантов).

А у Саши Anig99 вначале запроса находятся суммарные итоги - по дням, потом по месяцам, потом по годам.
Я мог сделать также , но для демонстрации принципа алгоритма показалось достаточным обойтись "МЕСЯЦАМИ".
17. Шёпот теней 1779 25.11.09 19:40 Сейчас в теме
(15) ... смЕЕЕшно-с ... как только ты ставишь период месяц (разбивка отчёта по месяцам) да ещЁ с такими-то обЪёмами данными в 200 ГБ - у тебя встанет ВСЁ ...

гарантирую, что запросы по частям + ТЗ сделает всЁ гОООраздо быстрее ... проверял ! и делаю именно тАк ...

... что-то не тАк в датскомИСХ_2королевстве ... что-то не договариваем-с... да-сссс...

... нет ужжж ... каждыму инструмент своЁ предназначение - ...

... а если говорить про модное СКД - дык это и есть Запрос+ТаблицаЗначение ...

... вот ...
JohnConnor; hogik; +2 Ответить
19. Ish_2 1104 25.11.09 20:13 Сейчас в теме
(17) Не-а . Не встанет на 200Гб .
Месячные итоги хранятся отдельно в базе . И обращение будет не ко всей базе , а к месячным итогам. Наоборот - все полетит.

Гарантировать не спеши . Ох , не спеши.
Я ведь нигде не утверждал : запрос +ТЗ медленней .
Я говорил о том , что один пакет запросов - оптимальнее для разных режимов работы , разных размеров баз, для разных по силе "клиентов" и т.д.
Вот чем хорошо перекладывать всю обработку на сервер.

При запросе ты ведь не знаешь за какой период по конретному клиенту нужно делать запрос (может у него есть неоплаченные накладные составляющие текущий долг аж 5 лет назад). Тебе придется или делать один сумашедший запрос по всем клиентам за весь период и твоя любая "клиентская машина" захлебнется. Или же делать несколько запросов по частям выбирая весь период. Что снижает быстродействие.

Время исполнения конкретного алгоритма зависит слишком от многого.

Вот мы встретились с тобой . То , да сё...
Пошли , конечно, прежде всего тестировать и сравнивать быстрдействие твоего метода и моего . И допустим , запрос+ТЗ сработал быстрее.
Может быть такое ? Может.
И ты крикнешь : Ага !!!! С тебя бутылка !
Я вспомню о делах , приму озабоченный вид и по -еврейски (прости, Аркадий) улизну.

И буду прав.Потому что запрос "всё в одном" быстрее не ВСЕГДА. , а в среднем.
На некоторых данных он чуть проиграет, на некоторых данных сильно выиграет, т.е. всреднем оптимальнее.
Но при 200Гб ,уверен, Запрос +Тз в данной задаче захлебнется .
16. anig99 2843 25.11.09 19:40 Сейчас в теме
У меня всё ещё ремонт... надо сесть вдумчиво почитать. У меня не получается хорошая критика, пока внимательно не прочту.
Плюс за многое чего стоит. Тем более за спор со мной.
18. Ish_2 1104 25.11.09 19:44 Сейчас в теме
(16) За фразу :
Плюс за многое чего стоит. Тем более за спор со мной. - Браво !

Заканчивай ремонт и мы обсудим чем твой алгоритм отличается от моего.
20. Шёпот теней 1779 25.11.09 20:28 Сейчас в теме
пакеты запросов ...
вложенный запрос ...
запрос+ТЗ ...

... чтобы понять быстродействие - нужно понять "физику" этих процессов ...

тогда и писать меньше надо будет ...

ВОТ мне и хочется чтобы ТЫ прояснил данную "физику" - дЫк чем оТличается вложенный_запрос от пакетного_запроса ...

... тогда можно будет и поговорить более предметно и детально ... без МЕТАфизики ...

... вотТАКОЕпредложение ...

... вот ... а вот если тЫ этого не знаешь ... ? ... ! тогда твоя статья ЭТО профанация .. гадание на кофеёной гуще ... "залезе не залезе.... или пролезе ... неее ... нЕпролезе ..."

... вОООООттакаявОООООтпрОООООвОООООкация ...

...
27. anig99 2843 25.11.09 22:49 Сейчас в теме
(20) Радченко для тебя авторитетен?
ИТС, где читал про оптимизацию запросов, с собой нет, поэтому погуглил

Вот отсюда http://devtrainingforum.v8.1c.ru/forum/thread.jsp?id=539555
Сообщение номер 539689

Re: Оптимизация запросов 22.12.2008 16:15
Максим Радченко, 1С
539689

Сами по себе вложенные запросы не страшны. Страшны соединения с вложенными подзапросами. Их использование очень затрудняет выбор оптимального плана для СУБД. Поэтому высока вероятность ошибки оптимизатора и, соответственно, катастрофического замедления запроса.


Разница в производительности может быть огромной. Например, при выборе правильного плана запрос может работать 1.5 сек, а при выборе неправильного - 18 часов (это реальный случай).


Поэтому следует всегда избегать соединений с вложенными подзапросами. Вместо этого надо использовать временную таблицу.
При использовании временной таблицы запрос будет всегда работать стабильно быстро. Ключевое слово тут - стабильно. Запрос, содержащий соединения с вложенными подзапросами, тоже может иногда работать быстро. Но гарантировать этого нельзя.

......

Обратите внимание, что существует экзотический случай, когда вложенный подзапрос ни с кем не соединяется. То есть написано
ВЫБРАТЬ ИЗ (ВЫБРАТЬ ИЗ ( ВЫБРАТЬ ИЗ ...)))

и все. В этом случае использовать временные таблицы необязательно. Но можно и использовать. Никакого замедления при этом не произойдет.


Резюмируя можно сказать, что всегда нужно стремиться (с помощью временных таблиц в том числе), делать запрос как можно проще. Избегать вложенных подзапросов, а особенно соединений с ними.
Показать


Ну о том, что один правильный запрос в SQL версии много быстрее цикла с множеством запросов или проход по таблице значений с условиями, спорить не будем?
28. Ish_2 1104 25.11.09 22:57 Сейчас в теме
(27) Почему ты в своем запросе во временных таблицах не использовал МоментВремени ?
Ведь гораздо удобнее писать Таблица1.МоментВремени = Таблица2.МоментВремени ,чем как у тебя ?
29. anig99 2843 25.11.09 23:21 Сейчас в теме
(28) В виртуальных таблицах вроде нет момента времени....
32. I_G_O_R 69 26.11.09 00:26 Сейчас в теме
(29) я что-то не пойму, почему у тебя один раз логин пишится, другой - полное имя?
30. Шёпот теней 1779 25.11.09 23:57 Сейчас в теме
(27) ... ммм ... не хочется вступать в открытую полемику не в "своей теме" ... (20) адресован к Исх_2 и более глубок чем твой ответ ... НО ? ...

1. что значит правильный ?
2. что значит быстрее ?

...

вопрос заключается : если знаешь принцип построения запросов - язык прежде всего декларативный а внутри правила выборки и соединения (оптимизация на основании внутренних алгоритмов) - то тогда можно и сделать правила и ответить на вопрос: когда и где и как и в каком запросе как соединять и как выбирать ...

... а то что вложеные запросы надо переводить во временные таблицы - и так все знают - везде об этом пишут НО на уровне общих рекомендаций ...

могу порекомендовать следующую ссылку и далее ссылки по всему тексту: http://www.gilev.ru/1c/81/index/optimquery.htm ...

... а то, что написано ТУТ - напоминает тексты об УправленческомУчёте - и красиво и похоже на правду и хочется верить - но начинаешь повторять и не получается ...

... вот ...
31. Ish_2 1104 26.11.09 00:25 Сейчас в теме
(30) Шепот ,я сразу не ответил . Шуровал на теме Суппорта по скачиваниям. Бестолку ,конечно. Но и молчать нельзя.
Сейчас отвечу подробно.
33. Ish_2 1104 26.11.09 00:57 Сейчас в теме
вопрос заключается : если знаешь принцип построения запросов - язык прежде всего декларативный а внутри правила выборки и соединения (оптимизация на основании внутренних алгоритмов) - то тогда можно и сделать правила и ответить на вопрос: когда и где и как и в каком запросе как соединять и как выбирать ...


(30)Всё не так. Язык запросов SQL (стандарт пока только один -92г.)- описание синтаксиса, он сам по себе - и внутри у него ничего не сидит.
Разные производители придумывают разные оптимизаторы , например оптимизатор SQL-сервер. Описание внутренней структуры оптимизатора никто не публикует и не документирует(документация отсутствует и у оптимизатора запросов 1с в файловом варианте). И для нас он - черный ящик. Мы , строго говоря , лишь догадываемся , что там внутри и не можем
"ответить на вопрос: когда и где и как и в каком запросе как соединять и как выбирать ... "

Представляешь в какое положение попадает разработчик ?
Написав сложный запрос с вложенными запросами - он НЕ ЗНАЕТ как запрос будет выполняться в каждом конретном случае у каждого конкретного оптимизатора разных фирм !!!

Хочется себя обезапасить. и не применять вложенные запросы , которые допускают двоякость и троякость толкования.

Технология временных таблиц (разбиение на мелкие запросы и заданный порядок исполнения) дает возможность написания однозначно понимаемого любым оптимизатором алгоритма действий.

Второе соображение , отлаживать запрос с временными таблицами гораздо легче (последовательное выполнение временных таблиц). А как ты будет контролировать и смотреть выполнение каждого вложенного запроса ?

Третье соображение : продемонстрировать для публики (см. тему) запрос с временными таблицами и показом промежуточных результатов удобнее . Легче разбираться в нем и другому программисту.

Декларативность языка запросов ИЗНАЧАЛЬНО предполагает неопределеность в вопросе КАК ? В КАКОМ ПОРЯДКЕ ? и не дает на этот вопрос никакого ответа.

Т.е. я напишу сейчас запрос тебе простенький( с вложенным) и ни ты и никто не скажет определенно как он будет выполняться.
УФФ !
35. Шёпот теней 1779 26.11.09 05:30 Сейчас в теме
(33), (34) ... болтун ... не верю ...

ваши и статья и комментарии разговор о повседневном, без желания обсуждать, без утверждений, без "глубины" и без "ширины" рассматриваемого вопроса ... лужа ...

... как всегда уход от желания обсуждать в сторону использования нескольких демагогических прАвил - для бега по кругу ... нет желания Зделать проблему "прозрачной", наоборот, утопить её в не связанных цифрах, чтобы оставить лазейки для бегства - типа это упрощение - вот ваша цель ...

... у вас есть хороший оппонент - ... I_G_O_R ... - вот его публикациям и комментариям я верю ... есть чему по-учиться ... и есть желание залезть в интернет ...

... вотТАКАЯкритика ...
36. Ish_2 1104 26.11.09 06:47 Сейчас в теме
(35) Ну ,привет. Шепот, я же старался .
Смотри сколько писанины развёл . Ох, злой человек ты человек !
37. Ish_2 1104 26.11.09 07:04 Сейчас в теме
(35) Черт с тобой, уломал.
Сформулируй четко вопрос и я тебе на примере какого либо запроса - отвечу (Обнажу "физику процесса") .
38. Шёпот теней 1779 26.11.09 08:00 Сейчас в теме
(37) ... опять болтунишь ... а как же (20) ... ?
34. Ish_2 1104 26.11.09 01:07 Сейчас в теме
(30) Забыл сказать еще об одном коварстве оптимизатора.
Один и тот же запрос может выполняться по - разной схеме(последовательности действий) в зависимости от размера используемых таблиц . Ты представляешь какая это засада ?
И рассказ о том , что все было хорошо и работатло , а потом вдруг БАЦ и какой то мелкий запросик вместо выполнения в доли секунды - выполняется !! сутки!!! - это не байки . Это проделки оптимизатора запроса.
21. I_G_O_R 69 25.11.09 20:41 Сейчас в теме
а где замеры производительности и планы выполнения??? просто так не верю :D
23. Ish_2 1104 25.11.09 21:48 Сейчас в теме
(21) Никаких замеров.
Это демонстрационный вариант. Оптимального алгоритма. Для возможного изучения . И не более того.
(22) В тексте темы указано на это упрощение (уникальный период).
По моменту времени нельзя сортировать и соединять временные таблицы.
Это недостаток 1с платформы. Момент времени может использоваться только в при выборке из регистров для соединения или сортировки .
22. I_G_O_R 69 25.11.09 20:46 Сейчас в теме
в запросе №5 соединение по Периоду - это ошибка я уже писал :D, нужно соединять по МоментВремени
24. I_G_O_R 69 25.11.09 22:06 Сейчас в теме
По моменту времени нельзя сортировать и соединять временные таблицы.
Это недостаток 1с платформы.

откуда такие данные?
вот только сделал в кострукторе:
ВЫБРАТЬ
	ВзаиморасчетыСРаботникамиОрганизаций.Физлицо,
	ВзаиморасчетыСРаботникамиОрганизаций.Регистратор,
	ВзаиморасчетыСРаботникамиОрганизаций.СуммаВзаиморасчетов КАК Сумма,
	ВзаиморасчетыСРаботникамиОрганизаций.МоментВремени
ПОМЕСТИТЬ ВТДолги
ИЗ
	РегистрНакопления.ВзаиморасчетыСРаботникамиОрганизаций КАК ВзаиморасчетыСРаботникамиОрганизаций
;

////////////////////////////////////////////////////////////­////////////////////
ВЫБРАТЬ
	ВТДолги.Физлицо КАК Физлицо,
	ВТДолги.Регистратор,
	ВТДолги.МоментВремени КАК МоментВремени,
	ВТДолги.Сумма,
	СУММА(ВТДолги1.Сумма) КАК СуммаИтогом
ИЗ
	ВТДолги КАК ВТДолги
		ВНУТРЕННЕЕ СОЕДИНЕНИЕ ВТДолги КАК ВТДолги1
		ПО ВТДолги.Физлицо = ВТДолги1.Физлицо
			И ВТДолги.МоментВремени >= ВТДолги1.МоментВремени

СГРУППИРОВАТЬ ПО
	ВТДолги.Физлицо,
	ВТДолги.Регистратор,
	ВТДолги.МоментВремени,
	ВТДолги.Сумма

УПОРЯДОЧИТЬ ПО
	Физлицо,
	МоментВремени
Показать




Сделано допущение, что поле "Период" в справочнике "Обороты" содержит только уникальные значения.
- это серьезное допущение, и в базе 200 гигов такое гарантировать никак нельзя
25. Ish_2 1104 25.11.09 22:12 Сейчас в теме
(24) Хм..Странно. А у меня не получилось, правда, давно.
Если это так , как ты пишешь и ты проверил исполнение ,то виноват !

И не получилось еще вот что , после выгрузки в таблицу значений - сортировать по Моменту времени нельзя (неправильно получается)- это уже совсем недавно.
26. Ish_2 1104 25.11.09 22:17 Сейчас в теме
(24) серьезное допущение сделано намеренно с целью упрощения понимания основного принципа алгоритма. Т.е. для демонстрации.
Для реальной конфигурации конечно запрос должен быть переделан.
Справочник "Обороты" - экзотика, тоже ведь серьезное допущение ,а ты его не упомянул .
39. Ish_2 1104 26.11.09 08:27 Сейчас в теме
(39)
ВОТ мне и хочется чтобы ТЫ прояснил данную "физику" - дЫк чем оТличается вложенный_запрос от пакетного_запроса ...


Отвечаю прямо об отличии :
Вложенный запрос - это часть другого запроса.
Пакетный запрос   - это совокупность последовательно выполнямых  
                            запросов.


Если ты имеешь ввиду отличия между выполнением одной и той же задачи разными способами
1. Запросом, имеющим вложенные запросы
2. Пакетным запросом ( последовательное выполнение нескольких простых запросов).
И задаешь вопрос , так сказать, какова "физика" этих отличий ?
То я спрашиваю , нафига я писал (30) ?

Если ты понимаешь под "физикой" отличий что-то другое - дай определение
этой "физики".
40. Ish_2 1104 26.11.09 08:52 Сейчас в теме
(39) Что касается твоей ссылки
http://www.gilev.ru/1c/81/index/optimquery.htm
то несомненно нужная и полезная статья ,
приоткрывающая дверь к кухне интерпертации запросов 1с в SQL.
Но эта информация полезна для очень ограниченного круга специалистов, разрабатывающих какие -то специализированные решения на платформе 1с . Статья эта лишь на другом уровне и подробностями раскрывает ,то что есть уже у Радченко.
Поэтому следует всегда избегать соединений с вложенными подзапросами. Вместо этого надо использовать временную таблицу.
При использовании временной таблицы запрос будет всегда работать стабильно быстро. Ключевое слово тут - стабильно. Запрос, содержащий соединения с вложенными подзапросами, тоже может иногда работать быстро. Но гарантировать этого нельзя.


Для огромного подавляющего большинства 1с-ников этого вполне достаточно.
Мало того , почти наверняка, можно сказать :
1с-ник ! Если у тебя проблемы и ты полез смотреть как 1с запрос интерпретируется в SQL-запрос - ЗНАЙ : ты не знаешь как правильно составлять запросы.
41. Шёпот теней 1779 26.11.09 09:07 Сейчас в теме
(39) ... хм ...

вопрос1:
... дык при каких условиях и пАчему Пакетный запрос выполняется быстрее ...?

вопрос2:
... дык как же Зделать Нарастающий Итог в запросе ...?

самый простой тип нарастающего итога это нумерация строк запроса ... прошу тебя не влезая в дебри конфигурации:
1. покажи нАм
и
2. рАсскажи нАм
и
3. укАжи нам
... способы создания нарастающих итогов в запросах ...

... лично мне интересно .... сделай это дополнением к статье ... я до сих пор не умею делать нарастающие итоги ... хотя бы нумерацию освоить ... а вот понятных изложений пока не нашЁл ... только по простому - чтобы даже мне было понятно ...

думаю это будет интерсно и важно и познавательно для многих ...

... вОООт ...
42. Ish_2 1104 26.11.09 09:25 Сейчас в теме
(41) Пакетный запрос НЕ ВЫПОЛНЯЕТСЯ БЫСТРЕЕ ,чем аналогичный правильно понятый оптимизатором запрос с вложенным запросом.
Ключевые слова здесь "правильно понятый". Чтобы избежать вероятности "неправильной понятости" и применяют пакетный запрос.

Сегодня подготовлю демо-вариант с нарастающими итогами с наглядным примером.
43. anig99 2843 26.11.09 09:27 Сейчас в теме
(41) вообще-то это есть в моей статье - в самом начале....
Пакет запросов скорее всего будет выполнятся быстрее, чем объединение вложенных запросов. Причиной тому - сложность для оптимизатора SQL работы с объединением вложенных запросов. Гораздо меньше неоптимальных инструкций SQL возникает при разборе простых запросов и дальнейшей передаче по цепочке временных таблиц.

З.Ы. Честное слово... Такое ощущение, что специально упускаешь из внимания некоторые моменты, которые были уже сказаны
44. Ish_2 1104 26.11.09 09:43 Сейчас в теме
(43) А я сделаю всего лишь еще один нагядный пример к твоей статье.
То же самое , но другими словами.
45. Шёпот теней 1779 26.11.09 10:23 Сейчас в теме
(43) ... помню твою статью ...

но твоЁ изложение слишком "продвинуто" и а изложение Исх_2 - запутано ...

может ВЫ и понимаете - а я нет ...

самое простое = как соединить две таблицы чтобы можно посчитать нарастающий итог ... хотя бы нумерация строк запроса ... а то сразу " ... Метод последовательного приближения. ..." ...

... хочется как-то более простых и наглядных примеров: типа: как составить запрос: 1. выбрать номенклатуру из папки разрезе характеристик,
+
2. найти остатки в разрезе выбранныйСклад-номенклатура-характеристика,
+
3. найти зарезервировано в разрезе выбранныйСклад-номенклатура-характеристика,
+
4. вывести свободный остаток в разрезе выбранныйСклад-номенклатура-характеристика

и даже бог с ним с разбиением по периодам ...

... если бы меня кто этому научил - последовательно и обЪясняя по шагово - спАсибо бы сказал ...

... вот ...
46. Ish_2 1104 26.11.09 11:23 Сейчас в теме
(45) Сделал приложение : Что такое нарастающие итоги ? И зачем они нуны ?.
Посмотри.
47. Шёпот теней 1779 26.11.09 11:59 Сейчас в теме
(46) ... спасибо ... сегодня обязательно посмотрю, доложусь как понял ... вот ...
48. Ish_2 1104 26.11.09 12:04 Сейчас в теме
(43) Посмотри приложение к статье. Как ?
49. anig99 2843 26.11.09 12:20 Сейчас в теме
50. d.snissarenko 152 27.11.09 20:58 Сейчас в теме
52. Ish_2 1104 27.11.09 22:14 Сейчас в теме
(50) Спасибо.
(51) Ага. Со скуки.
51. Gilev.Vyacheslav 1910 27.11.09 21:48 Сейчас в теме
вот вам занятся не чем,
работа по вам плачет :D
53. Шёпот теней 1779 27.11.09 23:09 Сейчас в теме
(51) ... без теории НЕТ практики ... теория ЕСТЬ основа науки ...

... кстати вам не обидно, что из 24 часов только 8 тратите на работу ...

... вот ...
54. anig99 2843 28.11.09 11:08 Сейчас в теме
(53) мне обидно в сутках всего 24 часа и спать надо...
55. Ish_2 1104 28.11.09 14:09 Сейчас в теме
(53) Любимое занятие в субботу : придираться к Шепоту.
Так вот
... без теории НЕТ практики ... теория ЕСТЬ основа науки ...


Пальцем в небо. Тяжело дается диалектический подход . Получше будет так:
Научный подход подразумевает :
Без теории нет практики. Без практики нет теории.
56. Шёпот теней 1779 28.11.09 14:51 Сейчас в теме
(55) ... вах ... Ish_2 ... ах ... Ish_2 ... ох ...

... твоЁ желание придраться больше чем "Правда" и выше чем "Истина" ...

... основой науки есть повторяемый опыт как Эксперимент и Опыт как опыт ...

... поэтому его сначало "наблюдают" потом "описывают", потом "повторяют" ...

... именно поэтому без Теории нет Науки ... нет Практики ... нет Опыта ...

... хотя некоторых Теория никогда не станет Опытом пока они не получат опыт ...

... вотТАКАЯтеория ...
61. Ish_2 1104 28.11.09 15:56 Сейчас в теме
57. Gilev.Vyacheslav 1910 28.11.09 14:53 Сейчас в теме
(53) Теории меня не убеждают.
Я предпочитаю находить ответы экспериментальным путем.
Но своих убеждений стараюсь не то что не навязывать, а отговаривать от них. Вообщем, главное, без фанатизма. 8-)
58. Шёпот теней 1779 28.11.09 15:43 Сейчас в теме
(57) ... смЕЕЕшно-с ...

без ТЕОРИИ нет эксперимента ... !!! ... однозначно !!! ...

... есть холерики - им проще 40 раз сбегать и один раз подумать ...
... есть меланхолики - им проще 40 раз подумать и один раз сбегать ...

НО ! но сначало ТЕОРИЯ а потом Эксперимент ...

... вот ...
59. Ish_2 1104 28.11.09 15:50 Сейчас в теме
(57) Если автор публикует свое мнение , он уже его в каком -то смысле "навязывает". если автор при этом отговоривает читателей или занимет позицию , дескать я тут мимо проходил, - хитрость эта никакого отклика как правило не находит, а находит недоумение.
Назвался автором - будь им : "навязывай" свой взгляд ,ты этим взглядом и отличаешься от других
60. Шёпот теней 1779 28.11.09 15:54 Сейчас в теме
(59) ... ого ... НУ НИ ЧЕГО СЕБЕ ... заявлениЦЕ ... ухххтыыы ...
62. Шёпот теней 1779 28.11.09 16:04 Сейчас в теме
63. пользователь 28.11.09 18:02
Сообщение было скрыто модератором.
...
64. Ish_2 1104 28.11.09 18:28 Сейчас в теме
(63) Дождались Евгения.
Над чем тут мозг ломать - есть.

Речь ведь идет не только о решении конкретной задачи , но и об ощем подходе к использованию нарастающих итогов в запросе.
Если бы ты хоть чуть-чуть расшифровал слова здесь или в статье
"запрос с коррелированными подзапросами" - появилось бы еще одно решение - возможно самое оптимальное.
А 8.2 и агрегатами пугать простую публику не стоит.
66. пользователь 28.11.09 18:36
Сообщение было скрыто модератором.
...
65. пользователь 28.11.09 18:31
Сообщение было скрыто модератором.
...
71. Ish_2 1104 28.11.09 19:05 Сейчас в теме
(65) Ссылка твоя не открывается.

1. Рейтинг - это не аргумент. Рейтинг - это повод поинтересоваться - а что там ?
2. Запрос в цикле - это зло. Широко известное еще до изобретения "семерки".
Применяется исключительно редко (например тогда , когда результат общего запроса может быть оч.оч. большим по размеру.)
Серверу не все равно обрабатывать кучу мелких запросов или один большой.
Разумеется , быстрее будет выполнен один общий правильно составленный запрос. Хотя бы потому что, обращение к базе данных будет всего одно (а это время !). Поэтому всегда нужно стремиться к одному запросу, а не к циклу запросов.
Убедиться в этом можно практическим путем. Перепиши свой отчет - сделай один запрос к базе для всех контргаентов . Получи выходную таблицу за один проход выборки. Сравни время.

Один запрос , набранный в конструкторе , технологичней в использовании.
Применяя "Запрос + кодинг" для больших баз ты жестко привязан к "силе клиента" , к сети и т.д, т.к. часть кодинга выполняется на "клиенте". Передавая обработку на сервер ты отвязываешься от этих проблем.
Для базы 120 Гб применение твоего запороса в цикле неприемлемо в принципе.

Так вот кратенько...
73. пользователь 28.11.09 19:10
Сообщение было скрыто модератором.
...
72. Ish_2 1104 28.11.09 19:06 Сейчас в теме
(65) Сейчас. Прочитаю твои запросы.
67. пользователь 28.11.09 18:39
Сообщение было скрыто модератором.
...
86. Ish_2 1104 30.11.09 11:54 Сейчас в теме
(67),(68) Два примера запросов отвечают на вопрос о самых продаваемых товарах.
И в полях выборки используется номенклатура.
Какое отношение они имеют к задаче получения просроченных долгов контрагентов ? Чем они нам помогут ?
В таком случае , возможно , лучше опубликовать статью где раскрыть замысел полностью.

А вот , неравенство в условии соединения запроса (68) имеет прямое к текущей теме .
Рассмотрим чаить этого запроса
ВЫБРАТЬ
    Продажи.Родитель КАК Родитель,
    Продажи.Номенклатура КАК Номенклатура,
    Продажи.Количество КАК Количество
ИЗ
    Продажи КАК Продажи
        ВНУТРЕННЕЕ СОЕДИНЕНИЕ Продажи КАК ПродажиНумерация
        ПО Продажи.Родитель = ПродажиНумерация.Родитель
            И Продажи.Количество <= ПродажиНумерация.Количество
Показать


Представим , что в таблице всего одна группа содержащая 10 000 товаров.
(для крупных торговых сетей ничего фантастического, кстати).
Тогда в результате соединения получим таблицу с количеством записей
(10 000+1)/2*10 000 = 50 005 000 (сумма членов арифметической прогрессии). Т.е. размер первоначальной таблицы увеличился более в чем 5 000 раз. Последующая группировка с условием не отменяет необходимости такого соединения , а лишь при получении выходной выборки фильтрует промежуточную таблицу.
Ты не видишь здесь никакой проблемы ?

Так вот текущая статья и статья Anig99 посвящены как раз тому , чтобы избежать таких больших промежуточных таблиц в процессе исполнения запроса.
Приведенный пример не выдумка . С подобной ситуацией столкнулся Anig99 при работе с базой 120Гб.
Поэтому приводя тексты таких запросов лучше предупреждать пользователя :
"Этот запрос пригоден для небольшого количества данных (малые базы до 30Гб). Не вздумайте применять такие подходы для больших баз (более 120 Гб)."

89. Шёпот теней 1779 01.12.09 21:59 Сейчас в теме
(86) ... ГИГАнтоМАНИЯ ...

... гипноз нулей ...
... кто больше ... 100 ГБ ... 120 ГБ ... 150 ГБ ... 200 ГБ ... 80 000 строк ...
... сумма членов арифметической прогрессии ...

... прямь как в рекламе : не поворяйте этого - это сделано в фотошопе ...

... ВОТ ...
90. anig99 2843 01.12.09 23:50 Сейчас в теме
(89) Шепот... родной город обязывает... ничего ровного. Если завод, то большего города, если гостиница, то самая бесполезная и высокая в городе, если легковушка, то меньше всех...
Магия, не магия, но из малого произрастает большое.... Современные компьтеры расхолаживают программистов позволяя не задумаваться об оптимизации кода и экономии памяти. В результате получаем расчет себестоимости и корректировку стоимости списания по 6 часов... Перешли для получения нового функционала и получения аналитики - но плата за это - длительность не очень сложных расчетов. Вот проблема на самом деле.
kinazarov; Valerich; Шёпот теней; +3 Ответить
91. Шёпот теней 1779 01.12.09 23:55 Сейчас в теме
93. Ish_2 1104 02.12.09 10:14 Сейчас в теме
(90) Вспомнился 1986г . Оперативная память для бортовой БЦВМ измерялась Кб и суровой ниткой делилась между разработчиками различных систем.
Требовалась жесточайшая экономность кода.
Эти Кб занимали , обменивали , одалживали до след. проекта и т.д.
Началась антиалкогольная компания и Кб обменивали на бутылки.
68. пользователь 28.11.09 18:42
Сообщение было скрыто модератором.
...
69. пользователь 28.11.09 18:43
Сообщение было скрыто модератором.
...
70. пользователь 28.11.09 18:44
Сообщение было скрыто модератором.
...
78. anig99 2843 28.11.09 20:35 Сейчас в теме
(70) Можно не коверкать? Вы банально не уважаете своих собеседников. Здесь не миста.
(74) 120 гигов, пустое хранилище, база за 4 года, по 10 тыс документов реализации в месяц. Так понятнее? Куча виртуальных таблиц - это реализация алгоритма. Если его понять, остальное - тут же становится ясно. Я и не надеялся, что кто-то без разъяснений алгоритма разберется (хотя нашелся как минимум 1 человек, который разобрался без моих дополнительных объяснений).

З.Ы. Сейчас я не буду впадать в полемику. Хочу отдохнуть на выходных
79. I_G_O_R 69 28.11.09 23:25 Сейчас в теме
(70) ЗУП открой ты вообще ох..ешь, модуль ПроведениеРасчетов, функция ПолучитьДанныеДляРасчета. На экзамене спеца по ЗУП за 4 часа туда еще и изменения внести надо, а 10 ВТ - это мелочи, так что это не критерий.
80. anig99 2843 29.11.09 00:24 Сейчас в теме
(79) Согласен... Не всегда всё сложное нужно резать бритвой Оккама... Как я уже писал в какой-то из веток по данной тематике - нужно соизмерять ценность результата и сложность его получения.
81. Шёпот теней 1779 29.11.09 09:43 Сейчас в теме
(79), (80) ... удивили ...

... выбран слишком простой демагогический приЁм, чтобы увести разговор от конкретного примера в сторону красоты "филосовской" сложности ...

... уверен, я не провоцирую, Eugeneer вас "отметелит" сложной философской простотой - "бритвы Оккаямы" ...

... вОООт ...

п.с. «Бритва (лезвие) О́ккама» — методологический принцип, получивший название по имени английского монаха-францисканца, философа-номиналиста Уильяма Оккама (Ockham, Ockam, Occam; ок. 1285—1349). В упрощенном виде он гласит: «Не следует множить сущее без необходимости»

...
74. пользователь 28.11.09 19:11
Сообщение было скрыто модератором.
...
75. пользователь 28.11.09 19:13
Сообщение было скрыто модератором.
...
76. Ish_2 1104 28.11.09 19:43 Сейчас в теме
(75) Женя ,виноват.
Сейчас не могу. Позднее. Завтра- послезавтра обязательно отвечу.
77. Шёпот теней 1779 28.11.09 20:35 Сейчас в теме
нет Ish_2 ... не ответишь ... не позднее ... и никогда ... не сможешь ...

... порвЁт тебя Eugeneer как тузик грелку ...

... и хорошо ... может чего-нибудь и надумаешь ...



... вот ... без злорадства но с надеждой ...
82. anig99 2843 29.11.09 10:10 Сейчас в теме
(82) Никуда я не увожу, я просто сокращаю свой пост за счет емкого понятия на уровне 1го курса института. Все рассуждения Eugeneer можно свести именно к Бритве Оккама - не плодить сущностей без надобности или усложнять сверх необходимости. Ключевые слова здесь "надобности" и "необходимости". Кроме того, он абсолютизирует свой опыт и считает, что проблемы больших объемов данных надуманны. Мой пост относился именно к нему, а не к тебе, Шепот.
С тобой всё по другому. Я никак не могу понять, что тебе надо. То ты просишь раскрыть механику оптимизатора запросов SQL - а это теория, т.к. для каждой базы всё будет по-разному. То ты заявляешь, что тебе нужна конкретика - покажите запрос. То ты пишешь пост в стиле "дао программирования". И всех обвиняешь в увиливании...Никто с темы слезть не пытается. Просто люди по-разному воспринимают проблему: кто-то конкретно запрос на дебиторку, кто-то запрос с нарастающими итогами, кто-то преимущества разных вариантов сочетания запросов и кода, а кто-то вообще не видит проблемы. Одно твое желание я знаю точно - расшевелить болото.
83. Шёпот теней 1779 29.11.09 10:57 Сейчас в теме
(82) ... то ли побил ... то ли похвалил ... то ли ...

... но ткнул понятием 1 курса ... ещЁ один демАгоический приЁм ...
... прям как у М.Жванецкого "... что может сказать хромой об исскустве Герберта Фон Караяна, если ему сразу сказать что ОН хромой ..." ...

... значИтельность не может быть больше знАчимости ...

... вот ...
84. I_G_O_R 69 29.11.09 12:14 Сейчас в теме
ШёПоТ провоцирует,не слушайте(точнее не читайте) его, он любитель поспорить.
Шёпот теней; +1 Ответить
85. Шёпот теней 1779 29.11.09 13:33 Сейчас в теме
I_G_O_R ... хм ...

1. уважаю ваше мнение ...
2. мне хочется знать то чего не знаю, в чём сомневаюсь, то что хочу знать ещё лучше ...
3. методы получения знаний могут быть разные ...

но когда на конкретный вопрос о 2*3 тебе начинают говорить об "ИНТЕГРАЛЬНЫХ МЕТОДОВ ДЕТЕРМИНИРОВАННОГО ФАКТОРНОГО АНАЛИЗА" поневоле начинаешь задумываться ... так ли нужна сложность интеграла в получении утроенного сложения ... такая вот дЕмагогия ...

... вот ...
87. Merlin12042009 30.11.09 16:49 Сейчас в теме
анализ...это всегда круто!
88. KukA.5 476 01.12.09 21:53 Сейчас в теме
92. I_G_O_R 69 02.12.09 00:06 Сейчас в теме
скорую вызывайте :o
Шёпот теней; +1 Ответить
95. Шёпот теней 1779 02.12.09 12:47 Сейчас в теме
... почти в тему по поводу идексирования : http://interpretor.ru/sql_indexing ...

... почти в тему но не совсем : http://www.interface.ru/home.asp?artId=3514 ...

...вот ...

...
96. Ish_2 1104 02.12.09 13:06 Сейчас в теме
(95) Несколько не то. То что выборка у таблицы с индексом будет осуществляться быстрее - само собой.
Но если мы только получили временную таблицу - индекс у нее отсутствует.
Оптимизатор запроса или мы явно должны ее индексировать ?
Я не нахожу большой разницы . Артур считает , что надежнее всё-таки явно её проиндексировать.
Оставьте свое сообщение