0. ildarovich 6997 11.12.10 00:57 Сейчас в теме

Эффективная обработка данных в оперативной памяти за счет использования коллекции "соответствие"

Разработчики, перешедшие с 7-ки на 8-ку по привычке продолжают использовать универсальные коллекции "список значений", "таблица значений" в задачах, которые в 8-ке существенно быстрее решаются с использованием новой коллекции "соответствие". Эта статья для тех, кто еще не оценил всех преимуществ новой структуры данных. Статья позволит создавать Вам максимально быстрые программы. Приведено несколько примеров, в том числе, решение для задач на графах.

Перейти к публикации

Комментарии
Избранное Подписка Сортировка: Древо развёрнутое
Свернуть все
1. cool.vlad4 44 11.12.10 00:57 Сейчас в теме
:D молодчина, уважаю, знания в массы!
2. hogik 432 11.12.10 01:54 Сейчас в теме
(0)
"...есть место настоящему программированию - кодингу"(с)
"Кодирование является лишь частью программирования, наряду с анализом, проектированием, компиляцией, тестированием и отладкой, сопровождением. В узких кругах кодирование также может называться «кодинг» (англ. coding)."(с)
http://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D0%B4%D0%B8%D0%BD%D0%B3
4. ildarovich 6997 11.12.10 10:31 Сейчас в теме
(2) Не спорю.
Я использовал здешнее понимание "кодинга" не как кодирование, то есть перевод алгоритма в конструкции языка, а как определение процедурного подхода к программированию, когда требуется определять последовательность вычислений. В отличии от декларативного - "запросного" подхода, против которого я ничего не имею (Пролог - один из моих любимых языков).
HystriX; hogik; +2 Ответить
3. Ish_2 1052 11.12.10 06:32 Сейчас в теме
Отлично.
Гораздо приятнее общаться по такому поводу.
Замечание 1.
Нужно поправить в теме.
Прелесть соответствия именно в том , что проверка перед присвоением не нужна.
Вместо
         Соотв =  Новый Соответствие;
         Если Соотв[1]= НеОпределено Тогда 
              Соотв.Вставить(1,0);
         КонецЕсли;

Мы пишем :
	Соотв =  Новый Соответствие;
	Соотв[1]=0;

Другими словами, в последнем примере если не найден ключ , то автоматически вставляется в соответствие новая пара ключ, значение.

Замечание 2.

Эффективное использование Соответствие в Вашей обработке графа стало для меня неожиданностью.
Ваша обработка даже при облегченном контроле зацикливания, неучитывающем "глубокие" кольца,
должна была проиграть не в 3 раза в SQL-варианте , а в 10-15 раз, если бы использовалась таблица значений.
Другими словами, если бы не соответствие Ваш алгоритм бы просто "рухнул".
Сколько же проиграет Ваш вариант при полноценном , неурезанном функционале осталось загадкой.
pm74; IDija; +2 Ответить
5. ildarovich 6997 11.12.10 10:33 Сейчас в теме
(3) С замечанием 1 согласен - уже поправил в статье.
6. ildarovich 6997 11.12.10 10:50 Сейчас в теме
(3) С замечанием 2 не согласен категорически.
Есть анекдот: "Звонок: Шеф! Будьте осторожнее! - В вашем районе один ненормальный едет по встречке! Ответ шефа: Да какой один! - Их тут сотни!"
Вы один высказываете ошибочное мнение, что "абсолютно полный контроль зацикливания есть абсолютно тупое перечисление циклических путей".
По крайней мере четыре человека в Вашей теме считают по-другому: "абсолютно полный контроль зацикливания есть простое перечисление всех дуг, приводящих к зацикливанию".
Число циклических путей может быть близко к бесконечности. Число ошибочных дуг мало. Их перечисление практически не скажется на быстродействие моей обработки разузлования и других "процедурных" методов, которые на практике в сотни и тысячи раз быстрее Вашего запроса. Все разными словами и разными способами (только на баяне не играли) пытались Вас в этом убедить. Станьте на минутку не писателем, а читателем - ознакомьтесь с нашими доводами! Может быть, наконец, поймете?
Арчибальд; hogik; +2 Ответить
7. Ish_2 1052 11.12.10 11:29 Сейчас в теме
(6) Для выяснения спорных вопросов и нужно тестирование. Оно состоялось. Результаты Вы знаете.
Жаль, что до конца мы не выяснили этот вопрос.
8. Sk0rp 115 11.12.10 17:04 Сейчас в теме
ИМХО, достаточно было просто написать, что это hash-map
Silenser; +1 Ответить
9. Русский 12.12.10 07:44 Сейчас в теме
Поменьше увлекайтесь коллекциями значений! А то уже надоело плеваться при виде кода, в котором данные самым апендицитным образом прогоняются через кучу коллекций значений, вместо того, чтобы грамотно быть извлеченными из ИБ, и воспользоваться универсальными способами(типа ЗаполнитьЗначенияСвойств()).

P. S. в 8.2 самой частоиспользуемой универсальной коллекцией должна быть структура.

P. P. S. соответствие, наряду с быстродействием при извлечении данных из нее, проигрывает в быстродействии записи данных в оную по сравнению с той же структурой... Проще говоря, если есть некий массив данных, для которого требуется многократный поиск по значению, то стоит пользоваться соответствием, а если не требуется такого интенсивного, многократного поиска, то лучше воспользоваться другими коллекциями...
10. ildarovich 6997 12.12.10 11:44 Сейчас в теме
(9) Вы сделали правильные выводы. Крайностей быть не должно. Я тоже не призываю использовать соответствие вместо структуры. В приведенном коде, например, структура замечательно подошла для передачи параметров в функцию "ПолучитьСлово()".
Что касается "ЗаполнитьЗначенияСвойств()". - Исключительно удобная вещь! Постоянно применяю эту конструкцию. Более того, в исходном варианте статьи был "Вариант 4" для таблицы значений, записанный так, как я обычно делаю:
Строка = ТаблицаЗначений.Найти(Элемент, "Ключ"); 
Если Строка = Неопределено Тогда ЗаполнитьЗначенияСвойств(ТаблицаЗначений.Добавить(), Новый Структура("Ключ, Значение", Элемент, 1)) 
Иначе Строка.Значение = Строка.Значение + 1 
КонецЕсли

В окончательном варианте этот пример, как более медленный (хоть и более красивый), я убрал. Он остался в прилагаемом отчете "БыстродействиеКоллекций"
11. Ish_2 1052 12.12.10 22:31 Сейчас в теме
Проверяя высказывание (9), в задаче заполнения графа интересно было бы сравнение использования Структуры и Соответствия.
Если в БП 1.6 (2.0) поле код уникально в справочнике ,
то вполне можно допустить использование этотого символьного иденификатора для обозначения элемента справочника.
И тогда какой выигрыш дало бы использование Структуры вместо Соответствия ?
19. Русский 13.12.10 11:19 Сейчас в теме
(11) ну я же говорил, в некоторых случаях соответствие лучше структуры.

(13)
artbear пишет:
в итоге в реальной жизни Структура слабо применима

И тем не менее, на структуре в 1С:Предприятии построено куча прикладных механизмов, тот же интерфейс завязан на структурах ;) А соответствие только для специфических целей...

И я же говорю, соответствие - индексированная коллекция, она быстрее других при извлечении данных, но медленнее той же структуры при сохранении данных в нее.

(18) в структуре меньшие накладные расходы на запись данных, в соответствии на чтение, вот и получилось, что они "на равных". Увеличьте количество поисков по коллекции (скажем, в 100000 элементов попытаться найти нужные элементы 3000000 раз) и Вы увидите, как структура отстает.
20. ildarovich 6997 13.12.10 16:18 Сейчас в теме
(11)(19) В примерах, приведенных в статье, использовать структуру просто не получится.
В структуре ключ может быть только строковым и должен удовлетворять требованиям, предъявляемым к именованию переменных встроенного языка.
В хелпе написано, что структура используется для хранения относительно небольшого количества объектов.
Другими словами, если структура - hash-map, то его capacity - ограничено. Проведя эксперименты, получим, что структура может хранить максимум 999 свойств!
В одном из текстов от 1С я видел черным по-белому написанное предостережение от использования структуры в подобных задачах.
Но даже если ограничить число объектов 999, то структура как Вариант 5 отстает. Цифры такие: структура - 8,98 мкс, соответствие - 7,52.
Если есть желание приводить ключи к хорошему типу, используйте тип число и массив! Будет быстрее! Так сделано в тексте статьи [http://infostart.ru/public/78371/]
в варианте "массив".
21. Ish_2 1052 13.12.10 16:21 Сейчас в теме
22. Русский 13.12.10 17:22 Сейчас в теме
(20) ну Вы уж прямо опустили структуру...

Вот только что открыл конфу Управление торговлей 11.0.4.6. И покурил глобальный поиск, вот что он мне показал:
Искать: Новый Структура - 2979
Искать: Новый Соответствие - 215

Не трудно разглядеть, что разработчики типовой УТ используют структуру более чем в 20 раз чаще, нежели соответствие... Это без учета того, что "внутри" формы, параметры формы представляют собой структуру, и не создаются конструктором Новый.

P. S. соответствие не панацея, а всего лишь универсальная коллекция, и не стоит ее сувать куда ни попадя. А данная статья и добрая часть комментариев к ней так и призывают это делать...
23. ildarovich 6997 13.12.10 19:44 Сейчас в теме
(22) Вы первый упомянули здесь (9) про структуру. Я вообще в статье эту коллекцию не рассматривал, считая, что у соответствия и структуры - совершенно разное назначение.
Структура - это модель объекта в оперативной памяти, ее задача придать разнородным данным об объекте необходимую общность, чтобы обращаться с ними как с единым целым.
999 свойств хватит для описания любого мыслимого объекта. На проигрыш долей микросекунд
при более ясном и выразительном коде никто не смотрит.
А соответствие я использовал для ссылок на однородные данные (числа, слова, номенклатура). Ясно, что их может быть гораздо больше 999. Так что никто здесь не умаляет важности и нужности структуры. И приводимая Вами статистика - тому подтверждение.
Pipapalamm; +1 Ответить
38. LordKim 19.07.18 17:41 Сейчас в теме
(23)
Максимальное количество элементов Соответствия 99999 (в платформе 8.3.6)

Это ограничивает использование (например, если с помощью соответствия организовывать поиск по ТЗ в которой больше 100к строк)
39. LordKim 23.07.18 21:22 Сейчас в теме
(38)
Дополнительная проверка (по замечаниям сообщества) выявила что это не так (при тестировании опирался на набор уникальных ключей, количество которых в ТЗ было 99999, хотя строк в ТЗ было больше)
ildarovich; +1 Ответить
24. bulpi 173 15.12.10 11:57 Сейчас в теме
(22)
То, что разработчики типовой используют структуру чаще, чем соответствие, никак не доказывает, что структура лучше :) Скорее, это компрометирует структуру :))
ephemeralin; artbear; +2 Ответить
25. Русский 15.12.10 12:44 Сейчас в теме
(24) :o
Позвольте узнать, каким образом это компроментирует структуру? :)
26. artbear 1180 15.12.10 15:12 Сейчас в теме
28. KliMich 19.09.11 19:29 Сейчас в теме
40. alexsey777 25.02.19 10:38 Сейчас в теме
(22)Ну это объяснимо. УТ 11 построена на управляемых формах. Стало быть нужно передавать данные с клиента на сервер. Собственно для этого идеально подходит структура. Если исходить из вашего комментария выше. Количество элементов небольшое. И читать их на клиенте как правило не нужно. Да и после передачи структуры на сервер как правило извлекать по многу раз данные не нужно.
Можно конечно это решить и через соответствие. Но, как по мне это уже будет избыточно. Использовать соответствие имеет смысл, если ключом должна быть не строка. Но такие случаи весьма редко встречаются. Отсюда и такая разница в использовании. ИМХО
13. artbear 1180 13.12.10 07:47 Сейчас в теме
(9) Структура не так универсальна, как соответствие :(
Ключом структуры не может быть любая строка, а только строка, подходящая для использования в качестве идентификаторе в языке 1С.
т.е. нельзя написать Структура.Вставить("ид с пробелом", 1) или Структура.Вставить("1253", 1) и т.п.
в итоге в реальной жизни Структура слабо применима.
Соответствие надежнее :) + пошустрее будет :)
14. Ish_2 1052 13.12.10 08:03 Сейчас в теме
(13) Ты не погорячился ?
Из твоего поста : Ограничения на значения ключа..Соответствие надежнее.. пошустрее будет ..

Получается что применение структуры избыточно.
Функционал Соответствия полностью покрывает функционал Структуры ,"как бык овцу".
Структура не нужна ? Так ?
15. artbear 1180 13.12.10 08:42 Сейчас в теме
(14) ИМХО конечно, избыточна :)
Возможно, что во внутренностях структуры есть некая оптимизация для использования строк-ключей, но я что-то по тестам ее не замечал :(
12. Арчибальд 2710 13.12.10 07:37 Сейчас в теме
Сам узнал о сравнительной эффективности коллекций из статьи Сергея Осипова
Это то, о чем я подумал, или, пардон, я неправ? :o
16. ildarovich 6997 13.12.10 09:11 Сейчас в теме
17. Арчибальд 2710 13.12.10 09:16 Сейчас в теме
18. Yashazz 3202 13.12.10 09:56 Сейчас в теме
А, снова гений1С... В своё время я замерял на самописной конфе 8.1, так вот структура побыстрее работает, чем соответствие. Точных цифр уже нема, но результат помню. Операций считывания и записи было поровну.
27. Rustig 1419 10.01.11 14:37 Сейчас в теме
...может быть спросить, что "лучше" среди коллекций, у разработчиков 1С, и добавить их ответ в эту статью?
...для нас, внедренцев, платформа - черный ящик. благо, что есть справка по платформе и этот форум. :)
29. Dnki 4 08.05.12 11:49 Сейчас в теме
Спасибо за статью, она избавила меня от экспериментов предполагаемого. Но!
У Соответствия выявилась слабая сторона:
1) В качестве ключа иногда нужен поиск по комбинации нескольких полей. Например: Товар+Склад+Партия.
2) Мне также понадобилось в качестве Значения хранить пару (а может и больше) чисел.
Пытался запихнуть в него Структуру, но отрабатывает молча, а результата не дает, т.к. Соответствие запоминало не копию данных структуры, а ее адрес. В случае с ТЗ для решения задачи я бы создал несколько колонок.

Вывод: Соответствие для простых схем. Или для использования в комбинации с ТЗ.
30. Necytij 22.05.12 23:18 Сейчас в теме
(29) Dnki,
Соответствие не для простых схем. А там где нужно много искать по одноименному ключу.
Две структуры даже с одинаковыми наборами кортежей ключ-значение, различны, как, например, два документа с одинаково заполненными реквизитами. Поэтому соответствие тут ни при чем. )) Тут уже ваша голова подвела.
Если искать нужно по нескольким параметрам, то, пожалуй, лучше индексированная ТЗ. А соответствие полезно там где, нужно часто и быстро находить соответствие одному значению, а если не нужно много раз этого делать и набор данных не ОЧЕНЬ большой, то все равно что пользовать.
Где то встречал совет если не хотите ТЗ, можно сделать соответствием с ключом "значениевстроку(Новый структура("ключ1,..",параметр1,2,..))". Но метод как сейчас показали мне тесты довольно плох. Проигрывает индексированной ТЗ в 1.5-2 раза, хоть обыгрывает не индексированную во столько же.
Заинтересовался немного. Написал обработочку. Берем 1000 поз. номенклатуры, и ищем по совпадении позиций (ссылка, наименование, код). В итоге при поиске 160 000 раз по соответствию получаем около 12.3 сек, из них 10.7 это как раз формирование значениевстроку. Т.е. на сам поиск ушло около 1.5 сек. Для не индексированной ТЗ 18.9 сек. Для индексированной по этим трем столбцам - 5.8 сек.
Для чистоты тут же и обработка.
Прикрепленные файлы:
ПроверкаСоотвПротивИндТЗ.epf
31. Dnki 4 23.05.12 20:16 Сейчас в теме
(30) Necytij, Вы меня просто окрылили! Сами может не подозревая. Значит я на верном пути.
Посмотрел Ваш пример. И мне не понравилось время на преобразование объекта в строку. Поэтому и я протестировал различные варианты и именно этого фрагмента. В файле я привел полный текст (сам отчет не пойдет, у нас разные базы). А коротко, я сравнил именно такие команды:
1) Идентификаторы:
Функция КлючПоискаИдент(П_Товар, П_Склад = Неопределено, П_Партия = Неопределено)
Возврат Строка(П_Товар.УникальныйИдентификатор())+ Строка(П_Склад.УникальныйИдентификатор())+ Строка(П_Партия.УникальныйИдентификатор());


2) В строку
Функция КлючПоискаВстроку(П_Товар, П_Склад = Неопределено, П_Партия = Неопределено)
Возврат ЗначениеВСтрокуВнутр(Новый Структура("Товар,Склад,Партия", П_Товар, П_Склад, П_Партия));

3) В строку, вариация. Сама структура создана вне цикла.
Функция КлючПоискаВстр2(П_Структура)
Возврат ЗначениеВСтрокуВнутр(П_Структура);

Так и есть! ЗначениеВСтрокуВнутр медленнее раза в 2-3 чем сложение идентификаторов. Да и, наверное, строка более длинная.
А вот предположение потерь от создания объекта Структура подтвердилось частично. Время ускорилось лишь на 1/3.

Вывод: Разумеется использование индексированной таблицы более толково, системно. Но комбинированная строка - вполне приемлемо. Особенно, если число обращений невелико.
Прикрепленные файлы:
ПреобразованиеВстроку.txt
32. Necytij 23.05.12 21:12 Сейчас в теме
(31) Dnki,
Не подумал сразу что следует для ускорения вынести инициализацию структуры из цикла. НО все же ваш 3й вариант, не совсем верен, вы в цикле должны были переопределять заново параметры для текущего поиска, вы ведь не одну и ту же позицию искать будете. Так что выигрыш от вынесения из цикла инициализации будет еще меньше чем 1/3. А так удачи вам в созидании отчета. Если будет еще полезная информация по этой теме - поделитесь, пожалуйста...
33. Жолтокнижниг 250 13.11.12 19:29 Сейчас в теме
Каждый тип данных заточен под определенные задачи, и спорить что лучше, что хуже не имеет смысла. Основные преимущества соответствия перед другими(на мой взгляд) почти любой тип ключа и скорость поиска. И исходя из этого надо думать где и как применять.
34. DrAku1a 1314 14.11.12 08:54 Сейчас в теме
Про коллекции и про их быстродействие уже немало сказано:

http://infostart.ru/public/142517/
http://infostart.ru/public/116404/
http://infostart.ru/public/105104/

В двух словах:
Самый быстрый поиск => Соответствие
Моделирование данных* => Структура
Представление пользователю => СписокЗначений, ТаблицаЗначений, ДеревоЗначений
Прочие нужды => Массив.
*-Организованное хранение и удобное обращение в коде к данным как к реквизитам, возможность использовать ЗаполнитьЗначения()

Удобно!
Synoecium; nixel; VZhulanov; wowik; +4 Ответить
35. chemezov 30 22.11.12 09:35 Сейчас в теме
36. mec 22.03.13 10:49 Сейчас в теме
Отличная статья.
Уже много лет кодирую на 1С, но вот соответствиями как-то пренебрегал. Теперь буду стараться чаще его использовать в своих работах. Сергей, спасибо за преподнесенный материал
37. Foma4382 08.08.13 23:27 Сейчас в теме
Познавательная статья. Спасибо!
Оставьте свое сообщение
Новые вопросы с вознаграждением
Автор темы объявил вознаграждение за найденный ответ, его получит тот, кто первый поможет автору.

Вакансии

Специалист 1 категории (Методист-аналитик 1С)
Фрязино
зарплата от 100 000 руб.
Полный день

Главный архитектор 1С
Москва
зарплата от 200 000 руб. до 300 000 руб.
Полный день

Программист 1С
Новороссийск
зарплата от 70 000 руб.
Полный день

Ведущий программист 1С
Санкт-Петербург
зарплата от 130 000 руб.
Полный день

Специалист 1 категории (Программист 1С ФЗД)
Фрязино
зарплата от 110 000 руб.
Полный день