PostgreSQL "на стероидах"

Возврат к списку
Записались на вебинар: (547)
31 Марта 2016
17:00-21:00
MSK
PostgreSQL "на стероидах"

Хотите использовать в продуктиве PostgreSQL в связке с 1С? Мы проведем Вас по пути настройки базы с нуля и до "террабайта".



Рассматриваемые практические вопросы:

  • развертывание "с нуля"
    • сборка и подключение модулей
    • настройка PostgreSQL.conf
    • планирование дисковой подсистемы
  • планы обслуживания 
    • бэкапирование
    • регламентные операции
    • ключи тонкого тюнига
  • запуск первых 100 пользователей
    • автоматизированная адаптация под текущую нагрузку 
    • истории с VACUUM
  • мы дошли до 100 GB
    • отсутствующие индексы 1С средствами PostgreSQL
    • автоматическая оптимизация 
    • читаем планы запросов с помощью помощников тюнинга в терминах 1С
  • добро пожаловать в клуб "у нас террабайт"
    • сжатие бинарных данных
    • балансировщики и кластеризаторы
    • мониторинг как отдельный НИОКР

и многое другое.

Дополнительные материалы для менеджеров

  • сравнение плюсов и минусов MSSQL Express и PostgreSQL для небольших фирм

Окружение:

  • Windows
    • Windows Server
    • PostgreSQL - Windows
      • x32
      • x64
  • *nix
    • Nix Server
      • deb пакеты
      • secret - "секретный сервер"
    • PostgreSQL
      • x32
      • x64

Ведущие вебинара:

  • Архитектор
  • Эксперт по производительности
  • DBA

Стоимость участия: 3000 руб.

P.S. Обратите внимание, что можно оплачивать с личного счета Инфостарта, например, после обмена StartMoney на рубли. 

Видеозапись вебинара предоставляется только участникам вебинара в защищенном формате (одна лицензия на компьютер для просмотра только в OS Windows). 

============================

Дополнительные материалы, видеозапись и продолжение обсуждения можно найти в этой группе: http://infostart.ru/community/groups/1196/

Добавить в календарь (*.ics)
Ведущий:
Алексей Лустин lustin
Купить просмотр видео 3000 руб.

Обсуждение

Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. CheBurator 3119 01.03.16 00:22 Сейчас в теме
Будет ли материал полезен для сисадмина фирмы с небольшим количеством работающих (до 30 чел) ?
2. lustin 01.03.16 03:45 Сейчас в теме
(1) CheBurator, конечно.
new_user; djam_arttek; +2 Ответить
3. Snitkovski 88 01.03.16 11:46 Сейчас в теме
зупизднылся я на вебинар! - как посмотреть запись?
4. Snitkovski 88 01.03.16 11:46 Сейчас в теме
припозднился я на вебинар! - как посмотреть запись?
5. lustin 01.03.16 12:30 Сейчас в теме
Назначен на 31 марта ;-) (4) Snitkovski, так что еще не поздно записаться.
20. Snitkovski 88 02.03.16 02:35 Сейчас в теме
(5) lustin, да-а-а, чет я крепко торможу! 8-(
вернулся с Семинара и слег с температурой под 38... 8-((((
6. lustin 01.03.16 12:34 Сейчас в теме
Мы всегда заранее планируем - материалов и скриптов будет много. Потому нужно подготовиться по правильному - через внутреннюю фокус-группу, через проверку материалов на обычных 1С-никах.
Мы же делаем скрипт автоматического запуска и настройки.

Ведущие практикума:

1. Архитектор - 1 штука
2. Эксперт по производительности - 1 штука
3. Linux DBA - 1 штука

;-)
7. CheBurator 3119 01.03.16 13:02 Сейчас в теме
а будет затронут, например, хотя бы кратко вопрос: для небольшой фирмы - преимущества/недостатки с MSSQL EXPRESS.?
8. lustin 01.03.16 13:19 Сейчас в теме
(7) CheBurator, специально для тебя сделаю такую табличку ;-).

Но ты должен понять самое главное - PostgreSQL для 1С БЕЗ стероидов в продуктиве НЕ возможен. Вот стероиды мы и покажем - ERP 2.1 и Комплексная летает ;-)
9. amon_ra 54 01.03.16 13:37 Сейчас в теме
(8) lustin, а под какой ОС это все будет происходить?
10. lustin 01.03.16 14:06 Сейчас в теме
(9) amon_ra, мы люди кроссплатформенные ;-) Linux + Windows.

Но на всякий случай напомню - PostgreSQL под Windows имеет отличия в установке и подключении: мы их отдельно в таблице фиксируем
11. amon_ra 54 01.03.16 14:09 Сейчас в теме
(10) lustin, а сервер 1С какой будет - x64 или x32?
12. lustin 01.03.16 14:32 Сейчас в теме
(11) amon_ra, у нас в работе 4

* Win 32, Win 64
* Linux 32, Linux 64

Linux - deb ориентированный. С RPM разница только к kerberos библиотеках и библиотеках icu, поэтому разница НЕ принципиальна.

В целом влияние архитектуры сервера 1С незначительная, хотя есть особенности - мы о них поговорим.

А вот между 8.3.* и 8.4.* разница ощутимая. Но к теме PostgreSQL относится опосредовано.
319. suhoi 25 31.03.16 15:53 Сейчас в теме
(10) lustin,
А будут ли доступны какие-то материалы в электронном виде (к примеру таблицы) для участников вебинара?
320. GROOVY 2505 31.03.16 15:58 Сейчас в теме
(319) suhoi, мы подготовим материалы, которые сочтем уместным автор, и разместим их в открытом или закрытом формате по ссылке вебинара.
19. CheBurator 3119 01.03.16 22:34 Сейчас в теме
(8) спасибо
200. sanfoto 502 25.03.16 10:11 Сейчас в теме
(8) lustin,
"...летает ;-)...."

угу только значительно ниже чем MS SQL через SharedMemory )))
203. ansh15 25.03.16 11:03 Сейчас в теме
(200) sanfoto, во сколько раз "значительно ниже"?
206. sanfoto 502 25.03.16 14:38 Сейчас в теме
(203) ansh15,
203. ansh15 25.03.16 11:03
(200) sanfoto, во сколько раз "значительно ниже"?

Все зависит от задачи...
На наших задачах от "SharedMemory" отстает примерно на 50% , что примерно равно в случае "MS SQL на комп1"<---Ethernet--->"Сервер 1С на Комп 2"
207. dmpas 417 25.03.16 14:41 Сейчас в теме
(206) sanfoto, а postgres как настраивали?
208. sanfoto 502 25.03.16 14:51 Сейчас в теме
(207) baton_pk,
Давно это было... с сисадмином всяко разно мутили

Не суть важно...

Важно что система 1С - это ORM (система "Объектно Реляционной Модели") - т.е. хранится все в плоском виде в таблицах SQL и движком постоянно производится Сборка/Разборка этих объектов - т.к. бизнес логика обрабатывается в самом "Объектном движке 1С".... получается критичны задержки "SQL"<-->"Сервер 1С".

Один из вариантов уменьшения задержек - по максималке исключать сетевые интерфейсы...

Короче чудес не бывает все почти также как и с 1с 7.7 ))))

пс:
Можно конечно Бизнес логику перевести полностью на сторону SQL (Все на прямых SQl запросах включая Запись)... но это

1) нарушение лицензионого соглашения
2)Нужен гениальный SQL прогер в "пожизненном рабстве на данной работе" ))
209. dmpas 417 25.03.16 15:04 Сейчас в теме
(208) sanfoto,
Не суть важно...

не далее, чем на той неделе был случай: в боевой базе (MSSQL 2012) запрос отрабатывает за полсекунды, на тестовой (Postgres) уходит в себя на минуту с бешеной загрузкой оборудования. Поковырял настройки - работа выровнялась :)

Так что, важно. Да и автор вебинара пишет прямо:

PostgreSQL для 1С БЕЗ стероидов в продуктиве НЕ возможен
210. sanfoto 502 25.03.16 15:11 Сейчас в теме
(209) baton_pk,
PostgreSQL

неплохой движок но только если ВСЯ Бизнес логика будет на нем крутится))
Вы кажется суть про ORM не уловили))

пс:
https://ru.wikipedia.org/wiki/ORM
211. dmpas 417 25.03.16 15:47 Сейчас в теме
(210) sanfoto,
что такое ORM, я знаю, но суть вашего высказывания и правда не уловил.
13. dmpas 417 01.03.16 15:16 Сейчас в теме
дифф-бэкапы? докер? описание патчей от 1С?
14. lustin 01.03.16 15:25 Сейчас в теме
(13) baton_pk, конечно - еще и балансировщик. Я же написал "на стероидах".
15. headMade 144 01.03.16 17:47 Сейчас в теме
Если нет возможности смотреть онлайн, то будет потом возможность посмотреть видеозапись вебинара?
17. lustin 01.03.16 19:39 Сейчас в теме
(15) headMade, обычно мы так и делаем - другое дело, что материал эксклюзивный, поэтому распространение записи вебинара будет персональным: тем кто зарегистрировался НО не смог поучаствовать в онлайне.
36. mike_grig 120 04.03.16 07:24 Сейчас в теме
(17) lustin, запись будет предоставляться по запросу? я на начало точно не успею да и разница во времени +2МСК
37. lustin 04.03.16 07:32 Сейчас в теме
(36) mike_grig, запись будет обязательно, и конечно по запросу.
76. djam_arttek 16.03.16 13:26 Сейчас в теме
(37) lustin, а для повторения материала? Ведь не все же запомнишь...
229. RealEscander 496 28.03.16 09:15 Сейчас в теме
(17) lustin, куда запрашивать? Запись единственный приемлемый вариант (окончание вебинара в час ночи по местному не накануне выходного - тяжеловато будет для восприятия)
16. ewqewqewq 01.03.16 19:00 Сейчас в теме
ну и где материал. В студию!!
18. lustin 01.03.16 19:42 Сейчас в теме
(16) ewqewqewq, расшифруйте пожалуйста - вы хотите чтобы мы выложили материалы вебинара, для тех кто на него НЕ зарегистрировался ?
На мой взгляд - это не приемлемо. Уважайте труд людей - нажмите кнопку "купить" и к 31 марта вы получите полный комплект стероидов PostgreSQL для 1С.
21. ixijixi 1775 02.03.16 11:49 Сейчас в теме
(18) lustin, понимаю, что вопрос не совсем не по адресу, но можно ли оплатить с внутреннего кошелька ИС? (старманями или рублями). В списке способов оплаты не нашел
22. headMade 144 02.03.16 13:03 Сейчас в теме
(21) the1,
Поддерживаю вопрос.
Я раньше еще сюда кинул аналогичный http://forum.infostart.ru/
23. lustin 02.03.16 19:05 Сейчас в теме
(21)(22) я так понимаю - это вопрос к Павлу Чистову больше. Я при случае у него спрошу.

Меня другое волнует - внезапно выяснилось что 31 март будет http://www.1c.ru/rus/partners/training/uc1/course.jsp?id=199
Сдача экзамена очень важна - поэтому от будущих экспертов поступило предложение перенести с 31 марта на 1 апреля на то же время

Что скажете ? Причем меня больше интересует мнение уже зарегистрированных.
26. dmpas 417 02.03.16 23:08 Сейчас в теме
(23) lustin, Сдача экзамена только в первый день. 31 будет неудобно разве что иногородним сдающим. как мне кажется.
27. lustin 03.03.16 01:04 Сейчас в теме
(26) baton_pk, точно - я забыл.
28. lustin 03.03.16 09:27 Сейчас в теме
(26) baton_pk, тогда пока дергаться не будем: 31-ое хорошее число. Так и оставим.
29. lustin 03.03.16 09:57 Сейчас в теме
(21) the1, выяснил - с помощью startmoney оплачивать нельзя и походу возможность не появится.
30. headMade 144 03.03.16 10:23 Сейчас в теме
(29) lustin,
насчет startmoney и так понятно. Но если startmoney продать на бирже и на счете будут видны рубли, то почему этими рублями расплатиться нельзя. Сейчас получается их надо выводить на YAmaney и с этого кошелька оплачивать. Вот в чем вопрос.
31. ixijixi 1775 03.03.16 11:26 Сейчас в теме
(29) lustin, спасибо. Но про рубли реально непонятно. У меня на ИС-счету есть рубли, так почему бы их не использовать, чтобы не терять на комиссии.
194. support 4484 23.03.16 23:26 Сейчас в теме
(31) the1, сделали оплату с личного счета
24. ZaPaSoff 02.03.16 20:48 Сейчас в теме
Добрый день.
Лично я думаю вебинар можно перенести. Я запишусь на любую дату.
25. Snitkovski 88 02.03.16 22:46 Сейчас в теме
на вечер пятницы - конечно - тяжеловато будет для восприятия... 8-(
но все равно приду - сейчас ищу способ пропихнуть оплату
32. mikhailv 19 03.03.16 12:39 Сейчас в теме
Алексей, скажите, пожалуйста, на семинаре будет рассмотрено построения отказоустойчивого кластера master-slave с выбором баз для репликации? (Postgree из коробки только все базы может синхронизировать). Например, чтобы можно было на одном slave-сервере с одним инстансом при помощи log-shipping (термин MS) собрать копии нескольких баз, размещенных каждая на своем master-сервере?
В свое время не смогли эту задачу решить и отказались от Postgree (см. например http://infostart.ru/public/21973/ ) в пользу DB2. Возможно, вы нашли подходящие стероиды:)
33. lustin 03.03.16 13:54 Сейчас в теме
(32) mikhailv, это простая классическая задача - есть самый лучший "стероид" для этого. К 25 марта я добавлю материалы к семинару для участников - там это будет отражено.
А c DB2 это "вы жестко".
231. Novikoff 28.03.16 09:40 Сейчас в теме
(33) lustin, материалы будут выкладываться? 25 марта обещали.
34. milo1 1 03.03.16 16:13 Сейчас в теме
Будет ли сравнение производительности Postgres vs MSSQL? Естественно после стероидов.
35. lustin 03.03.16 18:09 Сейчас в теме
(34) milo1, это же холивар. Я бы не хотел на этом останавливаться. В таком случае придется переводить вот этот сайт http://www.pg-versus-ms.com/, и еще много материалов из сети.

Это вообще больше менеджерский вопрос - что использовать MSSQL или PostgreSQL. Тем более в связке с 1С.

Важно понимать:

1. что эффективная архитектура для PostgreSQL <> эффективной инфраструктуре для MSSQL - поэтому методика такого сравнения у нас всегда заточена "на деньги". Мы пробовали проводить такое тестирования - и во всех случаях, после того как в тестировании побеждал тот или иной движок СУБД нашим DBA на основе тестов всегда удавалось "подкрутить" проигравшего так, чтобы он уже выигрывал.

то есть - сравнение производительности двух движков вырождается в сравнение компетенции двух DBA. А так как мой соведущий DBA знает и MSSQL и PostgreSQL - то единственное что он сможет показать в какой области он компетентней.

2. версия платформы и версия PostgreSQL очень важна. На вебинаре 20 минут будет потрачено на примеры анализа улучшений в последних версиях 1С и PostgreSQL. Это обязательный момент. Потому что 1С 8.2 + PostgreSQL 9.2 это совершенно другая конструкция нежели чем 1С 8.3.7.1917 + PostgreSQL 9.4.2 (кстати я ожидаю результатов улучшений по последней версии платформы - заявлено что улучшение на 70%, хотим это подтвердить к вебинару)

Давайте договоримся - MSSQL чудесная система, в связке с 1С позволяет работать в стиле "установил и забыл" и вообще не читать книжек. PostgreSQL в связке с 1С такой поблажки не дает - собственно для того чтобы этого добиться и создан данный вебинар.

Сравнение плюс и минусов для небольшой фирмы как и обещано сделано в виде таблички.
Но на этом всё - устраивать 4 часа холивара на тему MSSQL vs PostgreSQL это контрпродуктивно.

P.S. И вообще - PostgreSQL это теперь СУБД в реестре национального ПО. А MSSQL там нет - вот и всё сравнение. ;-)
Fox-trot; djam_arttek; Upiterus; GreenDragon; audion; ixijixi; +6 Ответить
38. milo1 1 04.03.16 14:46 Сейчас в теме
(35) lustin, спасибо большое за развернутый ответ. Переформулирую вопрос - возможно ли добиться схожей (+/- 25%) производительности на постгре при схожем оборудовании? Сейчас конфигурация 1С8.2 комплексная автоматизация, планировал переход на платформу 8.3.
39. lustin 04.03.16 21:58 Сейчас в теме
(38) milo1, писал длинный ответ. Потом понял - что просто добавлю в вебинар стандартный план по переходу c MSSQL на PostgreSQL (наш стандартный чеклист). Иначе ответ превратится в статью.
40. Гость 06.03.16 11:52
Вот господа с https://www.postgrespro.ru/ адаптировали для работы с 1С версию 9.4.6. Они говорят, что в ней все куда стабильнее, чем в 9.4.2, которая представлена на сайте 1С. Планируете рассказать о ней? Что-то делали с ней?
41. lustin 06.03.16 15:58 Сейчас в теме
(40) Гость, отвечу коротко: делали, расскажем, это не адаптация - в реальной работе использовать с осторожностью.
42. Гость 06.03.16 16:11
(41) lustin, не совсем понятно, что Вы имеете ввиду под словами "это не адаптация", если авторы, в частности тут, привели ссылку (1-й комментарий) на совместимый с 1С вариант билда. По этой ссылке написано следующее:
В установочные пакеты включены изменения, предоставленные компанией 1C.

Т.е. они накатили патчи от 1С на 9.4.6 и собрали. Что это, если не адаптация?
44. lustin 06.03.16 16:24 Сейчас в теме
(42) Гость, неприятно что вы пишите что-то анонимно. Но я отвечу.

Самое опасное, что можно сделать - это считать что достаточно просто собрать PostgreSQL с патчами от 1С и все сразу полетит.

Хуже того утверждение "изменения сделанные компанией 1С" включены в сборку. Давайте чуть подробней - а Вы знаете ЧТО это за изменения и почему они сделаны.


max_locks_per_transaction = 150 #default 64


Одно из моих любимых. Это волшебное "150".
45. Гость 06.03.16 16:37
(44) lustin, ну как бы "максимальное количество блокировок в транзакции" - это такой волшебный показатель? Вы качали исходники postgresql отсюда: http://www.postgresql.org/ftp/source/v9.4.2/? Там лежат те же самые исходники, что и тут в файле http://v8.1c.ru/overview/postgresql_patches/9-4-2/postgresql-9.4_9.4.2-1.1c.deb.zip - md5 этих файлов равны. На странице http://v8.1c.ru/overview/postgres_patches_notes.htm лежат патчи от 1С. В файле postgresql-9.4_9.4.2-1.1c.deb.zip они тоже есть и накатываются через apt-source. Для rpm-дистрибутивов то же самое - файлы одинаковые.

Это о чем говорит? О том, что 1С взяла релиз исходников постгреса отсюда: http://www.postgresql.org/ftp/source/v9.4.2/ и доработала свои патчи под этот конкретный релиз, после чего выложила в deb.zip и rpm файлах. Я смотрел внимательно исходники и патчи - там просто дополнение для контриба и изменение конфигурационных файлов (кое-что, кстати, приходится потом менять ручками, ибо часть патчей 1С-ники видимо не проверяли, в частности путь к сокету для deb-систем, который 1С-ники почему-то меняют на /var/proc/...).

PS: никаким местом не отношусь к этим продавцам постгрес.про, но интересно, что такое "это не адаптация", если исходники что на сайте 1С, что на сайте postgres.org - одинаковые, а патчи с 9.4.2 на 9.4.6 адаптировать совершенно не проблема.
46. lustin 06.03.16 18:54 Сейчас в теме
(45) Гость, чтобы ответить - мне придется раскрыть часть "стероидов вебинара". Но я попробую.

Итак - научится собирать из исходников postgresql с патчами от 1С - это даже не проблема. Это просто первый шаг при использовании PostgreSQL для 1С в production. Это я бы сказал базовое знание для любого DBA кто собирается использовать PostgreSQL в продуктиве для 1С.

Сделать то что сделали PostgrePro - также не проблема.

1. Нужно взять Jenkins + парочку плагинов (например такой https://wiki.jenkins-ci.org/display/JENKINS/Debian+Package+Builder+Plugin)
1.1 для сборки под Windows легче всего использовать Windows слейвы для сборки.
2. Написать 2 bash(zsh) скрипта - по патчингу исходников.
3. Поднять http://www.aptly.info/ для deb или аналог для RPM

В качестве заметки я своё время давал ссылку на статью на Хабре про Gentoo - http://www.silverbulleters.org/ne-obizhayte-linux-oida-ili-osobennosti-patcha-1s-dlya-postgresql/
Одна из моих любимых в этом вопросе.

https://habrahabr.ru/sandbox/23006/ - Gentoo просто очень "красноглазый", что позволяет через "боль" изучить особенности патчей 1С.

И вот вы собрали postgreSQL для 1С для пакетных менеджеров... И в принципе можете заявить, что... Вы адаптировали PostgreSQL для 1С.

Однако как только вы запустите, например, в продуктиве ЗУП 2.5 на этой сборке - через сутки у вас возникнет проблема. Табель по одному сотруднику будет формироваться 15 минут, а по всем сотрудникам 2 минуты. Количество сотрудников в рассматриваемой мною базе - 2500. Срок ведения учета 3 года. Для ЗУП 3.0 ситуация будет такой-же. Даже переход на КОРП вас не спасёт.

В 90% ситуаций - люди делают вывод что ЗУП не адаптирован для PostgreSQL. И этот вывод ошибочный.
Дело в том, что стоковый postgresql.conf для ЗУП содержит одну потенциальную бомбу - которая чинится небольшим изменением одной настройки. ;-)

Выявить подобное позволяет один широко известный в узких кругах калькулятор для новичков в PostgreSQL ;-). Почему он только для новичков мы с коллегами расскажем на вебинаре.

В связи с вышеизложенным :

* сборка Postgresql из исходников не является адатацией для 1С
* адаптацией для 1С PostgreSQL является комплект инструментов с конфигурационными скриптами необходимых к использованию в реально продуктивных базах.
47. ansh15 06.03.16 20:19 Сейчас в теме
(46) lustin, вы про это http://forum-1c.ru/index.php?topic=38958.0 и https://bugboard.v8.1c.ru/error/000002673.html ?
Проблема там решилась, http://forum.infostart.ru/forum16/topic134886/message1506475/#message1506475 посты 20 и 23. Решение оказалось не в "волшебных пилюлях для спортсменов",а просто в более оптимальном запросе.
На мой субъективный и скромный взгляд, это основной "стероид", и "давать" его надо, скорее, конфам и серверу приложений 1С. Это, наверное, касается работы 1С со всеми СУБД, в той или иной мере.
Хотя, оптимизатор PostgrеSQL, тоже, конечно, не идеален, но, как пишут, "работы по улучшению ведутся".
49. lustin 07.03.16 01:49 Сейчас в теме
(47) ansh15, Нет - не совсем. По ссылкам перепроведение идет, я же про чтение.

(48) Гость, я давно использую пасхальные закладки/опечатки в публичных блогозаписях - так становится понятно, кто читает, а кто нет.
48. Гость 06.03.16 21:01
(46) lustin, ну вы хотя бы в статье не позорились бы и все-таки "fastrun" (типа быстро бегать, да?) поменяли бы на "fasttrun" (fast truncate), а то как-то глаз резануло )))

Короче, я все о Вас понял. Спасибо за ответы )))
50. lustin 07.03.16 02:53 Сейчас в теме
(48) Гость, кстати Вам спасибо... Вы своими вопросами навели меня на интересную мысль. Поискать mchar, **fastrun** и остальное на github. Точнее расширить строку поиска - для автоматизированного оповещения.

Вот что было найдено

https://github.com/postgrespro/pgwininstall - как раз репозиторий PostgresPro, для сборки под Windows. Самое полезное - это cmd файлы
https://github.com/antioff/afalina/tree/master/app-office - emerge примеры.
https://github.com/vadv/1c-build-tmp - ну и это... тут совсем классно.

(13) обрати внимание на последнюю ссылку - очень интересно. Я думал только мы увлечены "докером". Там конечно не alpine, но всё же. Можно будет объединить скрипты сборки, точнее портировать их на alpine package и сравнить получившийся image. К марту я думаю успею посмотреть примеры.

UPD - найденное добавлено сюда https://github.com/allustin/awesome-1c
43. lustin 06.03.16 16:17 Сейчас в теме
(40) Гость, надеюсь вы НЕ из отдела продаж postgrepro - а то они последнее время активизировались. Если это так - то скажу Вам чуть подробней.

в сборке postgresqlpro - нет ничего адаптированного для использования с 1С. Ни одного "стероида". После установки postgresql.conf приходится сразу менять под правильное поведение с 1С, причем учитывать - версию платформы и конфигурации которые будут использоваться.

Особенно весело получается когда на одном сервере СУБД - будет несколько баз, например УТ и БП. Или Fresh... С Fresh вообще веселье применительно к postgresql.

Поэтому не обижайтесь - но пока postgrespro совершают классическую ошибку DBA от Microsoft. Они воспринимают 1С как обычное приложение, которое что-то пишет в базу.
54. Gilev.Vyacheslav 1910 10.03.16 10:14 Сейчас в теме
(43) lustin, не думаю, мы плотно с ними общаемся, поскольку перешли на их сборки
56. lustin 10.03.16 14:01 Сейчас в теме
(54) Gilev.Vyacheslav, мы тоже вначале перешли на их сборки на dev и uat контурах. Собственно dev и uat контура и сейчас на их сборках.
Однако я в ближайший месяц и от них откажусь, в целях оптимизации мы перейдем на свои легковесные сборки. Deb и Rpm пакеты вызывают создание слишком больших образов сервисов

В продуктиве НЕ переходили - продуктив собирается вручную через DevOps утилиты под определенное ядро и с нужными нам патчи из сторонних модулей.

Про pgConf не понял - я видел доклада Дмитрия и Петра и остальных по тэгу 1С. Но это же больше маркетинг был. Интересней было на партнерской по этому поводу.
59. Gilev.Vyacheslav 1910 10.03.16 17:11 Сейчас в теме
(56) lustin, на счет маркетинга не знаю, мы вроде ничего не подавали на PgConf, а только рекомендовали "попробовать 9.4"
запись смысл есть отгружать только заставляя человека проделать практикум в предварительно подготовленной виртуалке,
т.е. за деньги заставить человека получить опыт (в полезных практически для 1С-х навыков) а в довесок что угодно - методичку, видео, стихи...

ПостгресПро как раз отлично понимают что их успех связан с успехом применения 1С и в каком направлении идти, по моему правильно в приоритет была поставлена надежность, я до сих пор помню как из дампа данные "не поднялись" )))

Ну и большая прозрачность процессов, включая новый pg_stat_get_progress_info
60. lustin 10.03.16 20:34 Сейчас в теме
(59) я понял - тебе видней. Спорить не буду.
66. Gilev.Vyacheslav 1910 11.03.16 12:27 Сейчас в теме
(60) lustin, ну если сравнивать "постгрес профессональный" и "постгрес консалтинг" внимательней (это основные игроки российского рынка), то выше сказанное тобой скорее относится ко вторым

на текущий момент "дилетанту 1Ску" имхо лучше всего как раз подходит сборка PosgresPro 9.4 http://www.postgrespro.ru/products/1c_build

но это мое личное мнение, его не навязываю

p.s. ко мне вопросы лучше писать http://www.gilev.ru/forum/
68. lustin 11.03.16 12:41 Сейчас в теме
(66) а я с тобой полностью согласен - "1С PostgreSQL дилетанту" лучше сразу идти на сайт PostgreSQL.pro И подписываться на RSS. Там еще в этом году начались тренинги практические для DBA - это для тех кто хочет уйти из мира 1С в волшебный мир СУБД.

С другой стороны у PostgreConsulting на текущий момент была выше компетенция по администрированию окружения PostgreSQL - диски, ядра и т.д. За ними тоже нужно подсматривать.
Есть еще несколько (6 компаний) которые также публикуют свои наработки.

Собственно - это один из тех стероидов которые мы используем: "Список того, на что нужно подписаться, чтобы отслеживать интересное и подключать к своему проекту"
61. starik-2005 3033 10.03.16 20:54 Сейчас в теме
(59) Gilev.Vyacheslav, кстати, я тут откомпилировал постгрес с ключами "-O3 -flat -march=native", в итоге у меня pgbench выдал такой TPC:
K53SC:~$ /usr/local/pgsql/bin/pgbench -U postgres -c 10 -j 10 -t 23333 -h /tmp
starting vacuum...end.
transaction type: TPC-B (sort of)
scaling factor: 100
query mode: simple
number of clients: 10
number of threads: 10
number of transactions per client: 23333
number of transactions actually processed: 233330/233330
latency average: 0.000 ms
tps = 10529.387723 (including connections establishing)
tps = 10532.861732 (excluding connections establishing)
Показать


При том Ваш тест дает что-то в районе 13-16. Можно вкратце узнать, какие характеристики для него важны?

При этом проц грузят в основном rphost'ы 1С. Полагаю, если разделить 1С-сервер и машину с постгресом, то результат будет куда интереснее...

ЗЫ: Да, без -flat было около 9к, а без -native и -О3 - вообще не больше 8к. При том Ваш тест во всех случаях показывал от 13 до 16 - раз от раза разные цифры.
62. lustin 10.03.16 21:11 Сейчас в теме
(61) starik-2005, я можно не в этой теме спрашивать ?
63. starik-2005 3033 10.03.16 21:13 Сейчас в теме
(62) lustin, хорошо, больше не буду )))
65. Gilev.Vyacheslav 1910 11.03.16 12:20 Сейчас в теме
(61) starik-2005, у теста есть погрешность в несколько баллов
почему он дает такие баллы наш тест не знает - он просто засекает объем работы в единицу времени
тест синтетический и не покрывающий все случаи, т.е. например он НЕ делает объемного тестирования (т.е. в силу маленьких размеров он может тупа попасть в кэш контроллера)
для теста важны частота процессора, скорость записи диска, время отклика сети, частота памяти
55. Gilev.Vyacheslav 1910 10.03.16 10:16 Сейчас в теме
(43) lustin, ты на PgConf был?
51. izofen 13 09.03.16 09:46 Сейчас в теме
Хорошая тема. Если ли возможность участникам семинара выслать вам вопросы на которые хотелось получить более подробные ответы?
52. lustin 09.03.16 18:18 Сейчас в теме
(51) izofen, пожалуйста - только давайте в виде личных сообщений наверное... или по адресу team@silverbulleters.org - тогда вся команда получит.
53. dmtrpv 65 10.03.16 09:05 Сейчас в теме
А если нет возможности участвовать, запись потом можно будет бесплатно посмотреть или купить?
58. lustin 10.03.16 16:53 Сейчас в теме
(53) dmtrpv, я не очень люблю распространять запись "потом" без коммуникации со слушателями. Поэтому я и сторонник вебинаров/практикумов - в случае просмотра записи в рамках вебинара, у просматривающего есть возможность прокомментировать в общей группе или задать вопрос. Даже когда он пересматривает запись - есть возможность просмотреть статические материалы и чат с остальными.

А когда запись распространяется отдельно от Вебинара - получается плохо.

Ну и есть мое любимое Российское ноухау - покупать запись, устанавливать проектор в переговорках и смотреть всем коллективом и потом всем коллективом задавать вопросы.
Таким любят промышлять менеджеры - они покупают запись, хотя сами руками делать не будут. Добровольно принудительно берут своих сотрудников и заставляют их просмотреть запись - в итоге когда реальный сотрудник который что-то будет делать"руками" начинает испытывать первую "боль" ему некому помочь, а менеджер выступает только как испорченный телефон.

Поэтому - лучше записываться как участник вебинара, просмотреть его запись (а она будет) и через Инфостарт платформу задавать вопросы. Отдельно запись распространять - как это мы делали в прошлом году: такого не будет. Проще записать видеокурс с нуля.

P.S. Кстати - а это идея. (55) Gilev.Vyacheslav, - как думаешь видеокурс нужен ? может создадим как тогда с MSSQL ? Предлагаю обсудить в личке.
CheBurator; +1 Ответить
64. dmtrpv 65 11.03.16 08:30 Сейчас в теме
(58) lustin,
Понимаю, но уж больно неудобное время вебинара. Будний день, начало в 17.00.
Я в это время еще работаю часа полтора и возможности никак нет присоединиться.
А почему не выходной выбран?
67. lustin 11.03.16 12:33 Сейчас в теме
(64) dmtrpv, так запись будет доступна в самой платформе вебинаров с чатом. Я выше говорил про отдельное распространение, отдельно от Инфостарта.

Что касается времени - то выбор был сделан по внутреннему голосованию. Идея в том, чтобы полученные скрипты и модули в пятницу попробовать на работе. А в выходные начать задавать вопросы. То есть план следующий:

1. четверг - сам вебинар + чат в онлайне.
2. пятница - пересмотр на работе, чат в рамках платформы.
3. суббота и воскресенье - чат в рамках платформы для тех кто вместо семейной жизни любит поковырять интересное.
djam_arttek; +1 Ответить
57. lustin 10.03.16 14:08 Сейчас в теме
с PostgrePro есть маленькая проблема - они просто НЕ одни в этой нише. Есть еще куча консалтинговых фирм - и у каждой есть свои контрибьюторы ядра. В реальном продуктиве приходится смотреть за активностью каждого консалтера http://www.postgresql.org/support/professional_support/europe/

Я в свое время по ленте G+ запускал например вот такое https://github.com/dalibo/hypopg - тема холиварная, но пока они там спорят, мы прикрутили и радуемся.

Например делюсь - после создания базы я давно использую принудительный pg_prewarm на системных таблицах 1С (Config*) после каждого деплоя. И подсмотрел я это у консалтеров из http://2ndquadrant.com/en/
69. audion 11.03.16 16:27 Сейчас в теме
Здравствуйте, Алексей, давно уже ждал хотя бы чего-то подобного, очень хорошо, что вы решили провести такой вебинар. Если можно, пару вопросов о содержании.
1. Будет ли (хотя бы вкратце) обсуждение/рекомендации по железу, в т.ч. применительно к величине базы и количеству пользователей, особенно интересуют рекомендации по дисковой, может, даже готовые решения, а также по очень частому вопросу - что лучше, меньше ядер, но выше ТЧ, или наоборот;
2. насчет 32-битных платформ, не знаю, ИМХО это детский сад, разве есть какой-то практический смысл в их использовании применительно к 1С;
3. будут ли освещены вопросы с выделением отдельных серверов для БД и для платформы 1С, скажем, когда это следует делать, какой ожидать прирост производительности и т.п. Просто экспериментировать не всегда удается, может, Вы поделитесь имеющимся опытом;

И что касается записи, очень бы хотелось иметь возможность еще раз-другой-третий пересмотреть, т.к. конечно же с первого раза все не зафиксируется и не отложится в голове.

Книжка Г. Смита за отдельный стероид считается? Или это витамин?

Кстати, название типа "1С:лон на стероидах" вполне себе даже брэнд :-)
70. lustin 14.03.16 14:37 Сейчас в теме
(69) Приветствую.

Витаминки по Postgre - это не только товарищ Смит, но и вся литература И ссылки тут https://wiki.postgresql.org/wiki/Performance_Optimization.
Но важно понимать - очень опасно смотреть на бандл 1С+PostgreSQL только со стороны СУБД.

;-) А так конечно - прочтенье такой книги один из ключевых моментов, если заниматься POstgreSQL по серьезному. Но к 1С это мало относится, а больше именно к тонкому тюннингу.

Теперь коротко и по пунктам:

1. рекомендации по железу - конечно будут рассмотрены, но тут нужно понимать:

* я последнее время "заигрался" в виртуализацию (когда у тебя в работе 100 баз, и на каждую по 4 контура - приходится) - поэтому я буду больше рассказывать про запуск на виртуализованных архитектурах и какие есть особенности
* в противовес мне - будут участвовать DBA, который в гробу видал мои игры с виртуалками и дай ему волю - он бы все на железе сделал. Именно он знает стероиды по дискам и железу.

2. 32 битные платформы имеют смысл, только когда используются на НЕ продуктивных контурах и когда нужно рассмотреть разницу поведения - а она есть. Это так сказать - для понимания разницы.

3. Вопрос разнесения по сети PostgreSQL и 1C на разные контура - это очень опасная тема. Есть программы которые "показывают красиво" где проблемы в такой связке - если они существуют. Есть наработки как настраивать линковку между 1С и PostgreSQL и почему так сделано. Это я покажу, да и Денис тоже эту тему любит. С другой стороны - вы же знаете - для снижения рисков, люди не заморачиваются.

Последний кейс (буквально 2 недели назад) - увеличилась база и количество пользователей.

* люди просто купили сервер за 80 килодолларов
* установку сохранили старую 1С+PostgreSQL на одном сервере.

И даже обосновали что так быстрей и еще и компанию капитализирует, потому как сервер этот как основное средство приняли.

В программу вебинара эта тема (с сетевым взаимодействием не была включена изначально). Я подумаю как это лучше подать, тогда напишу уточнения.
71. audion 14.03.16 15:08 Сейчас в теме
Большое спасибо, Алексей, с нетерпением жду вебинара! Вот еще если бы Вы по мотивам вебинара подготовили более развернутый и обстоятельный курс, часов эдак на 20-40, где все это можно было бы рассмотреть с чувством, с толком, с расстановкой. Мечты, конечно. И книгу бы. Очень надо, просто назрел момент, особенно с нынешним курсом доллара и мелкомягкой политикой лицензирования.
78. lustin 16.03.16 15:53 Сейчас в теме
(71) я последние 3 года подсматриваю за стистикой в русском сегменте

https://wordstat.yandex.ru/#!/history?words=1C%20Postgresql
https://wordstat.yandex.ru/#!/history?words=1C%20linux

Особых увеличений как бы не наблюдается особо.
Предполагаю это из-за необходимости наличия знаний linux как парадигмы архитектурной. Ну и PostgreSQL все же "версионник", когда 10 лет работаешь с блокировочником (MSSQL) мозг у обычного эксперта 1С по производительности "заточен" именно под "блокировочника"

Цель этого вебинара в том числе и социальная - Сделать так чтобы PostgreSQL не казался страшным и уделом "гиков".

(72) я против скачивания записей - я уже написал выше.
Я не понимаю зачем это нужно - запись вебинара будет доступна, одновременно с комментариями.

Как я написал выше - попытку скачивать вебинар я воспринимаю как попытку схитрить и купить один доступ, а посмотреть командой из 100 человек.
Я считаю это неуважением к труду людей. ;-)

Понимаете какая штука - скрипты и всякая остальная стероидная ересь публикуется в режиме OpenSource и подобные вебинары позволяют контрибьюторам использовать арендованную инфраструктуру для проверки.
На подготовку коллеги тратят свое рабочее время или иногда отпуск.

Боязнь что вдруг запись будет недоступна - достаточно странная. Команда Серебряной Пули не раз доказывали, что видеозаписи хостятся очень долго (иногда годы в силу актуальности)
81. redsun1981 16.03.16 21:32 Сейчас в теме
(78) lustin, при цене в 500 рублей сомнительно, чтобы нужно было хитрить и т.п.
82. lustin 16.03.16 21:47 Сейчас в теме
(81) я тоже так думал 2 года назад ;-). 2 года назад я создал тестовое видео за 100 рублей по MSSQL. По 100 рублей с участника. Купили 10 ;-).
А через год выяснилось, что они такие молодцы что рассылали видео внутри компании это видео. 7 человек из этих 10-ти так поступили.

Всех этих человек я знаю - ИТ отделы у них от 200 сотрудников. ИТ бюджеты от 10-ков миллионов. Такая вот "рыночная" экономика без моральных устоев.
Количество просмотров я видел, статистику уникальных пользователей подсчитал - общее количество просмотров 12000, уникальных 289.

И эти люди мне потом на конференции в лицо улыбались ;-).
Но я не в обиде. такова жизнь.

P.S. Тут Инфостарт на днях предложил повеселится с ценами - следите за анонсом.
86. Gilev.Vyacheslav 1910 17.03.16 11:11 Сейчас в теме
(78) lustin,
я последние 3 года подсматриваю за стистикой в русском сегменте
по обращениям к нам скачок увеличения наступил в декабре 2015, массовый наплыв пошел в феврале 2016, особенно это касается фреша в частных облаках
72. redsun1981 14.03.16 18:22 Сейчас в теме
А скачать запись позже можно будет?
73. FeDBuka 9 15.03.16 16:04 Сейчас в теме
Да, про запись особенно интересует. Вдруг не успею, дети или еще что то.
74. FeDBuka 9 15.03.16 16:34 Сейчас в теме
А время 17.00 по Москве?
77. GROOVY 2505 16.03.16 14:53 Сейчас в теме
(74) FeDBuka, Да МСК+0
75. laskin82 16.03.16 10:41 Сейчас в теме
В поддержку темы, вдруг кто-то не в курсе, в феврале была конференция посещенная PostgreSQL, слайды уже открыты.
Применительно к 1С+PostgreSQL: https://pgconf.ru/2016/talks/#3107
audion; comptr; popovnv; ansh15; lustin; djam_arttek; Gilev.Vyacheslav; +7 Ответить
79. lustin 16.03.16 15:56 Сейчас в теме
(75) laskin82, тут еще и июньскую анонсировали http://pgday.ru/ru/2016/about альтернативу.
Есть старые видео - https://www.youtube.com/playlist?list=PL83V-7VhzqkpQbw7hn6b32OmxK8SRKoHU про 1С нет вообще насколько я знаю. Но чем больше материалов тем лучше.
80. laskin82 16.03.16 16:01 Сейчас в теме
На этой конференции (2016) Иваном Панченко было принято решение исправить ситуацию. Чуть позже планируется выложить видео докладов.
83. dmtrpv 65 17.03.16 00:04 Сейчас в теме
Правильно ли я понимаю, что скачать вебинар будет нельзя, но для опоздунов запись можно будет посмотреть?
Какой уровень знаний нужен для вебинара, имею ввиду знаний именно Postgres и связки его с 1С?
84. lustin 17.03.16 02:21 Сейчас в теме
(83) dmtrpv, особые ортодоксы все равно найдут способ скачать - все же ИТ шники. Не сомневаюсь что люди уже гуглят на тему - как сграбить видео.
Да запись будет доступна в рамках платформы вебинара, чтобы можно было задать вопрос через функционал комментариев.

Насчет уровня подготовки - я ориентируюсь что будут все. От Джуниора, до профа. Под это и делаю адаптацию материалов.

Базовые знания подразумевают что вы скачали как минимум Инструменты разработчика от tormozit и умеете ими пользоваться хоть чуть-чуть.
Ну и как советовал Вячеслав выше - хотя бы пробовали запускать связку хотя бы один раз 1С + PostgreSQL, на Windows.

P.S. Правильным "постгресменам" не понравилась "провокационность" программы ;-)
85. GROOVY 2505 17.03.16 10:11 Сейчас в теме
(83) dmtrpv, вопросы о судьбе видеозаписи вебинара до конца не решены. Видео будет доступно после вебинара (не моментально), но в каком виде и на каких условиях, я пока сказать не могу.