PostgreSQL "на стероидах"

Возврат к списку
Записались на вебинар: (547)
31 Марта 2016
17:00-21:00
MSK
PostgreSQL "на стероидах"

Хотите использовать в продуктиве PostgreSQL в связке с 1С? Мы проведем Вас по пути настройки базы с нуля и до "террабайта".



Рассматриваемые практические вопросы:

  • развертывание "с нуля"
    • сборка и подключение модулей
    • настройка PostgreSQL.conf
    • планирование дисковой подсистемы
  • планы обслуживания 
    • бэкапирование
    • регламентные операции
    • ключи тонкого тюнига
  • запуск первых 100 пользователей
    • автоматизированная адаптация под текущую нагрузку 
    • истории с VACUUM
  • мы дошли до 100 GB
    • отсутствующие индексы 1С средствами PostgreSQL
    • автоматическая оптимизация 
    • читаем планы запросов с помощью помощников тюнинга в терминах 1С
  • добро пожаловать в клуб "у нас террабайт"
    • сжатие бинарных данных
    • балансировщики и кластеризаторы
    • мониторинг как отдельный НИОКР

и многое другое.

Дополнительные материалы для менеджеров

  • сравнение плюсов и минусов MSSQL Express и PostgreSQL для небольших фирм

Окружение:

  • Windows
    • Windows Server
    • PostgreSQL - Windows
      • x32
      • x64
  • *nix
    • Nix Server
      • deb пакеты
      • secret - "секретный сервер"
    • PostgreSQL
      • x32
      • x64

Ведущие вебинара:

  • Архитектор
  • Эксперт по производительности
  • DBA

Стоимость участия: 3000 руб.

P.S. Обратите внимание, что можно оплачивать с личного счета Инфостарта, например, после обмена StartMoney на рубли. 

Видеозапись вебинара предоставляется только участникам вебинара в защищенном формате (одна лицензия на компьютер для просмотра только в OS Windows). 

============================

Дополнительные материалы, видеозапись и продолжение обсуждения можно найти в этой группе: http://infostart.ru/community/groups/1196/

Добавить в календарь (*.ics)
Ведущий:
Алексей Лустин lustin
Купить просмотр видео 3000 руб.

Обсуждение

Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
389. yasplush 01.04.16 14:57 Сейчас в теме
Коллеги.
Прошу принять наши сожаления и извинения в связи с тем, что подача материала была несколько хаотична в обычном понимании.
На будущее спикер обязательно учтет ваши пожелания по способу формирования и преподношения информации.

Вебинар изначально был задуман с целью принести конкретную пользу как начинающим специалистам, так и "прошаренным" пользователям PostgreSQL, поэтому были даны скрипты с показом их работоспособности.

Ниже публикую ссылки в соответствии с анонсированным планом веинара.

развертывание "с нуля" - https://github.com/VanessaDockers/pgsteroids/blob/master/postgres/Dockerfil­e
примеры конфигурационных файлов https://github.com/VanessaDockers/pgsteroids/tree/master/pconf
планирование дисковой подсистемы - https://github.com/VanessaDockers/pgsteroids#zfs---еще-больше-французского-сжатия
и https://github.com/VanessaDockers/pgsteroids/blob/master/Vagrantfile#L95

бэкапирование - https://github.com/VanessaDockers/pgsteroids/blob/master/replicator-start-example.sh
регламентные операции - https://github.com/VanessaDockers/pgsteroids/blob/master/pconf/postgresql_c­onf.ERP#L64 и https://github.com/VanessaDockers/pgsteroids#Скрипты
и https://github.com/VanessaDockers/pgsteroids/blob/master/postgres/install_a­ll.sql
ключи тонкого тюнига - было проговорено голосом, дополнительно будет выложено и показано
автоматизированная адаптация под текущую нагрузку - https://github.com/VanessaDockers/pgsteroids/blob/master/postgres/install_a­ll.sql#L7
истории с VACUUM https://github.com/VanessaDockers/pgsteroids/blob/master/pconf/postgresql_c­onf.UT#L53
отсутствующие индексы 1С средствами PostgreSQL https://github.com/VanessaDockers/pgsteroids/blob/master/powa-web/Dockerfile
автоматическая оптимизация не было
читаем планы запросов с помощью помощников тюнинга в терминах 1С https://github.com/VanessaDockers/pgsteroids/blob/master/powa-web/Dockerfile
и https://github.com/VanessaDockers/pgsteroids#Для-экспериментов-используйте
сжатие бинарных данных https://github.com/VanessaDockers/pgsteroids/blob/master/pscripts/get-toast-status.sql
и https://github.com/VanessaDockers/pgsteroids/blob/master/Vagrantfile#L82
балансировщики и кластеризаторы - только внешние ссылки в презентации и голосом
мониторинг как отдельный НИОКР - не успели донести
сравнение плюсов и минусов MSSQL Express и PostgreSQL для небольших фирм - таблица "стоимость владения"
secret - "секретный сервер" - выкладывают совместно ключами тонкого тюнинга.
1cWin; maxim4566; life-wayfarer; milo1; Droni; Bronislav; CheBurator; asolokha; TuneSoft; ret-Phoenix; djam_arttek; stneon; awk; Pr-Mex; comptr; herfis; Hissin; pumbaE; +18 Ответить
393. herfis 498 01.04.16 15:49 Сейчас в теме
(389) yasplush, А можно еще выложить екселевскую табличку с экономическим обоснованием перехода на open sourсe в применении к 1С, на базе методики Gartner (если не путаю)? Которую показывали в самом начале и вроде обещали выложить тоже.
395. yasplush 01.04.16 16:02 Сейчас в теме
(393) herfis, Все материалы , дополнительная статья с ответами на вопросы и таблички будут обязательно выложены. Точные сроки сказать не могу, думаю после выходных.
418. matashnikov 01.04.16 18:52 Сейчас в теме
(389) yasplush, Пробовал развернуть и на убунту 14,04 и на дебиан 8,3
везде после запуска рун.сх вываливаются ерроры и ничего больше

Дебиан
root@psql:/home/pgsteroids# ./run.sh
./run.sh: line 38: sudo: команда не найдена
Failed to stop container (powa-vasya-pgsteroids): Error response from daemon: No such container: powa-vasya-pgsteroids
Failed to remove container (powa-vasya-pgsteroids): Error response from daemon: No such container: powa-vasya-pgsteroids
Failed to stop container (postgres-vasya-pgsteroids): Error response from daemon: No such container: postgres-vasya-pgsteroids
Failed to remove container (postgres-vasya-pgsteroids): Error response from daemon: No such container: postgres-vasya-pgsteroids
Failed to stop container (pgstudio-vasya-pgsteroids): Error response from daemon: No such container: pgstudio-vasya-pgsteroids
Failed to remove container (pgstudio-vasya-pgsteroids): Error response from daemon: No such container: pgstudio-vasya-pgsteroids
5da808329774257d35cf87225afbf22602f90a3b3735f62b1d2a5001d235­a301
docker: Error response from daemon: Container command could not be invoked..
b374ef1f1067ed784eae6119d9afc466c45ceee4eb680d31f3448503649a­0b3a
docker: Error response from daemon: Cannot link to a non running container: /postgres-vasya-pgsteroids AS /powa-vasya-pgsteroids/db.
ca00208308032021e5bcb5e551231660782f4a596bccfa28523cdf4de578­9022
docker: Error response from daemon: Cannot link to a non running container: /postgres-vasya-pgsteroids AS /pgstudio-vasya-pgsteroids/postgres-vasya-pgsteroids.


убунту
root@psql:/home/server/pgsteroids# ./run.sh

powa-root-pgsteroids
powa-root-pgsteroids
postgres-root-pgsteroids
postgres-root-pgsteroids
pgstudio-root-pgsteroids
pgstudio-root-pgsteroids
453a0145a5d77756de4fa5a2ec92521183d599b138b5f866bd5faa418c4a­2273
docker: Error response from daemon: Container command could not be invoked..
1d204bc833df20342e95d94a3148ee1df620c09158ef0a310fbb827f4936­c646
docker: Error response from daemon: Cannot link to a non running container: /postgres-root-pgsteroids AS /powa-root-pgsteroids/db.
234c2003e2c36e1b558046c3aa0ed83ea7f452e27ff4dd77c865f6794baf­634a
docker: Error response from daemon: Cannot link to a non running container: /postgres-root-pgsteroids AS /pgstudio-root-pgsteroids/postgres-root-pgsteroids.
420. lustin 01.04.16 19:16 Сейчас в теме
(418) matashnikov, что значит на debian ? скопировали код ? vagrant up делали ?

* зачем нужен vagrant - показать что хост настроен одинаково у всех.
* зачем нужен docker - чтобы контейнеры запускались одинаково у всех.

(419) извини - мы с pumbaEO тебя немного попиарили. Я таким образом эмулировал отказ в обслуживании при достижении максимального количества соединений.
422. matashnikov 01.04.16 20:38 Сейчас в теме
(420) lustin,
vagrant не запускал, использую для тестирования отдельную машину, так как в вебинаре было указано что всё работает на убунту 14,04 - на ней и делаю

развертывание "с нуля" - https://github.com/VanessaDockers/pgsteroids/blob/master/postgres/Dockerfil­­e
опять таки, я считаю если дан скрипт для раскрытия темы, то запустив его должно всё с нуля собраться, но что бы его выполнять надо снова ставить что то ещё промежуточное, как по мне то это не является раскрытием темы, а является примерами работы с докер, вместо нормального раскрытия темы
424. Fragster 1138 01.04.16 21:55 Сейчас в теме
(420) lustin, ну, главное, чтобы страничка в самый ответственный момент не отваливалась
397. stneon 01.04.16 16:13 Сейчас в теме
Давайте я опишу простыми словами чем мы занимаемся и чем можем реально помочь в решении проблем:

У меня небольшая фирма занимаемся техническим сопровождением компьютерной техники и серверного оборудования, так уж получилось но в 010 году пришлось столкнуться с миром 1С. Надо сказать что на серверах держали только Linux. Поэтому с 2010 года начали пробовать с 1С по хардкору на Linux. Перепробовали некоторые варианты в продакшене начиная с терминалок по NX и проброса оборудования с кассовых узлов на 8.2 и 7.7.
Пришли к следующей работающей в продакшене архитектуре:

Минимальная - магазин на 10 - 30 кассовых узлов.
Процессор минимально i5 начиная со второго или третьего поколения (недавно тестировали на Celeron - могу описать результаты и конфигурацию HP Gen8)
Оперативная память от 8Гб DDR3
Жесткие диски обычные в RAID1 - софтверный (тестировали на Adaptec железных. У нас производительность на ssd - а на них как раз базы работают не стоит с вложений. Но это наш опыт, может быть мы не правильно использовали кеш)
Один диск под бэкап
Минимум один SSD под базы
Источник бесперебойного питания ставится интерактивный - что бы корректно сам выключал сервер при падениях напряжений APC 800 серии - стоят бюджетно под никсы отлично взлетают

SSD размечаются правильным образом - это важно для производительности даже на серверных SSD. Размечаются на одну треть от всего объема можно до половины - зависит от нагрузки на SSD. За счет этого скорость записи не деградирует от заполнения диска и износ диска резко уменьшается. При такой разметке кеш железного рейда дает выхлоп на предельной нагрузке при записи на SSD. У нас это редко проявлялось, поэтому в этой конфигурации от железного рейд контроллера Adaptec отказались.

В качестве хост системы(ОС ставится на железо) используем Ubuntu Server 14.04
Настраиваем софтверный рейд
Поверх настраиваем LVM
Делаем рутовый раздел на ext4 и своп под размер оперативной памяти(на всякий случай) - но если у вас в системе дело дошло до свопа, то стоит сильно думать что в архитектуре менять.
Такая архитектура дисковой подсистемы нам позволяет изменять размеры дисковой системы виртуальных машин прямо на лету, не перезапуская виртуалку. Есть одна хитрость, могу рассказать.
Далее ставим LXC - это контейнерная виртуализиция. На ней работает Docker который вскользь затронули на вебинаре
На LXC разворачиваем виртуалки с 1С и postgres + виртуалку с общеими папками Samba + в редких случаях контроллер домена на Samba 4. Но на 10 - 30 минин из нашего опыта контроллер избыточен, даже условно бесплатный.
У контейнера в качестве рутового раздела используется lvm раздел.
Для баз данных внутрь контейнера пробрасывается SSD диск. На нем лежит весь postgres, если это один ssd диск. Если ssd дисков два, то на второй диск кладем журнал.
Есть еще раздел с временными таблицами у postgres туда ведется временная активная запись когда данные заносятся в таблицы postgres, в частности когда идет загрузка базы. Эту папку подключаем как виртуальный раздел файловой системы размеченной в оперативной памяти - tmpfs
Таким образом вся запись идет в три потока по дисковой шине SATA3 и временные таблицы никак не тормозят процесс потому что отрабатывают с большей скорость чем дисковая подсистема (пишутся в оперативку)
Теперь о postgres - используем типовой 9.4.2 с сайта 1С балуемся только конфигами (поэтому очень интересовал вебинар)
Очень важно распределить буфер памяти - рассчитать максимальный объем памяти под postgres и вычислить из этого shared статья в помощь http://infostart.ru/public/325482/, для начала можно использовать совсем простой способ http://pgtune.leopard.in.ua/
Далее ставим виртуализацию KVM и накатываем туда Windows7 для удаленного администрирования всем этим хозяйством
Под нее отдаем 1 ядро и до 4 Гб оперативки - если щедрые.
Эта винда используется только для консоли администрирования сервера и выгрузок 1с в dt - простые манипуляции через конфигуратор. Манипуляции через виртуалки расположенные на другом сервере крайне тормозят выгрузки и работы с базами. Могу предметно рассказать почему
Иногда на этой виртуалке разворачивается сервер лицензий типа Катран под всякие Альфа Авто.

Вот очень кратко описал нашу типовую минимальную конфигурацию под магазины. Надо сказать что далее все это подключается через OpenVPN к центральным серверам и разруливается скриптами и через Web интерфейс.

Чем могу помочь:

Есть выделенный сервер i7 4770K 64Gb DDR3 2x2000Gb 2x250Gb SSD3 Adaptec на 4 порта c резервированием по питанию, канал грустный - 100Mb
Сетевая карта Ibm на 4 порта по 1Gb каждый, под кластер. Наружу реализовать не получится - канал не позволит.
Для кластера можем предоставить оптический канал на 10Gb между нодами. Но вторую и третью ноду надо будет выдергивать из проектов, поэтому только по запросам.
Могу предоставить для тестирования и в качестве стенда. Могу отдать по SSH и RDP. Все проблемы администрирования могу взять на себя.

Можем поделиться BASH скриптами для развертывания всего этого хозяйства под LXC резервное копирование и восстановление из резервных копий. Скрипты старые но работают. Скрипты могут развернуть хозяйство как в LXC так и на хосте. Python не можем пока отдать... сделано в MVC модели и на объектах... поэтому вот так отдать кусок от всей архитектуры пока не получится.

Это не статья, я просто описал чем занимаемся и чем можем помочь. Но думаю, критики сейчас польется по полной.
ret-Phoenix; djam_arttek; awk; +3 Ответить
398. herfis 498 01.04.16 16:20 Сейчас в теме
(397) stneon, Нифига не понял. Вы услуги собственного хостинга рекламируете?
399. stneon 01.04.16 16:23 Сейчас в теме
(398) Какие услуги?
401. Hissin 178 01.04.16 16:30 Сейчас в теме
(398) думаю он делится результатом подгона железа и инструментов опытным путем под определенные требования. И предлагает площадку под тесты? или я не права? (399)
400. stneon 01.04.16 16:28 Сейчас в теме
Я описал типовое минимально железо на котором можно развернуть например магазин на 10-30 касс с оборудованием. И просто поделился опытом как это организовано у нас. Описал очень крупными мазками. Если кому то вообще это будет интересно, то могу расписать подробней с нюансами. Если не интересно, то никаких услуг я вам своих не рекламировал и ничего никому не продавал. А просто предложил безДвоздмезно использовать дря разумных идей и в качестве тестирования то железо которое у нас просто валяется.
404. Hissin 178 01.04.16 16:33 Сейчас в теме
(400) а почему, если у вас есть свободное железо и свободные "мозги с руками" вы не пробуете другие вариации? Ведь даже когда одна система в целом устраивает, все равно хочется найти более оптимальный вариант, с использованием новшеств. Кому-то может из клиентов пригодиться другая комплектация железо+ПО
406. stneon 01.04.16 16:42 Сейчас в теме
(404) Могу ответить просто:
Железа свободного хватает, постоянно освобождается от проектов. Мозгов свободных нет вообще. Конфигурации все приближены к типовым. У нас бизнес и все должно быть параллельно и перпендикулярно. Потому что и программы пишутся сразу под всю архитектуру и поэтому свой gitlab развернут. Но нам интересно пробовать другие конфигурации. Предлагайте варианты. Есть даже многопроцессорное железо. Из той конфигурации которую я предоставил, могу сказать что на 50 пользователей хватит под никсами - это тестировали. Если не городить все на винде. Может и на 100 заедет, но это не тестировали - может какие нюансы выскочат.
408. Hissin 178 01.04.16 16:59 Сейчас в теме
(406) - ну так один вариант уже предложили на вебинаре. попробуйте, поделитесь результатами тестов.
411. stneon 01.04.16 17:10 Сейчас в теме
(408) Сначала надо посмотреть. Сегодня после 9 буду смотреть.
429. man_14 02.04.16 00:27 Сейчас в теме
(400) stneon, Вообще-то интересно. Если всем это не очень интересно (особенно несчастливым с базами от 200Г), то можно в личку.
Опыта с Линуксом Постгрисом маловато, но хочется идти вперед.
И еще, есть ли у кого опыт работы с бюджетными конфигурациями (БГУ, ЗКБУ), в том числе на обычных формах (НЕуправляемых)
435. stneon 02.04.16 02:46 Сейчас в теме
(429) Какой вопрос у вас, могу подробней рассказать.
403. herfis 498 01.04.16 16:31 Сейчас в теме
А просто предложил безДвоздмезно использовать дря разумных идей и в качестве тестирования то железо которое у нас просто валяется.

Этот момент я не уловил. Теперь дошло.
405. stneon 01.04.16 16:34 Сейчас в теме
Максимальные конфигурации редко людей интересуют... Но могу сказать что мы уперлись в 40Гб базы и есть проблема. Хотим понять. В некоторых случаях доставляют проблема даже 8 Гб базы. Например Альфа Авто 5.
413. sandy13 11 01.04.16 17:51 Сейчас в теме
Счастливые люди... 8 гигов базы..40 гигов базы...
*Тяжко вздыхает...
415. stneon 01.04.16 17:58 Сейчас в теме
(413) А у тебя какие?
417. Hissin 178 01.04.16 18:48 Сейчас в теме
(413) поддержу... у нас одна из основных весит уже более 270Гб... Ее пока на MSSQL держим. Мелкие на PostgreSQL переводим.

(414) смотря что ты от него ожидаешь. скажем так, он не стандартный по формату "тыкните сюда и будет щастье", он по формату "присмотритесь вот к этому и будет менее больно и жестоко" :)

(416) плюсики себе зарабатываешь? ;)
414. Diversus 2306 01.04.16 17:57 Сейчас в теме
Что-то по отзывам трудно мнение о вебинаре составить. Стоило оно того или нет?
416. leksmut 350 01.04.16 18:32 Сейчас в теме
(414) Diversus, хорошо бы опрос провести, ставьте + к этому комменту кто доволен и - кто не доволен
419. Fragster 1138 01.04.16 18:54 Сейчас в теме
Я.метрика зарегистрировала беспрецедентный рост посещаемости http://fragster.ru/perfomanceTest/ , оказалось, что с ветки вебинара около 70 пользователей пришло. Интересно, что там обсуждалось. А также забавно, что эти посещения пришлись прямо на момент допила, так что могло что-то не работать. Причем совпало мое решение допилить сайт (впервые за год, наверное) с этой волной посещений. Зато теперь там красивые графики.
423. Hissin 178 01.04.16 20:48 Сейчас в теме
(419) - а зачем сайт вниз головой? :)))

а нет, с третьего раза нормально прогрузилось :)
425. Fragster 1138 01.04.16 21:56 Сейчас в теме
(423) Hissin, на мисте вообще черт знает что, и перезагрузка не помогает...
426. sandy13 11 01.04.16 22:24 Сейчас в теме
Алексей, спасибо за вебинар, кое-что очень интересно, однако же лектор из вас как из бутылки молоток, надеюсь, вы и сами это понимаете. Приходится продираться сквозь бесконечное мычание и блеяние, слова-паразиты"э-э-э", "а-а-а", "на самом деле", отступления, незаконченные предложения, забытые пароли - вы явно не готовились к вебинару вообще. Вот расшифровка пары минут вебинара, где-то 2:40 или 2:45, после перерыва, оцените сами:

" -- А-а-а... кхе-кхе, (шмыгает носом, длинная пауза), щас, секунду. Модель подачи у нас достаточно такая, что мы хотим вам показать, э, что б вы быстрей дошли до конца. Мн-э-э, особенность... А-а, м-м-м, одна из вещей , э-м, - деле не в Постгресе, а в Постгресе для 1С. Э-э, вам нужно понимать, какие конкретно будут проблемы с э-Постгресом, то есть я щас, м-м, не буду показывать уже экран, э-э-м, пока у нас, а-а-а, а-а-а-а-мм, здесь закончилась, а-а, давай так, чуть поподробнее: м-м, я, э-э-м-э, классическая, э-м, ситуация, что-о-о, эхм, все хотят настроить Постгрес как Постгрес, и это одна из ошибок, э-м, администратора! И не понимая друг друга поведения с одинэсником. А те одинэсники, которые понимают с один эс поведение, эм, с поведением 1С с Постгресом, не понимают особенностей Постгреса. Поэтому давайте еще посмотрим, как себя ведет 1С. Я показал вам что, а-а-а, э-м-м-м-м, неиндексирование, э-м, ну вы видели, что, м-м, один-эс-экстеншнов, в данном случае гипоиндекс, э-мн-э, вы можете посмотреть, э-э, в гит-репозитории, щас, я посмотрю нет ли чего, а-а-м-м, вы можете посмотреть в гит-репозитории, давайте перейдем опять к небольшому, э-эм, демо, они мои любимыке, я их использую всегда что б, э-э, показать, э-э, собственно проблему, а-а. Откроем некую конфигурацию, э-э, конфигурация достаточно простая, э-э-э, классическая конфигурация э-э для всех вещей, то есть вы обнаружите такую, у, где угодно, э. Да, будет инородная(?) таксишная конфигурация, где происходит какой-то набор документов. А-а, смотрите какой момент: как вообще работает автоматическое определение отсутствующих индексов с помощью, э-э, одного из стероидов, кто не понимает, что вообще, собственно, все вот эти примеры, которые, как вы помните, это и есть комплекс стероидов, посмотреть его можно вот здесь, какой же экстеншн за это отвечает? А-а, если мы зайдем, э-э, в сборку, а-а, Постгреса в Докере вы увидите, что, а, вот, э, э-э, существует специальный эктеншн, а-а-а, в данный момент он официально э-э, не очень рекомендован использоваться в продакшне, если вы зайдете на сайт далибо не будет вам это говорить, а-аа-м-н, но-о, как показывает практика, именно этот экстеншн, то есть создание простого, то есть CREATE EXTENSION, CRE ATE DATABASE POVA и в темплейте, то есть вот такая конструкция позволит вам активировать, - зачем в темплейте? давайте так, давайте поподробнее: теперь создание, э-эм, с помощью этого экстеншна в любом Постгресе, в любой базе Постгреса, которую мы будем создавать один-эсной, получим подключенное, э-э, подсчет гипотетических индексов", ну и так далее.

Сильно напоминает эпизод "безумное чаепитие" в "Алисе в стране чудес", не правда ли?
Алексей, раз уж вы сами не силах правильно подать материал - распечатайте его на бумажке, позовите студента из театрального, за сто баксов он прочтет всё вслух и с выражением!
freddy121; fzt; via64; TuneSoft; 1cWin; djam_arttek; lustin; stneon; +8 Ответить
428. lustin 02.04.16 00:14 Сейчас в теме
(426) sandy13, вот за это спасибо. реально.

(422) вот как так получается - я сказал что ВАГРАНТ основан на Ubuntu, докер контейнеры основаны на Debian для PotgreSQL и заоострил на этом внимание.
А также заоострил внимание что на хостовых системах не используйте CentoOS. Кстати в свете последних новостей из стана REdHat есть предположение что RPM'щикам скоро придет конец.

* на железном сервере лучше развертывать Debian после того как попробуете все в связке.

в рамках подготовки статьи:

* я добавил pgBadger - чтобы показать как ведет себя VACUUM.
* по просьбе из вопросов - добавил скрипт развертывания Barman для показа бэкапирования.
* добавил 3 раздела - чтобы показать как и какими скриптами мы разносим таблицы 1С по дисковой - полезно будет и Windows пользователям


(424) ты будешь смеятся - именно в ответственный момент отвалилось. У тебя в конфигурации есть приятный момент - ты держит потоки на сервере пока не будет записан тест: таким образом урезав соединения до 100 на PG я добиваюсь демонстрации примера отказа PG по достижению максимального количества соединений, и у тебя в конфигурации есть отсутствующий индекс, который hypoind подхватывает на лету - РегистрСведений.Синхронизация.НомерПотока, 2400 раз ты по нему ишещь с отбором по измерению, а он у тебя не индексирован (только пока не чини - очень показательно на примерах)
457. matashnikov 02.04.16 22:02 Сейчас в теме
(428) lustin,
вот как по инструкции: https://github.com/VanessaDockers/pgsteroids#vmware-hyperv-virtualbox
поднял виртуалку с убунту 14,04 64 бита
установил последний докер
добавил пользователя в группу
создал директории
запустил билд и после ран, но результат тот же самый что и раньше
de39b5202995df3022396013a8e6ba087d04724c6b115d220f9a77d43b0c­e404
docker: Error response from daemon: Container command could not be invoked..
f95899841d17003d6274d5834e59e3420fee8a3e5d7e09597bb668606ed1­f609
docker: Error response from daemon: Cannot link to a non running container: /postgres-root-pgsteroids AS /powa-root-pgsteroids/db.
9b609f2553d04352a239aea75186723e3ce772966d123d617121b70a5af5­6755
docker: Error response from daemon: Cannot link to a non running container: /postgres-root-pgsteroids AS /pgstudio-root-pgsteroids/postgres-root-pgsteroids.
430. Hissin 178 02.04.16 00:29 Сейчас в теме
(426) - что ж вы все такие умные. Смысл сотрясать воздух? Возьми и сделай сам, хоть вебинар, хоть перерой весь интернет в поисках необходимых утилит и скриптов. Я вот сомневаюсь, что много кто, найдя нужную и стабильную утилиту, поделится ей с окружающими. Вы руками проделайте все эти тесты и подборки в различных комбинациях, выйдите на стабильную и полезную комбинацию. Поделитесь после этого??? Пока что ни одного предложения, кроме предложения автора. Почитай пост (388) будет полезно.
соглашусь с (427) - для всех солнышком не будешь. Полезные "фишки" перекрывают некоторые недостатки. Повторюсь, на гугле нет забаненных.

Опять таки повторюсь, информация по большей части ВЕЗДЕ дается не как "бери и пользуйся", а как "бери, изучи, пойми и используй только ту часть, которая тебе необходима и полезна в твоей области, в сочетании с другими входными данными". Особенно это актуально для бизнеса. Бизнес многое решает, а мы с ним неразрывно связаны.
427. as 01.04.16 23:39 Сейчас в теме
Хочется тоже написать отзыв по вебинару.
Сразу скажу что купил не за 500р, а за 1500р и не жалею нисколько.
По содержанию вебинар был очень насыщен, конечно манера рассказа была так себе. Очень многие мысли не были закончены. Но для меня цель была достигнута: я получил направления дальнейшего углубления в тему. И за это спасибо.

Как человек, читающий переодичесик вебинар, скажу что читать НАМНОГО тяжелее если не видишь аудиторию и ее реакцию на свои слова. Это две большие разницы читать лекцию группе и читать вебинар тем более такой огромной аудитории.
По поводу отказа Алексея читать вебинары: даже не вздумайте. Невозможно быть для всех пушыстым. Кому то не понравилось? ок - вернули деньги(если возможно) и все.
Я давно слушаю ваши публичные записи, вам есть что рассказать на вебинарах. Просто нужно меньше распыляться и темы выбирать не такую широкую.
Чтото мне подсказывает что структуру вебинара составляли пиарщики. Хотя может я не прав.

Отдельно хочется поблагодарить администрацию за качество трансляции. Я до последнее не верил, что нагрузка будет выдержана.
По поводу повышения цены: за цену 500р я не видел рекламки, но купил за 1500 т.к. должна была вырасти. Итог не было бы такого подхода, наверняка бы я отложил покупки и забыл потом про вебинар.
herfis; ekaruk; djam_arttek; audion; +4 Ответить
432. CheBurator 3119 02.04.16 01:57 Сейчас в теме
- Вакуум, Вагрант, Докер..
- ..я, кто эти люди..?!


1. Платил 1500 (500 не удалось с личного счета стартманей - вываливалось с ошибкой, когда удалось/починили уже 1500, претензий не имею, жаба дрессированная)
2. получил примерно то, что рассчитывал.
3. потому что надо ездить на конференции инфостартовские и смотреть на спецов, чтоб sgjnjv смотреть идти ли на их вебинары.
4. совсем не линуксоид (попытка поставить когда то давно с компьютеровского диска позорно провалиласб на этапе манимпулирования разделами чтобы поставить паралельно с Виндами, плюнул, пока не пригодилось.. ;_0
5. мало-мало админ - когда-то давно - скорее продвинутый эникейщик.
6. контора небольшая, все - винды, все - лицуха.
7. есть понимание что надо смотреть и в сторону невиндов, поэтому пришел на вебинар просто посмтреть-послушать.
8. куча контор, которых обслуживает не аутсорсинг нормальный, а отсосинг какой-то.
9. куч контор где на все-про все 1 админ-винтикошпунтиковской закалки + 1сник-девелопер
10. как правило это все - на виндах, админ попутно еще кучей всего занимается быть ГОЛЫМ АДМИНОМ - не получается/нет возможности/прочее
11. весь этот линуксопарк - это как аттракцион развлечений в лунапарке - куча мигалок и свистоперделок, куда и что - глаза разбегаются, а "это - что за хрень..?", о - вы на этом аттракционе гульбанили? - гулбанил! таращит небэдово, но я больше по грибам, про траву мало знаю...
12. но пробовать-то надо - линуксовидов под рукой нет
13. нужен готовый линуксовый "пакет под 1С(ника)" - чтобы ТУПО поставить, и пробовать как это все 1сное крутится на линуксе (для начала), хорошо если это будет крутиться не зхуже винды при тех же "нагрузках", дальше - "продвинутый пакет с покером и стюардессами" - это даже не продакшен, ни в коем случае - это стенд. но стенд не для конфигурирования никсов и субдов в первую очередт. а в первую очередь "попробовать и проверить как оне на невиндах". Чтоб было поянтно как оно - это д.б. сборка "пакет для 1С(ника)" с приемлемым качеством работы порядка до 20-30 полльзователей. Крутится более-менее нормально? - БУДЕМ КОВЫРЯТЬ ПРЕДМЕТНО ДАЛЬШЕ УЖЕ. за такой "пакет для 1Сника" (от спецов!!!) - не в лом и заплатить.
..
как-то вот оно так...
14.
433. stneon 02.04.16 02:41 Сейчас в теме
(432) Могу вам устроить такое счастье. Еще и клиент под Ubuntu и web-интерфесом, но на типовых и только на управляемых формах.
При желании еще и ставиться будет скриптами. Могу и разжевать что почем.
djam_arttek; +1 Ответить
437. CheBurator 3119 02.04.16 03:05 Сейчас в теме
(433) и почем это стоит?
.
тут как в анекдоте:
- У вас вопрос или вы не знаете как вести бухгалтерию?
- Вопрос, как вести бухгалтери?
.
так и у меня - вопрос... ;-)
439. stneon 02.04.16 03:11 Сейчас в теме
(437) Это уже в личку или на почту, тут какашками закидают.
440. lustin 02.04.16 03:19 Сейчас в теме
(433) stneon, ВЫ тут своими услугами приторговывать начинаете что-ли ? ;-) Ай молодец. Холиварщик вы наш.
mike_grig; +1 Ответить
442. stneon 02.04.16 04:15 Сейчас в теме
(440) Хотите, настройте ему Вы. мне нисколько не жалко. Но думаю вам времени нет - вы все по облакам летаете :) Почитал вашу статью по DevOps забавненько... Теории много, а на практике все дыряво и из рук валится. регулярно общаюсь с такими на ITExpert. Помахают руками, а потом в туман свалят... Потому что когда дело до ходит до дела, такая масса нюансов в "надерганой" архитектуре всплывает что потом весь проект клином стоит.
Это типичный Windowway - там и сидите, не лезте в никсы. Явно архитектор Windows перелезающий в мир никсов, а мозги еще не перестроились, похватать да налепить.
B_u_r; Messenger Unchained; djam_arttek; +3 Ответить
443. stneon 02.04.16 04:41 Сейчас в теме
(440) Вы просили вопрос по теме, я вам написал что будем тестировать и на чем. Предложите как тестировать :) А то по существу ни грамма. Начитались ZFS пиара и бегаете с транспарантом. Я лично не горю желанием патчи накатывать на ванильное ядро.
456. Necessitudo 02.04.16 21:58 Сейчас в теме
(433) stneon, да и я бы о таком только мечтал. Вот уже третий час осваиваю установку этого богатства в убунте с решением проблем с зависимостями - и все это просто чтобы потестить.

И кстати вот, хороший большой курс по постгресу - https://www.youtube.com/channel/UCawnwMqZ6JeoSiEhrS6X69A
Правда без конкретики в плане работы с 1С, но принцип работы понять позволяет с лихвой.
459. stneon 02.04.16 23:33 Сейчас в теме
(456) пишите в почту, решим.
438. stneon 02.04.16 03:10 Сейчас в теме
(432) Запомните на тему линукспарка и остальных технологий, при вложении в какую то технологию рассматривайте это как инвестицию в нее. Вкладываться на срок менее чем 5 лет вообще бессмысленно. Реально это 10 лет. Если делать нормальный продакшен, то вложения в технологию начинают окупаться не раньше третьего года. Таким образом мы в 2010 году долго выбирали между Ubuntu и CentOS, победила первая, хотя более зрелой была именно CentOS. Сейчас проще выбрать - из всего зоопарка Linux вам реально имеет смысл вкладываться только в Ubuntu, c перспективой если что, то быстро спрыгнуть на Debian, что бы отсидеться и принять другое решение.

И я вам рекомендую перелезать на Никсы. Впечатление после Windows - будете получать удовольствие, это действительно интрумент для работы. Удовольствие от того на сколько все удобно и просто, а главное логично. Я честно от всего сердца могу сказать что Windows по сравнению с Linux ужастно сложная система... с ней невероятно трудно работать в продакшене. Если конечно вам нужно работать, а не лепить из того что было.
445. bdennis 02.04.16 11:05 Сейчас в теме
(438) я что-то пропустил и за это время RedHat закрылись или сдулись? Аргументируйте пожалуйста.
449. ansh15 02.04.16 13:59 Сейчас в теме
(445) bdennis, вроде, наоборот, заманивают http://www.opennet.ru/opennews/art.shtml?num=44156
Или это начало конца?...
434. stneon 02.04.16 02:44 Сейчас в теме
Кстати, кому интересно, могу завести весь этот цирк на Mac OS.
441. CheBurator 3119 02.04.16 03:40 Сейчас в теме
Эээ.... я тут пакет на шару хочу получить
;-) вот когда я этот пакет бизнесу ставить буду - тогда бизнес пусть и покупает...
444. Gilev.Vyacheslav 1910 02.04.16 05:01 Сейчас в теме
вышел 9.4.7 для 1С "правильной сборки" http://www.postgrespro.ru/products/1c_build
446. bdennis 02.04.16 11:06 Сейчас в теме
(444) Gilev.Vyacheslav, 404
447. as 02.04.16 12:10 Сейчас в теме
462. sorb 03.04.16 12:46 Сейчас в теме
(446) bdennis, скопируйте сам текст ссылки [www.postgrespro.ru/products/1c_build], похоже редирект ссылку поганит.
451. stneon 02.04.16 16:22 Сейчас в теме
(444) Спасибо, уже накатили на виртуалку, будем пробовать.
453. audion 02.04.16 18:07 Сейчас в теме
(444) Gilev.Vyacheslav, а для самых сильных духом - и 9.5.2 http://1c.postgrespro.ru/deb/pool/main/p/postgresql-9.5/
В продакшн пока страшновато, но для тестов интересно.
460. lustin 03.04.16 00:22 Сейчас в теме
(453) audion, как я писал выше - ожидался выход 9.5.2 от PostgresPro и как я давал выше ссылку теперь стало возможно использовать в связке с 1С Barman НЕ через SSH а через потоковую реплкиацию http://docs.pgbarman.org/release/1.6.0/#streaming-connection

Я добавлю завтра использование тут https://github.com/VanessaDockers/pgsteroids/blob/master/barman/Dockerfile

Кто хочет провести эксперименты уже сейчас можете поменять строку https://github.com/VanessaDockers/pgsteroids/blob/master/postgres/Dockerfil­e#L33
на 9.5

и сделать build.sh и run.sh - сразу получите 9.5.2 для экспериментов.
448. as 02.04.16 12:12 Сейчас в теме
странно когда вставляешь ссылку сюда то по не нельзя зайти. В разделе скачать все есть.
450. stneon 02.04.16 16:20 Сейчас в теме
Вот мне интересно посмотреть на унылые морды людей которые сейчас мучаются с ZFS после этой статьи http://blog.pgaddict.com/posts/postgresql-performance-on-ext4-and-xfs
Очень интересно мнение автора по этой теме.
djam_arttek; +1 Ответить
455. bdennis 02.04.16 21:28 Сейчас в теме
(450) stneon, мне кажется, что 1С это весьма специфический набор данных, для которого сжатие может быть более важным, чем ситуация описанная в тесте. Но и мне кажется, что btrfs с lzo будет быстрее zfs. И это вопрос я оставил в разделе вебинара.
452. APTEM267 02.04.16 17:44 Сейчас в теме
И как теперь запись получить?
Посмотреть как обычно не удалось в прямом эфире...
454. GROOVY 2505 02.04.16 18:55 Сейчас в теме
Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.

Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.

Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.

Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.

Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.

Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.
461. mort64ram 24 03.04.16 08:56 Сейчас в теме
По факту кинули. Содержание вебинара сильно не соответствует обещанному, написанному в описании. Обидно и неожиданно. Остается надежда на обещанные ответы текстом, и то слабая...
via64; B_u_r; bdennis; djam_arttek; Droni; dmtrpv; stalex76; +7 Ответить
463. bdennis 03.04.16 15:15 Сейчас в теме
кроме действительно не совсем понятного выбора файловой системы ZFS, как я уже выше писал, есть еще странности. В частности, что у некоторых, посмотревших вебинар может создаться впечатление, что VirtualBox это система, которая вполне подходит для чего-то более, чем уровень студентов и домохозяек и его можно использовать на рабочих серверах.
В качестве рекомендации ведущему:
Если используете Linux, используйте средства, которые он вам предоставляет. Это KVM с libvirt. С вариантами, которые вам удобны. Если у вас отдельный сервер, то на нем можно установить чистую KVM с libvirt. Управлять либо из консоли, либо удаленно с помощью virt-manager или gnome-boxes. Если хочется web-интерфейс, то есть oVirt. Также имеется прекрасный основанный на debian дистрибутив Proxmox VE (хотя я лично его не могу рекомендовать, так как он не использует libvirt и поэтому не кошерен:) ). Если у вас кластер, то нет альтернативы OpenStack. По той причине, что все это за исключением Proxmox VE разрабатывается и поддерживается RedHat, а так же принимая во внимание свой опыт по этому поводу, я настоятельно советую использовать RPM дистрибутивы для гипервизоров..
464. lustin 04.04.16 00:11 Сейчас в теме
(463) bdennis, Vagrant давался как полный комплект преднастроенный под проверку и эксперименты - зачем вам слова, если можно потыкать сразу и посмотреть как оно работает. VirualBox просто разработческий провайдер который позволяет развернуть одной кнопкой "у себя"

Чтобы перенести данный комплект на Production - это уже зависит от того какой у вас production. Если у меня OpenStack - не могу я же рассказывать как чудесно работают 48 серверов PostgreSQL на OpenStack. Люди вот Windows PostgreSQL используют. Поэтому как и обещал выше, я занят тем, чтобы описать как это портировать на Windows и какие особенности с этим связаны.

Контур проверки у меня Windows Server 4 core * 16 RAM - для 100 пользователей достаточно. Сжатие конечно сразу теряется - но тут во всю силу всплывает особенность TOAST и размера записи. Хотя MCHAR как то хитрой сразу жмется по умолчанию.

О том что в продуктвных средах для гипервизоров стоит использовать RPM - полностью с Вами согласен, точнее даже не я согласен: я просто смотрю что другой альтернативы нет. А вот для запуска PG - стабильней ведет себя именно debian. У меня есть только исследование 2Quadrant На эту тему. Ему и доверяю.
Однако на вебинаре я четко обозначил - что НЕ доверяю гипервизорам, пока не знаю кто его настраивал.

Повторюсь VirtualBox дает всем слушателям вебинара сделать на локальном компьюетре развернутый НЕ чистый контур PostgreSQL для 1С и "погонять его" и понять например зачем я в него добавил pg_prewarm на 3 системные таблички.

P.S. Насчет ZFS - я ссылаюсь на вот эту статью 2013 года. https://www.citusdata.com/blog/64-zfs-compression, скажу сразу - мы для своих серверов перенесли данные на этот раздел. Учитывая что мы жестко забэкапированы и проверяли восстановление в случае аварии средствами barman, этот риск, что якобы файловая системы НЕ стандартна мы приняли. В продуктиве если не соврать - 7 месяцев. Что я еще могу сказать - согласно данным POWA и pgBadger дисковые операции стали на порядок меньше, а "попадание" в кэш также. Но опять же -это наверное субъективизм. Я просто уже привык что базы 1С надо сжимать как только можно - это всегда лучше. Даже на MSSQL.


И еще раз повторюсь - насчет гипервизоров полностью согласен. Там RPM отлажен и "оттюнингован". Причем - это конечно к делу не относится, но я был удивлен, что в Nutanix и им подобным платформам - обязательно CentOS.


P.S. И параллельно учитывая моральные обязательства и ажиотаж - мы начали проверки CitusData для 1С: кластер из них работает без падений. Произвеодительность сделаю в виде отдельного материала, когда закончу с Windows
465. bdennis 04.04.16 00:59 Сейчас в теме
(464) lustin, спасибо за развернутый ответ. Теперь я спокоен.:) С нетерпением жду, когда вы попробуете btrfs с lzo. Ожидается значительное ускорение IO, особенно в случае с pgsql. Результатами, надеюсь, вы где-нибудь поделитесь.
473. lustin 04.04.16 18:24 Сейчас в теме
(465) bdennis, у меня есть тесты EXT4, XFS, BTRFS and ZFS с PostgreSQL 1С и нативным PostgreSQL - но они разные и холиварные. Я поделюсь позже. Когда волна от вебинара уляжется.
474. lustin 05.04.16 00:17 Сейчас в теме
(465) bdennis, я тут финально подбил вопросы с вебинара и написал текстом на них ответы. Мне просто интересно Ваше мнение - действительно ли стоит делать публичным такое сравнение для 1С типов данных и для её табличек. 70% или больше людей используют PostgreSQL под Windows - для них эти игры с файловыми системами и хитрыми параметрами монтирования, как нечто из другого мира.

P.S. Но в Vagrant файл я добавлю параметр - какую файловую систему использовать "для игр", это действительно будет всем полезно.
477. bdennis 05.04.16 14:56 Сейчас в теме
(474) lustin, считаю, что это очень важно. Кроме того, Вам очень "повезло" с пользователями при такой статистике. Мне неизвестен ни один случай среди моих клиентов использования pgsql на Windows для целей 1С.
На самом деле, много тестов не особо нужно. Понятно, что ext4 в режиме noatime nobarrier nodiscard порвет все в клочья, однако, именно в случае с 1С с pgsql, т.е. много файлов совсем маленького и частично большого размера, есть вариант, что может себя проявить btrfs со сжатием lzo.
466. u_n_k_n_o_w_n 34 04.04.16 12:04 Сейчас в теме
Добрый день!

Уточните пожалуйста, как получить запись вебинара с документацией, используемой при демонстрации.

Спасибо.
467. PRO100_NigGaZ 114 04.04.16 12:19 Сейчас в теме
468. tema32 04.04.16 12:45 Сейчас в теме
(467) На странице вебинара нет никаких ссылок на данный момент.
469. GROOVY 2505 04.04.16 12:53 Сейчас в теме
Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.

Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.

Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.

Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.

Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.

Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.

Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.

Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.

Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.

Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.

Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.

Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.

Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.

Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.

Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.

Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.

Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.

Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.

Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.

Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.

Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.

Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.

Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.

Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.

Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.

Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.

Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.

Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.

Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.

Все материалы, включая видео. Будут доступы на странице вебинара. В течении 5 рабочих дней.
470. headMade 144 04.04.16 13:00 Сейчас в теме
(469) GROOVY,
да напишите нормально: через пять дней они будут доступны (т.е. выложены), или их смотреть можно в течении пяти дней после проведения вебинара.
А то не совсем понятно вы их только выложите в течении 5 рабочих дней или они будут доступны для просмотра в течении 5 дней.
471. GROOVY 2505 04.04.16 13:13 Сейчас в теме
К четвергу выложим все материалы. Доступны будут условно неограниченное время (пока сервак не полетит или автор не надумает публикацию удалить). Подождите немного.
472. as 04.04.16 16:16 Сейчас в теме
(471) GROOVY, Вы можете важные моменты дописать внизу к описанию вебинара?
Просто читать постоянно весь бред, что тут пишут нет ни времени ни желания. Но не хочется пропустить важные ссылки и\или момент публикации.
dm2010; Glafira; config; +3 Ответить
518. vitstar 07.04.16 09:19 Сейчас в теме
(471) GROOVY, Добрый день. Записывался на вебинар знаю заранее что посмотреть не смогу(разница в часовых поясах).Надеялся получить видео и материалы. Когда они все же будут?
475. herfis 498 05.04.16 09:58 Сейчас в теме
70% или больше людей используют PostgreSQL под Windows

Откуда такая статистика? У меня сложилось прямо противоположное впечатление.
Даже самый подзаборный одинэсник (можно сказать, что я про себя) в курсе, что нативно postgres работает под линуксом. Все мало-мальски серьезное использование в продакшене, о котором я слышал - под линуксом. И потому что postgres для него нативен и потому что линукс дешевле винды по лицензиям и вообще идеальная серверная ось для большинства задач :) Как бы очевидная связка. Под виндой используют обычно на относительно небольших и некритичных по производительности базах как простой бесплатный движок. Типа поставил на поиграться - вроде работает. Ну и пусть работает. Так для поставить и забыть много ума не надо.
Но мы же о настоящем продакшене. Так что любые результаты серьезных тестов в разном линуксовом окружении в применении к задачам 1С - очень и очень интересуют. Такой информации катастрофически мало в открытом доступе и ваш опыт тут сложно переоценить. Не переносите негатив от вебинара на тот опыт, который вы пытались донести и не ударяйтесь из одной крайности в другую. Да, вебинар был плохо спланирован и плохо проведен. Но это отнюдь не умаляет ценности и востребованности ваших знаний. Поэтому побольше инфы. Любой. Пусть спорной, холиварной и субъективной. Да, псевдогуру будут самоутверждаться и поливать. Зато кому надо - намотают на ус и скажут огромное спасибо.
stneon; CTAKAH; +2 Ответить
476. awk 741 05.04.16 14:43 Сейчас в теме
(475) herfis,
Даже самый подзаборный одинэсник (можно сказать, что я про себя) в курсе, что нативно postgres работает под линуксом. Все мало-мальски серьезное использование в продакшене, о котором я слышал - под линуксом. И потому что postgres для него нативен и потому что линукс дешевле винды по лицензиям и вообще идеальная серверная ось для большинства задач



Вот же чушь. И лицензии на Linux дороже (чем Windows), и PostgreSQL под Windows - native.
478. bdennis 05.04.16 15:19 Сейчас в теме
(476) awk, спасибо, поржал. Прикинем на 50 пользователей?
481. awk 741 05.04.16 15:47 Сейчас в теме
(478) bdennis, Прикинь. SLES на 2 cpu or vm 799$ + 399$ за HelpDesk, на одного пользователя. И это достаточно "вшивая" поставка.
482. starik-2005 3033 05.04.16 17:21 Сейчас в теме
(481) awk, когда сервер выбирается для чего-нибудь действительно серьезно навороченного и сам сервачок стоит несколько миллионов вечнозеленых, то сумма в килобакс за юзверя вообще погоды не делает. Туда и винду поставить можно, конечно, и даже выйти может дешевле, но саппорт с виндой, сами понимаете, будет на уровне вообще ниачом.

Есть другие решения - фряха с той же ZFS, под которую можно собрать постгри - тут сама система может выйти несколько дешевле, если админ вообще в курсе, как там все работает и что куда крутить и в какой последовательности нажимать. Кто-то может и генту поставить, а кто-то - и дебиан на ядре от фряхи - все зависит от уровня компетенции специалиста.

С другой стороны, я на работе использую на своем рабочем ноуте виртуалбокс с серверным убунту, на котором 1С + Постгри 9.2 (от создателей "про"). Кто-то тут сказал, что в продакшн его не стоит юзать, но мой товарищ юзает на сопоставимом железе вмваре + винду (не серверную), на которой мелкософтовский скул и сервер от 1С - так работает у него все куда медленнее. У меня тест Гилева дает 20, у него - 8. Как бы мораль басни в том, что можно и бесплатное юзать, а можно и купить, когда стоимость железки астрономическая. Во втором случае винда экономит на локальной поддержке, при том вполне может оказаться и так, что Linux будет заметно выигрывать при куда меньшем количестве танцев с бубнами.
stneon; awk; +2 Ответить
483. awk 741 05.04.16 18:16 Сейчас в теме
(482) starik-2005, Все так.
1. Только не стоимость железки, а стоимость простоя... ОС под задачи берут, как и железо...
2. Многие считают, что unix-like бесплатен, а он иногда по цене в разы опережает microsoft...
3. У microsoft есть нормальная техподдержка, зависит все от вашего персонального менеджера и размера вливаний...
484. starik-2005 3033 05.04.16 20:38 Сейчас в теме
(483) awk, у Микрософт есть техподдержка, но даже крупным клиентам не так-то просто ее получить. Пример тому - одна из компаний Сбербанка. Когда у них были проблемы с данными в СУБД, они обратились не к M$ или 1$, а к компании, которая им продала 1С.

Но лично моя ИМХА в том, что при аналогичной цене поддержка Linux куда более профессиональная, ибо очень сложно себе представить компанию, которая стала продавать Linux-поддержку при отсутствии компетентных кадров. А вот с поддержкой для M$, так компаний, в которых админы очень условно разбираются в продуктах M$, при том компания их продает и внедряет, весьма существенное количество.

ЗЫ: Кстати, потом другая компания сбербанка реализовали спецификацию на веб-сервис, в котором корневой контейнер должен был называться OdinAssArrayOfEmloyee - уважаю! )))
486. sanfoto 502 06.04.16 09:31 Сейчас в теме
(482) starik-2005,
а которой мелкософтовский скул и сервер от 1С - так работает у него все куда медленнее. У меня тест Гилева дает 20, у него - 8.

у меня на сервере "в продакшн работает" ("Сервер 1с"<---Shared memory--->"MS SQL")
60 попугаев давал.... когда на Постгри добьетесь такого напишите плиз в личку
Пока не верю в связку "Попы бога Одина" с "постгри"
488. starik-2005 3033 06.04.16 10:03 Сейчас в теме
(486) sanfoto, в таких случаях всегда интересно знать про аппаратную конфигурацию сервера. Пока только софт озвучен.
489. herfis 498 06.04.16 10:19 Сейчас в теме
(486) sanfoto, Вот тут соглашусь. Но архитектура "все-в-одном" выручает только до поры до времени. С какого-то момента масштабирования задач появляется все больше причин и выгод разносить на разные сервера. А в этом случае я вполне верю, что связка виндового сервера приложений и тюнингованного сервера СУБД postgres под линухом не уступит чисто виндовой инфраструктуре по производительности и надежности (упр. блокировки, ессно). То, что сервер приложений под линухом менее стабилен и производителен, чем под виндой - и на вебинаре говорилось и я сам из опыта готов подтвердить.
498. sanfoto 502 06.04.16 13:01 Сейчас в теме
(489) herfis,
Но архитектура "все-в-одном" выручает только до поры до времени. С какого-то момента масштабирования задач появляется все больше причин и выгод разносить на разные сервера.


... а вот тут не соглашусь)) т.к. Вы имеете ввиду разнесение на разные физические сервера и Ethernet-ом их сконнектить... тут не будет "ВЕРТИКАЛЬНОГО МАСШТАБИРОВАНИЯ" -
--- а только "горизонтальное - отсчет КОЭФ. ПРОИЗВОДИТЕЛЬНОСТИ от двух-серверной системы"


"Вертикальное масштабирование" - это когда добавляем например количество CPU и видим рост производительности... или как минимум не будет падения коэв. производительности относительно точки отсчета.

"Горизонтальное масштабирование" - ну грубо говоря увеличиваем количество пользователей без значительного падения коэф. производительности (но падение полюбому будет) относительно точки отсчета.
------------------------------------------
так вот "Вертикальное масштабирование" для 1С - такое же как и для SAP -
- это например сервера на NUMA-чипах межпросессорного интерконнекта от фирмы SGI (в конфигурации SSI (Single system image) )
500. herfis 498 06.04.16 13:17 Сейчас в теме
(498) sanfoto, Так именно об ограничениях вертикального масштабирования я и говорил. С определенного момента стоимость вертикального масштабирования начинает расти сильно нелинейно и быстро утыкается в физический потолок. Да и размещение на одной железке двух разных ресурсоемких серверных приложений - само по себе не кул по целому ряду причин. Просто до поры это оправдывается минимизацией расходов на их взаимодействие.
501. sanfoto 502 06.04.16 13:38 Сейчас в теме
(500) herfis,
само по себе не кул по целому ряду причин


вот давайте без религии))

я вот по существу вопроса напишу

1) Односерверный вариант для 100 -150 пользователей на "тяжелой конфе 1с УПП " - за глаза хватает "двух-сокетного сервера"

2) если же вы вышли на многие сотни юзеров - то "само по себе... ( herfis)" подразумевается, что на Вашем уровне вполне по силам купить SSI- кластер на NUMA-чипах ..... вместо следования религии.. и пляскам с бубнами вокруг кластеров "на многочисленных разных физ.серверах" )))

пс:
про SAP - я непросто так упомянул.... НЕМЦЫ именно такое "програмно аппаратное решение" для своей "немецкой 1С-ки"))) реализуют в продакшене...

пс2:
Притом упомянутый мной пример об SGI -легко масштабируется--- и необязательно сразу покупать 10 (десять) "лезвий"... а докупать по мере роста количества юзеров...
Для 1С примерно ОДНО (двух сокетное) - SGI лезвие на каждую сотню юзверей..
508. herfis 498 06.04.16 17:10 Сейчас в теме
(501) sanfoto, "если же вы вышли на многие сотни юзеров - то "само по себе... ( herfis)" подразумевается, что на Вашем уровне вполне по силам купить SSI- кластер на NUMA-чипах"
У вас очень странное представление о бизнесе.
ЗЫ. Что касается SSI - то это просто инженерное решение одних проблем, путем создания других проблем. Оно вовсе не выглядит серебрянной пулей, когда одна задача размазывается на несколько нод. Например, четырехпроцессорный сервак будет и дешевле и эффективнее SSI на двух двух-процессорных лезвиях. Так что я бы не позиционировал SSI решением всех проблем вертикального масштабирования. Производительность при этом тоже страдает. Не говоря уже о стоимости решения. Просто позволяет выкрутиться, когда деваться некуда и горизонтальное масштабирование по какой-то причине невозможно. C 1C ситуация, слава богу, не настолько печальная, чтобы юзать SSI только для того, чтобы избежать разнесения серваков.
513. CheBurator 3119 07.04.16 00:18 Сейчас в теме
(508) вполне нормальное представление
Я полностью поддерживаю
Давно уже пора прививать понимание того что затраты на софт и железо такая же обязательная вещь как фот, коммуналка и прочее аналогичное. И увеличение колва персонала автоматически должно подразумевать и обеспечиваться увеличением мощностей за которые как ни странно надо платить
Ибо нех
sanfoto; awk; +2 Ответить
516. sanfoto 502 07.04.16 04:32 Сейчас в теме
(508) herfis,
Например, четырехпроцессорный сервак будет и дешевле и эффективнее SSI на двух двух-процессорных лезвиях.

однако не совсем так... вернее даже совсем не так))

1)У интела политика такая что самые производительные процессоры подходящие для 1С - заканчиваются на ДВУХ СОКЕТНЫХ.(Процессоры поддерживающие 4 и более объединения будут с более низкой производительностью/Частотами на ядро - я думаю это реализованно из-за проблем охлаждения процессоров находящихся в одном корпусе)

2)Процессоры поддерживающие более двух-сокетных конфигураций стоят значительно дороже. Кстати и материнки с серверами тоже значительно дороже.

3)я про SSI почему конкретно фирму SGI указал - это потому что у них реализована связь между лезвиями через NUMA-чипы- очень очень быстрая практически равная скорости реализованной QPI( Intel QuickPath Interconnect ) - но у интел ВСЕГО НЕСКОЛЬКО процессоров вроде как максимум 8, а у SGI - можно десятки двух-сокетных объединять.

Выводы:
1)У односерверной конфигурации для 1С - предел по максимальной производительности(до определенной нагрузки)-это Двух-сокетный сервер

2)Если хотим реально масштабировать практически без потерь коэф. производительности(точка отсчета из пункта 1)) - берем и соединяем в SSI через быстрые интер-коннекты нужное количество двух-сокетных платформ из пункта 1)

ПС:
когда я изучал этот вопрос(года два-три назад)
Ценник 8 сокетного сервера был 3.5 миллиона и далее, а ценник SGI-лезвия(двух-сокетный) 1 миллион - получает 8/2= 4 миллиона.
Цены вполне сопоставимы - но производительность из-за "..У интела политика такая что самые производительные процессоры подходящие для 1С - заканчиваются на ДВУХ СОКЕТНЫХ." разная.

т.е. в данном примере сервера для 1С в конфигурации от SGI 4 лезвия просто уделает раза в два по производительности односерверный 8-ми сокетный.
517. sanfoto 502 07.04.16 04:54 Сейчас в теме
(508) herfis,
C 1C ситуация, слава богу, не настолько печальная, чтобы юзать SSI только для того, чтобы не разносить сервера..

Вот тут я даже догадываюсь в чем ваше заблуждение))
Вы берете за точку отсчета коэф.производительности серверов для 1С - Двух-серверный вариант. Который уже в расчете на Один поток на 50% отстает от одно-серверного.
И естественно Вы более менее держите коэф.производительности на 3-ех.. 4-ех серверах близкий к двух-серверному варианту --
---НО КОЭФ.Производителности НА ПОРЯДОК однако отличающий от производительности Одно-серверного...

Например наш сервер(двух-сокетный) не деградировал по производительности почти до 200 потоков... вот и смотрите - считайте циферки.

ПС:
Про много-серверный кластер для 1С - я непросто так "теоретически" рассуждаю - проводил тесты + у нас в холдинге реализовали таки в головной организации такой кластер для "УПП и ЗуП" (при около 500 пользователей в каждой базе + куча фоновых заданий, что в пересчете по нагрузке практически соответсвует - по 1000 пользователей на Базу в пике нагрузки) - так вот там все печально... даже при 10 пользователях по сравнению с Нашим одно-серверным все намного медленней открывается...записывается и т.д. В итоге у нас все доки проводятся сразу пользователем примерно 1 сек... а у Них реализовано "фоновое до-проведение регламентными заданиями"... ибо иначе можно ожидать от 5 до 20 минут окончания записи/проведения на одну операцию пользователя.
497. Gilev.Vyacheslav 1910 06.04.16 12:54 Сейчас в теме
(486) sanfoto, вот на счет потоковой скорости у нас получалось постгре на тесте выполнять быстрее скуля, другое дело что потоковая скорость как раз не самое важное при сравнении, а вот с блокировками у постгре на тысячах пользователей пока не так хорошо
499. sanfoto 502 06.04.16 13:04 Сейчас в теме
(497) Gilev.Vyacheslav,
"потоковая" имеется ввиду "ОДНО-потоковая" я правильно понимаю? ))
502. Gilev.Vyacheslav 1910 06.04.16 14:36 Сейчас в теме
(499) sanfoto, ну тогда "много однопотоковых" одновременно если быть точным
505. sanfoto 502 06.04.16 15:34 Сейчас в теме
(502) Gilev.Vyacheslav,

хм.. тогда Мне непонятно о каких "у постгре на тысячах пользователей пока не так хорошо" идет речь,

если для примера пруф-линк - по данным на сайте Нашего коллеги Fragster - например на 96 потоках "постгри" отстает в несколько раз от MS SQL ???

можете циферки озвучить для одной и той-же железки: "постгри под тюнингом" и "ms sql под тюнингом"?
485. bdennis 06.04.16 00:13 Сейчас в теме
(481) awk, WinSvrStd 2012R2 SNGL OLP NL 2Proc 42 680.11р, WinSvrCAL 2012 SNGL OLP NL DvcCAL *50 70 709.50р, итог 113 389.61 примерно $1645,95

И это поставка "вшивей" некуда. Посчитать MSSQL + CAL? Счет станет разгромным. И не надо сказок про поддержку от Microsoft. За исключением некоторых избранных, простым смертным гораздо проще и быстрее обратиться на форум сообщества.
Для примера: у мена проблему с неправильно присланной информацией о ключах, партнеры MS решали 4!!!! месяца.
487. herfis 498 06.04.16 09:49 Сейчас в теме
(476) awk, В случае приобретения энтерпрайзных линуксов, деньги платятся в основном за оперативную и качественную поддержку. Практически только за нее. Так как с другого бока подпирают бесплатные версии. И у бизнеса есть простой выбор в случае снижения качества этой поддержки или потери ее экономической целесообразности. Есть вполне реальные случаи бизнес-переходов с RHEL на Ubuntu Server, например. Это держит производителей в тонусе и в условиях здоровой конкуренции. А в случае майкрософта ты тупо должен денег. И ты их заплатишь в любом случае. А дальше - как повезет. Как правило - везет не так чтобы сильно.
Под нативностью я подразумевал, что postgresql под windows, вся окружающая его инфраструктура и тулинг пилятся по остаточному принципу. Именно потому, что реальный postgresql-энтерпрайз - под линуксом и все внимание туда.
Ну не будет сообщество костями ложиться на его вылизывание под проприетарную систему. Потому что на текущий момент это linux-сообщество в своей основной массе.
479. CheBurator 3119 05.04.16 15:35 Сейчас в теме
В сегодняшней газете "Коммерсант"

"В 2015 году российские государственные органы и госкомпании закупили софт и услуги американской IT-корпорации Oracle на 3,39 млрд руб., то есть сразу на 25,7% меньше, чем годом ранее, подсчитали в исследовательском центре TAdviser. Представитель Oracle Марина Савинова заявила "Ъ", что статистика не отражает реальной ситуации, но представить более точные данные не смогла. Снижение спроса на продукцию Oracle в большей степени вызвано ее подорожанием вслед за снижением курса рубля, уверен главный редактор TAdviser Александр Левашов. "Чисто политические причины отказа от использования Oracle тоже возникают, но редко. Самый яркий случай — "электронное правительство" Крыма, куда американским компаниям поставлять продукты запрещено",— поясняет он."
Подробнее: http://www.kommersant.ru/doc/2955417

Ситуация явно обеспокоила американскую корпорацию, из-за чего она включилась в открытую конфронтацию с конкурентом, что на IT-рынке большая редкость. Так, пару недель назад "Ведомости" сообщили, что Oracle рассылает среди IT-компаний документ с описанием недостатков PostgreSQL. Позднее в сети появился и сам документ, по сути представляющий собой подсказку для госзаказчиков, как обойти законодательное ограничение и обосновать необходимость закупки решения Oracle.
Подробнее: http://www.kommersant.ru/doc/2955417
480. leksmut 350 05.04.16 15:42 Сейчас в теме
Из комментов понял, что брать\платить деньги за вебинар от необъезженного на бесплатных вебинарах это сомнительное удовольствие.
Минмум один бесплатный вебинар от спикера прежде чем выставлять за него цену иначе помидоров, как в этом случае, будет вагон и маленькая телдежка.
490. Fragster 1138 06.04.16 10:28 Сейчас в теме
Интересно, чем можно объяснить такой интересный график временных таблиц (то, что его уровень на уровне справочников и его колбаса в конце)

http://fragster.ru/perfomanceTest/result.php?guid=2717762f-fb30-11e5-960a-00151741bd35
или даже когда временные таблицы ниже уровня физических?

http://fragster.ru/perfomanceTest/result.php?guid=a825924f-fa74-11e5-9609-00151741bd35