Коллеги.
Прошу принять наши сожаления и извинения в связи с тем, что подача материала была несколько хаотична в обычном понимании.
На будущее спикер обязательно учтет ваши пожелания по способу формирования и преподношения информации.
Вебинар изначально был задуман с целью принести конкретную пользу как начинающим специалистам, так и "прошаренным" пользователям PostgreSQL, поэтому были даны скрипты с показом их работоспособности.
Ниже публикую ссылки в соответствии с анонсированным планом веинара.
(389) yasplush, А можно еще выложить екселевскую табличку с экономическим обоснованием перехода на open sourсe в применении к 1С, на базе методики Gartner (если не путаю)? Которую показывали в самом начале и вроде обещали выложить тоже.
(393) herfis, Все материалы , дополнительная статья с ответами на вопросы и таблички будут обязательно выложены. Точные сроки сказать не могу, думаю после выходных.
(389) yasplush, Пробовал развернуть и на убунту 14,04 и на дебиан 8,3
везде после запуска рун.сх вываливаются ерроры и ничего больше
Дебиан
root@psql:/home/pgsteroids# ./run.sh
./run.sh: line 38: sudo: команда не найдена
Failed to stop container (powa-vasya-pgsteroids): Error response from daemon: No such container: powa-vasya-pgsteroids
Failed to remove container (powa-vasya-pgsteroids): Error response from daemon: No such container: powa-vasya-pgsteroids
Failed to stop container (postgres-vasya-pgsteroids): Error response from daemon: No such container: postgres-vasya-pgsteroids
Failed to remove container (postgres-vasya-pgsteroids): Error response from daemon: No such container: postgres-vasya-pgsteroids
Failed to stop container (pgstudio-vasya-pgsteroids): Error response from daemon: No such container: pgstudio-vasya-pgsteroids
Failed to remove container (pgstudio-vasya-pgsteroids): Error response from daemon: No such container: pgstudio-vasya-pgsteroids
5da808329774257d35cf87225afbf22602f90a3b3735f62b1d2a5001d235a301
docker: Error response from daemon: Container command could not be invoked..
b374ef1f1067ed784eae6119d9afc466c45ceee4eb680d31f3448503649a0b3a
docker: Error response from daemon: Cannot link to a non running container: /postgres-vasya-pgsteroids AS /powa-vasya-pgsteroids/db.
ca00208308032021e5bcb5e551231660782f4a596bccfa28523cdf4de5789022
docker: Error response from daemon: Cannot link to a non running container: /postgres-vasya-pgsteroids AS /pgstudio-vasya-pgsteroids/postgres-vasya-pgsteroids.
powa-root-pgsteroids
powa-root-pgsteroids
postgres-root-pgsteroids
postgres-root-pgsteroids
pgstudio-root-pgsteroids
pgstudio-root-pgsteroids
453a0145a5d77756de4fa5a2ec92521183d599b138b5f866bd5faa418c4a2273
docker: Error response from daemon: Container command could not be invoked..
1d204bc833df20342e95d94a3148ee1df620c09158ef0a310fbb827f4936c646
docker: Error response from daemon: Cannot link to a non running container: /postgres-root-pgsteroids AS /powa-root-pgsteroids/db.
234c2003e2c36e1b558046c3aa0ed83ea7f452e27ff4dd77c865f6794baf634a
docker: Error response from daemon: Cannot link to a non running container: /postgres-root-pgsteroids AS /pgstudio-root-pgsteroids/postgres-root-pgsteroids.
(418) matashnikov, что значит на debian ? скопировали код ? vagrant up делали ?
* зачем нужен vagrant - показать что хост настроен одинаково у всех.
* зачем нужен docker - чтобы контейнеры запускались одинаково у всех.
(419) извини - мы с pumbaEO тебя немного попиарили. Я таким образом эмулировал отказ в обслуживании при достижении максимального количества соединений.
(420) lustin,
vagrant не запускал, использую для тестирования отдельную машину, так как в вебинаре было указано что всё работает на убунту 14,04 - на ней и делаю
развертывание "с нуля" - https://github.com/VanessaDockers/pgsteroids/blob/master/postgres/Dockerfile опять таки, я считаю если дан скрипт для раскрытия темы, то запустив его должно всё с нуля собраться, но что бы его выполнять надо снова ставить что то ещё промежуточное, как по мне то это не является раскрытием темы, а является примерами работы с докер, вместо нормального раскрытия темы
Давайте я опишу простыми словами чем мы занимаемся и чем можем реально помочь в решении проблем:
У меня небольшая фирма занимаемся техническим сопровождением компьютерной техники и серверного оборудования, так уж получилось но в 010 году пришлось столкнуться с миром 1С. Надо сказать что на серверах держали только Linux. Поэтому с 2010 года начали пробовать с 1С по хардкору на Linux. Перепробовали некоторые варианты в продакшене начиная с терминалок по NX и проброса оборудования с кассовых узлов на 8.2 и 7.7.
Пришли к следующей работающей в продакшене архитектуре:
Минимальная - магазин на 10 - 30 кассовых узлов.
Процессор минимально i5 начиная со второго или третьего поколения (недавно тестировали на Celeron - могу описать результаты и конфигурацию HP Gen8)
Оперативная память от 8Гб DDR3
Жесткие диски обычные в RAID1 - софтверный (тестировали на Adaptec железных. У нас производительность на ssd - а на них как раз базы работают не стоит с вложений. Но это наш опыт, может быть мы не правильно использовали кеш)
Один диск под бэкап
Минимум один SSD под базы
Источник бесперебойного питания ставится интерактивный - что бы корректно сам выключал сервер при падениях напряжений APC 800 серии - стоят бюджетно под никсы отлично взлетают
SSD размечаются правильным образом - это важно для производительности даже на серверных SSD. Размечаются на одну треть от всего объема можно до половины - зависит от нагрузки на SSD. За счет этого скорость записи не деградирует от заполнения диска и износ диска резко уменьшается. При такой разметке кеш железного рейда дает выхлоп на предельной нагрузке при записи на SSD. У нас это редко проявлялось, поэтому в этой конфигурации от железного рейд контроллера Adaptec отказались.
В качестве хост системы(ОС ставится на железо) используем Ubuntu Server 14.04
Настраиваем софтверный рейд
Поверх настраиваем LVM
Делаем рутовый раздел на ext4 и своп под размер оперативной памяти(на всякий случай) - но если у вас в системе дело дошло до свопа, то стоит сильно думать что в архитектуре менять.
Такая архитектура дисковой подсистемы нам позволяет изменять размеры дисковой системы виртуальных машин прямо на лету, не перезапуская виртуалку. Есть одна хитрость, могу рассказать.
Далее ставим LXC - это контейнерная виртуализиция. На ней работает Docker который вскользь затронули на вебинаре
На LXC разворачиваем виртуалки с 1С и postgres + виртуалку с общеими папками Samba + в редких случаях контроллер домена на Samba 4. Но на 10 - 30 минин из нашего опыта контроллер избыточен, даже условно бесплатный.
У контейнера в качестве рутового раздела используется lvm раздел.
Для баз данных внутрь контейнера пробрасывается SSD диск. На нем лежит весь postgres, если это один ssd диск. Если ssd дисков два, то на второй диск кладем журнал.
Есть еще раздел с временными таблицами у postgres туда ведется временная активная запись когда данные заносятся в таблицы postgres, в частности когда идет загрузка базы. Эту папку подключаем как виртуальный раздел файловой системы размеченной в оперативной памяти - tmpfs
Таким образом вся запись идет в три потока по дисковой шине SATA3 и временные таблицы никак не тормозят процесс потому что отрабатывают с большей скорость чем дисковая подсистема (пишутся в оперативку)
Теперь о postgres - используем типовой 9.4.2 с сайта 1С балуемся только конфигами (поэтому очень интересовал вебинар)
Очень важно распределить буфер памяти - рассчитать максимальный объем памяти под postgres и вычислить из этого shared статья в помощь http://infostart.ru/public/325482/, для начала можно использовать совсем простой способ http://pgtune.leopard.in.ua/ Далее ставим виртуализацию KVM и накатываем туда Windows7 для удаленного администрирования всем этим хозяйством
Под нее отдаем 1 ядро и до 4 Гб оперативки - если щедрые.
Эта винда используется только для консоли администрирования сервера и выгрузок 1с в dt - простые манипуляции через конфигуратор. Манипуляции через виртуалки расположенные на другом сервере крайне тормозят выгрузки и работы с базами. Могу предметно рассказать почему
Иногда на этой виртуалке разворачивается сервер лицензий типа Катран под всякие Альфа Авто.
Вот очень кратко описал нашу типовую минимальную конфигурацию под магазины. Надо сказать что далее все это подключается через OpenVPN к центральным серверам и разруливается скриптами и через Web интерфейс.
Чем могу помочь:
Есть выделенный сервер i7 4770K 64Gb DDR3 2x2000Gb 2x250Gb SSD3 Adaptec на 4 порта c резервированием по питанию, канал грустный - 100Mb
Сетевая карта Ibm на 4 порта по 1Gb каждый, под кластер. Наружу реализовать не получится - канал не позволит.
Для кластера можем предоставить оптический канал на 10Gb между нодами. Но вторую и третью ноду надо будет выдергивать из проектов, поэтому только по запросам.
Могу предоставить для тестирования и в качестве стенда. Могу отдать по SSH и RDP. Все проблемы администрирования могу взять на себя.
Можем поделиться BASH скриптами для развертывания всего этого хозяйства под LXC резервное копирование и восстановление из резервных копий. Скрипты старые но работают. Скрипты могут развернуть хозяйство как в LXC так и на хосте. Python не можем пока отдать... сделано в MVC модели и на объектах... поэтому вот так отдать кусок от всей архитектуры пока не получится.
Это не статья, я просто описал чем занимаемся и чем можем помочь. Но думаю, критики сейчас польется по полной.
(398) думаю он делится результатом подгона железа и инструментов опытным путем под определенные требования. И предлагает площадку под тесты? или я не права? (399)
Я описал типовое минимально железо на котором можно развернуть например магазин на 10-30 касс с оборудованием. И просто поделился опытом как это организовано у нас. Описал очень крупными мазками. Если кому то вообще это будет интересно, то могу расписать подробней с нюансами. Если не интересно, то никаких услуг я вам своих не рекламировал и ничего никому не продавал. А просто предложил безДвоздмезно использовать дря разумных идей и в качестве тестирования то железо которое у нас просто валяется.
(400) а почему, если у вас есть свободное железо и свободные "мозги с руками" вы не пробуете другие вариации? Ведь даже когда одна система в целом устраивает, все равно хочется найти более оптимальный вариант, с использованием новшеств. Кому-то может из клиентов пригодиться другая комплектация железо+ПО
(404) Могу ответить просто:
Железа свободного хватает, постоянно освобождается от проектов. Мозгов свободных нет вообще. Конфигурации все приближены к типовым. У нас бизнес и все должно быть параллельно и перпендикулярно. Потому что и программы пишутся сразу под всю архитектуру и поэтому свой gitlab развернут. Но нам интересно пробовать другие конфигурации. Предлагайте варианты. Есть даже многопроцессорное железо. Из той конфигурации которую я предоставил, могу сказать что на 50 пользователей хватит под никсами - это тестировали. Если не городить все на винде. Может и на 100 заедет, но это не тестировали - может какие нюансы выскочат.
(400) stneon, Вообще-то интересно. Если всем это не очень интересно (особенно несчастливым с базами от 200Г), то можно в личку.
Опыта с Линуксом Постгрисом маловато, но хочется идти вперед.
И еще, есть ли у кого опыт работы с бюджетными конфигурациями (БГУ, ЗКБУ), в том числе на обычных формах (НЕуправляемых)
Максимальные конфигурации редко людей интересуют... Но могу сказать что мы уперлись в 40Гб базы и есть проблема. Хотим понять. В некоторых случаях доставляют проблема даже 8 Гб базы. Например Альфа Авто 5.
(413) поддержу... у нас одна из основных весит уже более 270Гб... Ее пока на MSSQL держим. Мелкие на PostgreSQL переводим.
(414) смотря что ты от него ожидаешь. скажем так, он не стандартный по формату "тыкните сюда и будет щастье", он по формату "присмотритесь вот к этому и будет менее больно и жестоко" :)
Я.метрика зарегистрировала беспрецедентный рост посещаемости http://fragster.ru/perfomanceTest/ , оказалось, что с ветки вебинара около 70 пользователей пришло. Интересно, что там обсуждалось. А также забавно, что эти посещения пришлись прямо на момент допила, так что могло что-то не работать. Причем совпало мое решение допилить сайт (впервые за год, наверное) с этой волной посещений. Зато теперь там красивые графики.
Алексей, спасибо за вебинар, кое-что очень интересно, однако же лектор из вас как из бутылки молоток, надеюсь, вы и сами это понимаете. Приходится продираться сквозь бесконечное мычание и блеяние, слова-паразиты"э-э-э", "а-а-а", "на самом деле", отступления, незаконченные предложения, забытые пароли - вы явно не готовились к вебинару вообще. Вот расшифровка пары минут вебинара, где-то 2:40 или 2:45, после перерыва, оцените сами:
" -- А-а-а... кхе-кхе, (шмыгает носом, длинная пауза), щас, секунду. Модель подачи у нас достаточно такая, что мы хотим вам показать, э, что б вы быстрей дошли до конца. Мн-э-э, особенность... А-а, м-м-м, одна из вещей , э-м, - деле не в Постгресе, а в Постгресе для 1С. Э-э, вам нужно понимать, какие конкретно будут проблемы с э-Постгресом, то есть я щас, м-м, не буду показывать уже экран, э-э-м, пока у нас, а-а-а, а-а-а-а-мм, здесь закончилась, а-а, давай так, чуть поподробнее: м-м, я, э-э-м-э, классическая, э-м, ситуация, что-о-о, эхм, все хотят настроить Постгрес как Постгрес, и это одна из ошибок, э-м, администратора! И не понимая друг друга поведения с одинэсником. А те одинэсники, которые понимают с один эс поведение, эм, с поведением 1С с Постгресом, не понимают особенностей Постгреса. Поэтому давайте еще посмотрим, как себя ведет 1С. Я показал вам что, а-а-а, э-м-м-м-м, неиндексирование, э-м, ну вы видели, что, м-м, один-эс-экстеншнов, в данном случае гипоиндекс, э-мн-э, вы можете посмотреть, э-э, в гит-репозитории, щас, я посмотрю нет ли чего, а-а-м-м, вы можете посмотреть в гит-репозитории, давайте перейдем опять к небольшому, э-эм, демо, они мои любимыке, я их использую всегда что б, э-э, показать, э-э, собственно проблему, а-а. Откроем некую конфигурацию, э-э, конфигурация достаточно простая, э-э-э, классическая конфигурация э-э для всех вещей, то есть вы обнаружите такую, у, где угодно, э. Да, будет инородная(?) таксишная конфигурация, где происходит какой-то набор документов. А-а, смотрите какой момент: как вообще работает автоматическое определение отсутствующих индексов с помощью, э-э, одного из стероидов, кто не понимает, что вообще, собственно, все вот эти примеры, которые, как вы помните, это и есть комплекс стероидов, посмотреть его можно вот здесь, какой же экстеншн за это отвечает? А-а, если мы зайдем, э-э, в сборку, а-а, Постгреса в Докере вы увидите, что, а, вот, э, э-э, существует специальный эктеншн, а-а-а, в данный момент он официально э-э, не очень рекомендован использоваться в продакшне, если вы зайдете на сайт далибо не будет вам это говорить, а-аа-м-н, но-о, как показывает практика, именно этот экстеншн, то есть создание простого, то есть CREATE EXTENSION, CRE ATE DATABASE POVA и в темплейте, то есть вот такая конструкция позволит вам активировать, - зачем в темплейте? давайте так, давайте поподробнее: теперь создание, э-эм, с помощью этого экстеншна в любом Постгресе, в любой базе Постгреса, которую мы будем создавать один-эсной, получим подключенное, э-э, подсчет гипотетических индексов", ну и так далее.
Сильно напоминает эпизод "безумное чаепитие" в "Алисе в стране чудес", не правда ли?
Алексей, раз уж вы сами не силах правильно подать материал - распечатайте его на бумажке, позовите студента из театрального, за сто баксов он прочтет всё вслух и с выражением!
(422) вот как так получается - я сказал что ВАГРАНТ основан на Ubuntu, докер контейнеры основаны на Debian для PotgreSQL и заоострил на этом внимание.
А также заоострил внимание что на хостовых системах не используйте CentoOS. Кстати в свете последних новостей из стана REdHat есть предположение что RPM'щикам скоро придет конец.
* на железном сервере лучше развертывать Debian после того как попробуете все в связке.
в рамках подготовки статьи:
* я добавил pgBadger - чтобы показать как ведет себя VACUUM.
* по просьбе из вопросов - добавил скрипт развертывания Barman для показа бэкапирования.
* добавил 3 раздела - чтобы показать как и какими скриптами мы разносим таблицы 1С по дисковой - полезно будет и Windows пользователям
(424) ты будешь смеятся - именно в ответственный момент отвалилось. У тебя в конфигурации есть приятный момент - ты держит потоки на сервере пока не будет записан тест: таким образом урезав соединения до 100 на PG я добиваюсь демонстрации примера отказа PG по достижению максимального количества соединений, и у тебя в конфигурации есть отсутствующий индекс, который hypoind подхватывает на лету - РегистрСведений.Синхронизация.НомерПотока, 2400 раз ты по нему ишещь с отбором по измерению, а он у тебя не индексирован (только пока не чини - очень показательно на примерах)
(428) lustin,
вот как по инструкции: https://github.com/VanessaDockers/pgsteroids#vmware-hyperv-virtualbox поднял виртуалку с убунту 14,04 64 бита
установил последний докер
добавил пользователя в группу
создал директории
запустил билд и после ран, но результат тот же самый что и раньше
de39b5202995df3022396013a8e6ba087d04724c6b115d220f9a77d43b0ce404
docker: Error response from daemon: Container command could not be invoked..
f95899841d17003d6274d5834e59e3420fee8a3e5d7e09597bb668606ed1f609
docker: Error response from daemon: Cannot link to a non running container: /postgres-root-pgsteroids AS /powa-root-pgsteroids/db.
9b609f2553d04352a239aea75186723e3ce772966d123d617121b70a5af56755
docker: Error response from daemon: Cannot link to a non running container: /postgres-root-pgsteroids AS /pgstudio-root-pgsteroids/postgres-root-pgsteroids.
(426) - что ж вы все такие умные. Смысл сотрясать воздух? Возьми и сделай сам, хоть вебинар, хоть перерой весь интернет в поисках необходимых утилит и скриптов. Я вот сомневаюсь, что много кто, найдя нужную и стабильную утилиту, поделится ей с окружающими. Вы руками проделайте все эти тесты и подборки в различных комбинациях, выйдите на стабильную и полезную комбинацию. Поделитесь после этого??? Пока что ни одного предложения, кроме предложения автора. Почитай пост (388) будет полезно.
соглашусь с (427) - для всех солнышком не будешь. Полезные "фишки" перекрывают некоторые недостатки. Повторюсь, на гугле нет забаненных.
Опять таки повторюсь, информация по большей части ВЕЗДЕ дается не как "бери и пользуйся", а как "бери, изучи, пойми и используй только ту часть, которая тебе необходима и полезна в твоей области, в сочетании с другими входными данными". Особенно это актуально для бизнеса. Бизнес многое решает, а мы с ним неразрывно связаны.
Хочется тоже написать отзыв по вебинару.
Сразу скажу что купил не за 500р, а за 1500р и не жалею нисколько.
По содержанию вебинар был очень насыщен, конечно манера рассказа была так себе. Очень многие мысли не были закончены. Но для меня цель была достигнута: я получил направления дальнейшего углубления в тему. И за это спасибо.
Как человек, читающий переодичесик вебинар, скажу что читать НАМНОГО тяжелее если не видишь аудиторию и ее реакцию на свои слова. Это две большие разницы читать лекцию группе и читать вебинар тем более такой огромной аудитории.
По поводу отказа Алексея читать вебинары: даже не вздумайте. Невозможно быть для всех пушыстым. Кому то не понравилось? ок - вернули деньги(если возможно) и все.
Я давно слушаю ваши публичные записи, вам есть что рассказать на вебинарах. Просто нужно меньше распыляться и темы выбирать не такую широкую.
Чтото мне подсказывает что структуру вебинара составляли пиарщики. Хотя может я не прав.
Отдельно хочется поблагодарить администрацию за качество трансляции. Я до последнее не верил, что нагрузка будет выдержана.
По поводу повышения цены: за цену 500р я не видел рекламки, но купил за 1500 т.к. должна была вырасти. Итог не было бы такого подхода, наверняка бы я отложил покупки и забыл потом про вебинар.
- Вакуум, Вагрант, Докер..
- ..я, кто эти люди..?!
1. Платил 1500 (500 не удалось с личного счета стартманей - вываливалось с ошибкой, когда удалось/починили уже 1500, претензий не имею, жаба дрессированная)
2. получил примерно то, что рассчитывал.
3. потому что надо ездить на конференции инфостартовские и смотреть на спецов, чтоб sgjnjv смотреть идти ли на их вебинары.
4. совсем не линуксоид (попытка поставить когда то давно с компьютеровского диска позорно провалиласб на этапе манимпулирования разделами чтобы поставить паралельно с Виндами, плюнул, пока не пригодилось.. ;_0
5. мало-мало админ - когда-то давно - скорее продвинутый эникейщик.
6. контора небольшая, все - винды, все - лицуха.
7. есть понимание что надо смотреть и в сторону невиндов, поэтому пришел на вебинар просто посмтреть-послушать.
8. куча контор, которых обслуживает не аутсорсинг нормальный, а отсосинг какой-то.
9. куч контор где на все-про все 1 админ-винтикошпунтиковской закалки + 1сник-девелопер
10. как правило это все - на виндах, админ попутно еще кучей всего занимается быть ГОЛЫМ АДМИНОМ - не получается/нет возможности/прочее
11. весь этот линуксопарк - это как аттракцион развлечений в лунапарке - куча мигалок и свистоперделок, куда и что - глаза разбегаются, а "это - что за хрень..?", о - вы на этом аттракционе гульбанили? - гулбанил! таращит небэдово, но я больше по грибам, про траву мало знаю...
12. но пробовать-то надо - линуксовидов под рукой нет
13. нужен готовый линуксовый "пакет под 1С(ника)" - чтобы ТУПО поставить, и пробовать как это все 1сное крутится на линуксе (для начала), хорошо если это будет крутиться не зхуже винды при тех же "нагрузках", дальше - "продвинутый пакет с покером и стюардессами" - это даже не продакшен, ни в коем случае - это стенд. но стенд не для конфигурирования никсов и субдов в первую очередт. а в первую очередь "попробовать и проверить как оне на невиндах". Чтоб было поянтно как оно - это д.б. сборка "пакет для 1С(ника)" с приемлемым качеством работы порядка до 20-30 полльзователей. Крутится более-менее нормально? - БУДЕМ КОВЫРЯТЬ ПРЕДМЕТНО ДАЛЬШЕ УЖЕ. за такой "пакет для 1Сника" (от спецов!!!) - не в лом и заплатить.
..
как-то вот оно так...
14.
(432) Могу вам устроить такое счастье. Еще и клиент под Ubuntu и web-интерфесом, но на типовых и только на управляемых формах.
При желании еще и ставиться будет скриптами. Могу и разжевать что почем.
(433) и почем это стоит?
.
тут как в анекдоте:
- У вас вопрос или вы не знаете как вести бухгалтерию?
- Вопрос, как вести бухгалтери?
.
так и у меня - вопрос... ;-)
(440) Хотите, настройте ему Вы. мне нисколько не жалко. Но думаю вам времени нет - вы все по облакам летаете :) Почитал вашу статью по DevOps забавненько... Теории много, а на практике все дыряво и из рук валится. регулярно общаюсь с такими на ITExpert. Помахают руками, а потом в туман свалят... Потому что когда дело до ходит до дела, такая масса нюансов в "надерганой" архитектуре всплывает что потом весь проект клином стоит.
Это типичный Windowway - там и сидите, не лезте в никсы. Явно архитектор Windows перелезающий в мир никсов, а мозги еще не перестроились, похватать да налепить.
(440) Вы просили вопрос по теме, я вам написал что будем тестировать и на чем. Предложите как тестировать :) А то по существу ни грамма. Начитались ZFS пиара и бегаете с транспарантом. Я лично не горю желанием патчи накатывать на ванильное ядро.
(433) stneon, да и я бы о таком только мечтал. Вот уже третий час осваиваю установку этого богатства в убунте с решением проблем с зависимостями - и все это просто чтобы потестить.
(432) Запомните на тему линукспарка и остальных технологий, при вложении в какую то технологию рассматривайте это как инвестицию в нее. Вкладываться на срок менее чем 5 лет вообще бессмысленно. Реально это 10 лет. Если делать нормальный продакшен, то вложения в технологию начинают окупаться не раньше третьего года. Таким образом мы в 2010 году долго выбирали между Ubuntu и CentOS, победила первая, хотя более зрелой была именно CentOS. Сейчас проще выбрать - из всего зоопарка Linux вам реально имеет смысл вкладываться только в Ubuntu, c перспективой если что, то быстро спрыгнуть на Debian, что бы отсидеться и принять другое решение.
И я вам рекомендую перелезать на Никсы. Впечатление после Windows - будете получать удовольствие, это действительно интрумент для работы. Удовольствие от того на сколько все удобно и просто, а главное логично. Я честно от всего сердца могу сказать что Windows по сравнению с Linux ужастно сложная система... с ней невероятно трудно работать в продакшене. Если конечно вам нужно работать, а не лепить из того что было.
(453) audion, как я писал выше - ожидался выход 9.5.2 от PostgresPro и как я давал выше ссылку теперь стало возможно использовать в связке с 1С Barman НЕ через SSH а через потоковую реплкиацию http://docs.pgbarman.org/release/1.6.0/#streaming-connection
(450) stneon, мне кажется, что 1С это весьма специфический набор данных, для которого сжатие может быть более важным, чем ситуация описанная в тесте. Но и мне кажется, что btrfs с lzo будет быстрее zfs. И это вопрос я оставил в разделе вебинара.
По факту кинули. Содержание вебинара сильно не соответствует обещанному, написанному в описании. Обидно и неожиданно. Остается надежда на обещанные ответы текстом, и то слабая...
кроме действительно не совсем понятного выбора файловой системы ZFS, как я уже выше писал, есть еще странности. В частности, что у некоторых, посмотревших вебинар может создаться впечатление, что VirtualBox это система, которая вполне подходит для чего-то более, чем уровень студентов и домохозяек и его можно использовать на рабочих серверах.
В качестве рекомендации ведущему:
Если используете Linux, используйте средства, которые он вам предоставляет. Это KVM с libvirt. С вариантами, которые вам удобны. Если у вас отдельный сервер, то на нем можно установить чистую KVM с libvirt. Управлять либо из консоли, либо удаленно с помощью virt-manager или gnome-boxes. Если хочется web-интерфейс, то есть oVirt. Также имеется прекрасный основанный на debian дистрибутив Proxmox VE (хотя я лично его не могу рекомендовать, так как он не использует libvirt и поэтому не кошерен:) ). Если у вас кластер, то нет альтернативы OpenStack. По той причине, что все это за исключением Proxmox VE разрабатывается и поддерживается RedHat, а так же принимая во внимание свой опыт по этому поводу, я настоятельно советую использовать RPM дистрибутивы для гипервизоров..
(463) bdennis, Vagrant давался как полный комплект преднастроенный под проверку и эксперименты - зачем вам слова, если можно потыкать сразу и посмотреть как оно работает. VirualBox просто разработческий провайдер который позволяет развернуть одной кнопкой "у себя"
Чтобы перенести данный комплект на Production - это уже зависит от того какой у вас production. Если у меня OpenStack - не могу я же рассказывать как чудесно работают 48 серверов PostgreSQL на OpenStack. Люди вот Windows PostgreSQL используют. Поэтому как и обещал выше, я занят тем, чтобы описать как это портировать на Windows и какие особенности с этим связаны.
Контур проверки у меня Windows Server 4 core * 16 RAM - для 100 пользователей достаточно. Сжатие конечно сразу теряется - но тут во всю силу всплывает особенность TOAST и размера записи. Хотя MCHAR как то хитрой сразу жмется по умолчанию.
О том что в продуктвных средах для гипервизоров стоит использовать RPM - полностью с Вами согласен, точнее даже не я согласен: я просто смотрю что другой альтернативы нет. А вот для запуска PG - стабильней ведет себя именно debian. У меня есть только исследование 2Quadrant На эту тему. Ему и доверяю.
Однако на вебинаре я четко обозначил - что НЕ доверяю гипервизорам, пока не знаю кто его настраивал.
Повторюсь VirtualBox дает всем слушателям вебинара сделать на локальном компьюетре развернутый НЕ чистый контур PostgreSQL для 1С и "погонять его" и понять например зачем я в него добавил pg_prewarm на 3 системные таблички.
P.S. Насчет ZFS - я ссылаюсь на вот эту статью 2013 года. https://www.citusdata.com/blog/64-zfs-compression, скажу сразу - мы для своих серверов перенесли данные на этот раздел. Учитывая что мы жестко забэкапированы и проверяли восстановление в случае аварии средствами barman, этот риск, что якобы файловая системы НЕ стандартна мы приняли. В продуктиве если не соврать - 7 месяцев. Что я еще могу сказать - согласно данным POWA и pgBadger дисковые операции стали на порядок меньше, а "попадание" в кэш также. Но опять же -это наверное субъективизм. Я просто уже привык что базы 1С надо сжимать как только можно - это всегда лучше. Даже на MSSQL.
И еще раз повторюсь - насчет гипервизоров полностью согласен. Там RPM отлажен и "оттюнингован". Причем - это конечно к делу не относится, но я был удивлен, что в Nutanix и им подобным платформам - обязательно CentOS.
P.S. И параллельно учитывая моральные обязательства и ажиотаж - мы начали проверки CitusData для 1С: кластер из них работает без падений. Произвеодительность сделаю в виде отдельного материала, когда закончу с Windows
(464) lustin, спасибо за развернутый ответ. Теперь я спокоен.:) С нетерпением жду, когда вы попробуете btrfs с lzo. Ожидается значительное ускорение IO, особенно в случае с pgsql. Результатами, надеюсь, вы где-нибудь поделитесь.
(465) bdennis, у меня есть тесты EXT4, XFS, BTRFS and ZFS с PostgreSQL 1С и нативным PostgreSQL - но они разные и холиварные. Я поделюсь позже. Когда волна от вебинара уляжется.
(465) bdennis, я тут финально подбил вопросы с вебинара и написал текстом на них ответы. Мне просто интересно Ваше мнение - действительно ли стоит делать публичным такое сравнение для 1С типов данных и для её табличек. 70% или больше людей используют PostgreSQL под Windows - для них эти игры с файловыми системами и хитрыми параметрами монтирования, как нечто из другого мира.
P.S. Но в Vagrant файл я добавлю параметр - какую файловую систему использовать "для игр", это действительно будет всем полезно.
(474) lustin, считаю, что это очень важно. Кроме того, Вам очень "повезло" с пользователями при такой статистике. Мне неизвестен ни один случай среди моих клиентов использования pgsql на Windows для целей 1С.
На самом деле, много тестов не особо нужно. Понятно, что ext4 в режиме noatime nobarrier nodiscard порвет все в клочья, однако, именно в случае с 1С с pgsql, т.е. много файлов совсем маленького и частично большого размера, есть вариант, что может себя проявить btrfs со сжатием lzo.
(469) GROOVY,
да напишите нормально: через пять дней они будут доступны (т.е. выложены), или их смотреть можно в течении пяти дней после проведения вебинара.
А то не совсем понятно вы их только выложите в течении 5 рабочих дней или они будут доступны для просмотра в течении 5 дней.
К четвергу выложим все материалы. Доступны будут условно неограниченное время (пока сервак не полетит или автор не надумает публикацию удалить). Подождите немного.
(471) GROOVY, Вы можете важные моменты дописать внизу к описанию вебинара?
Просто читать постоянно весь бред, что тут пишут нет ни времени ни желания. Но не хочется пропустить важные ссылки и\или момент публикации.
(471) GROOVY, Добрый день. Записывался на вебинар знаю заранее что посмотреть не смогу(разница в часовых поясах).Надеялся получить видео и материалы. Когда они все же будут?
70% или больше людей используют PostgreSQL под Windows
Откуда такая статистика? У меня сложилось прямо противоположное впечатление.
Даже самый подзаборный одинэсник (можно сказать, что я про себя) в курсе, что нативно postgres работает под линуксом. Все мало-мальски серьезное использование в продакшене, о котором я слышал - под линуксом. И потому что postgres для него нативен и потому что линукс дешевле винды по лицензиям и вообще идеальная серверная ось для большинства задач :) Как бы очевидная связка. Под виндой используют обычно на относительно небольших и некритичных по производительности базах как простой бесплатный движок. Типа поставил на поиграться - вроде работает. Ну и пусть работает. Так для поставить и забыть много ума не надо.
Но мы же о настоящем продакшене. Так что любые результаты серьезных тестов в разном линуксовом окружении в применении к задачам 1С - очень и очень интересуют. Такой информации катастрофически мало в открытом доступе и ваш опыт тут сложно переоценить. Не переносите негатив от вебинара на тот опыт, который вы пытались донести и не ударяйтесь из одной крайности в другую. Да, вебинар был плохо спланирован и плохо проведен. Но это отнюдь не умаляет ценности и востребованности ваших знаний. Поэтому побольше инфы. Любой. Пусть спорной, холиварной и субъективной. Да, псевдогуру будут самоутверждаться и поливать. Зато кому надо - намотают на ус и скажут огромное спасибо.
Даже самый подзаборный одинэсник (можно сказать, что я про себя) в курсе, что нативно postgres работает под линуксом. Все мало-мальски серьезное использование в продакшене, о котором я слышал - под линуксом. И потому что postgres для него нативен и потому что линукс дешевле винды по лицензиям и вообще идеальная серверная ось для большинства задач
Вот же чушь. И лицензии на Linux дороже (чем Windows), и PostgreSQL под Windows - native.
(481) awk, когда сервер выбирается для чего-нибудь действительно серьезно навороченного и сам сервачок стоит несколько миллионов вечнозеленых, то сумма в килобакс за юзверя вообще погоды не делает. Туда и винду поставить можно, конечно, и даже выйти может дешевле, но саппорт с виндой, сами понимаете, будет на уровне вообще ниачом.
Есть другие решения - фряха с той же ZFS, под которую можно собрать постгри - тут сама система может выйти несколько дешевле, если админ вообще в курсе, как там все работает и что куда крутить и в какой последовательности нажимать. Кто-то может и генту поставить, а кто-то - и дебиан на ядре от фряхи - все зависит от уровня компетенции специалиста.
С другой стороны, я на работе использую на своем рабочем ноуте виртуалбокс с серверным убунту, на котором 1С + Постгри 9.2 (от создателей "про"). Кто-то тут сказал, что в продакшн его не стоит юзать, но мой товарищ юзает на сопоставимом железе вмваре + винду (не серверную), на которой мелкософтовский скул и сервер от 1С - так работает у него все куда медленнее. У меня тест Гилева дает 20, у него - 8. Как бы мораль басни в том, что можно и бесплатное юзать, а можно и купить, когда стоимость железки астрономическая. Во втором случае винда экономит на локальной поддержке, при том вполне может оказаться и так, что Linux будет заметно выигрывать при куда меньшем количестве танцев с бубнами.
(482) starik-2005, Все так.
1. Только не стоимость железки, а стоимость простоя... ОС под задачи берут, как и железо...
2. Многие считают, что unix-like бесплатен, а он иногда по цене в разы опережает microsoft...
3. У microsoft есть нормальная техподдержка, зависит все от вашего персонального менеджера и размера вливаний...
(483) awk, у Микрософт есть техподдержка, но даже крупным клиентам не так-то просто ее получить. Пример тому - одна из компаний Сбербанка. Когда у них были проблемы с данными в СУБД, они обратились не к M$ или 1$, а к компании, которая им продала 1С.
Но лично моя ИМХА в том, что при аналогичной цене поддержка Linux куда более профессиональная, ибо очень сложно себе представить компанию, которая стала продавать Linux-поддержку при отсутствии компетентных кадров. А вот с поддержкой для M$, так компаний, в которых админы очень условно разбираются в продуктах M$, при том компания их продает и внедряет, весьма существенное количество.
ЗЫ: Кстати, потом другая компания сбербанка реализовали спецификацию на веб-сервис, в котором корневой контейнер должен был называться OdinAssArrayOfEmloyee - уважаю! )))
а которой мелкософтовский скул и сервер от 1С - так работает у него все куда медленнее. У меня тест Гилева дает 20, у него - 8.
у меня на сервере "в продакшн работает" ("Сервер 1с"<---Shared memory--->"MS SQL")
60 попугаев давал.... когда на Постгри добьетесь такого напишите плиз в личку
Пока не верю в связку "Попы бога Одина" с "постгри"
(486) sanfoto, Вот тут соглашусь. Но архитектура "все-в-одном" выручает только до поры до времени. С какого-то момента масштабирования задач появляется все больше причин и выгод разносить на разные сервера. А в этом случае я вполне верю, что связка виндового сервера приложений и тюнингованного сервера СУБД postgres под линухом не уступит чисто виндовой инфраструктуре по производительности и надежности (упр. блокировки, ессно). То, что сервер приложений под линухом менее стабилен и производителен, чем под виндой - и на вебинаре говорилось и я сам из опыта готов подтвердить.
Но архитектура "все-в-одном" выручает только до поры до времени. С какого-то момента масштабирования задач появляется все больше причин и выгод разносить на разные сервера.
... а вот тут не соглашусь)) т.к. Вы имеете ввиду разнесение на разные физические сервера и Ethernet-ом их сконнектить... тут не будет "ВЕРТИКАЛЬНОГО МАСШТАБИРОВАНИЯ" -
--- а только "горизонтальное - отсчет КОЭФ. ПРОИЗВОДИТЕЛЬНОСТИ от двух-серверной системы"
"Вертикальное масштабирование" - это когда добавляем например количество CPU и видим рост производительности... или как минимум не будет падения коэв. производительности относительно точки отсчета.
"Горизонтальное масштабирование" - ну грубо говоря увеличиваем количество пользователей без значительного падения коэф. производительности (но падение полюбому будет) относительно точки отсчета.
------------------------------------------
так вот "Вертикальное масштабирование" для 1С - такое же как и для SAP -
- это например сервера на NUMA-чипах межпросессорного интерконнекта от фирмы SGI (в конфигурации SSI (Single system image) )
(498) sanfoto, Так именно об ограничениях вертикального масштабирования я и говорил. С определенного момента стоимость вертикального масштабирования начинает расти сильно нелинейно и быстро утыкается в физический потолок. Да и размещение на одной железке двух разных ресурсоемких серверных приложений - само по себе не кул по целому ряду причин. Просто до поры это оправдывается минимизацией расходов на их взаимодействие.
1) Односерверный вариант для 100 -150 пользователей на "тяжелой конфе 1с УПП " - за глаза хватает "двух-сокетного сервера"
2) если же вы вышли на многие сотни юзеров - то "само по себе... ( herfis)" подразумевается, что на Вашем уровне вполне по силам купить SSI- кластер на NUMA-чипах ..... вместо следования религии.. и пляскам с бубнами вокруг кластеров "на многочисленных разных физ.серверах" )))
пс:
про SAP - я непросто так упомянул.... НЕМЦЫ именно такое "програмно аппаратное решение" для своей "немецкой 1С-ки"))) реализуют в продакшене...
пс2:
Притом упомянутый мной пример об SGI -легко масштабируется--- и необязательно сразу покупать 10 (десять) "лезвий"... а докупать по мере роста количества юзеров...
Для 1С примерно ОДНО (двух сокетное) - SGI лезвие на каждую сотню юзверей..
(501) sanfoto, "если же вы вышли на многие сотни юзеров - то "само по себе... ( herfis)" подразумевается, что на Вашем уровне вполне по силам купить SSI- кластер на NUMA-чипах"
У вас очень странное представление о бизнесе.
ЗЫ. Что касается SSI - то это просто инженерное решение одних проблем, путем создания других проблем. Оно вовсе не выглядит серебрянной пулей, когда одна задача размазывается на несколько нод. Например, четырехпроцессорный сервак будет и дешевле и эффективнее SSI на двух двух-процессорных лезвиях. Так что я бы не позиционировал SSI решением всех проблем вертикального масштабирования. Производительность при этом тоже страдает. Не говоря уже о стоимости решения. Просто позволяет выкрутиться, когда деваться некуда и горизонтальное масштабирование по какой-то причине невозможно. C 1C ситуация, слава богу, не настолько печальная, чтобы юзать SSI только для того, чтобы избежать разнесения серваков.
(508) вполне нормальное представление
Я полностью поддерживаю
Давно уже пора прививать понимание того что затраты на софт и железо такая же обязательная вещь как фот, коммуналка и прочее аналогичное. И увеличение колва персонала автоматически должно подразумевать и обеспечиваться увеличением мощностей за которые как ни странно надо платить
Ибо нех
Например, четырехпроцессорный сервак будет и дешевле и эффективнее SSI на двух двух-процессорных лезвиях.
однако не совсем так... вернее даже совсем не так))
1)У интела политика такая что самые производительные процессоры подходящие для 1С - заканчиваются на ДВУХ СОКЕТНЫХ.(Процессоры поддерживающие 4 и более объединения будут с более низкой производительностью/Частотами на ядро - я думаю это реализованно из-за проблем охлаждения процессоров находящихся в одном корпусе)
2)Процессоры поддерживающие более двух-сокетных конфигураций стоят значительно дороже. Кстати и материнки с серверами тоже значительно дороже.
3)я про SSI почему конкретно фирму SGI указал - это потому что у них реализована связь между лезвиями через NUMA-чипы- очень очень быстрая практически равная скорости реализованной QPI( Intel QuickPath Interconnect ) - но у интел ВСЕГО НЕСКОЛЬКО процессоров вроде как максимум 8, а у SGI - можно десятки двух-сокетных объединять.
Выводы:
1)У односерверной конфигурации для 1С - предел по максимальной производительности(до определенной нагрузки)-это Двух-сокетный сервер
2)Если хотим реально масштабировать практически без потерь коэф. производительности(точка отсчета из пункта 1)) - берем и соединяем в SSI через быстрые интер-коннекты нужное количество двух-сокетных платформ из пункта 1)
ПС:
когда я изучал этот вопрос(года два-три назад)
Ценник 8 сокетного сервера был 3.5 миллиона и далее, а ценник SGI-лезвия(двух-сокетный) 1 миллион - получает 8/2= 4 миллиона.
Цены вполне сопоставимы - но производительность из-за "..У интела политика такая что самые производительные процессоры подходящие для 1С - заканчиваются на ДВУХ СОКЕТНЫХ." разная.
т.е. в данном примере сервера для 1С в конфигурации от SGI 4 лезвия просто уделает раза в два по производительности односерверный 8-ми сокетный.
C 1C ситуация, слава богу, не настолько печальная, чтобы юзать SSI только для того, чтобы не разносить сервера..
Вот тут я даже догадываюсь в чем ваше заблуждение))
Вы берете за точку отсчета коэф.производительности серверов для 1С - Двух-серверный вариант. Который уже в расчете на Один поток на 50% отстает от одно-серверного.
И естественно Вы более менее держите коэф.производительности на 3-ех.. 4-ех серверах близкий к двух-серверному варианту --
---НО КОЭФ.Производителности НА ПОРЯДОК однако отличающий от производительности Одно-серверного...
Например наш сервер(двух-сокетный) не деградировал по производительности почти до 200 потоков... вот и смотрите - считайте циферки.
ПС:
Про много-серверный кластер для 1С - я непросто так "теоретически" рассуждаю - проводил тесты + у нас в холдинге реализовали таки в головной организации такой кластер для "УПП и ЗуП" (при около 500 пользователей в каждой базе + куча фоновых заданий, что в пересчете по нагрузке практически соответсвует - по 1000 пользователей на Базу в пике нагрузки) - так вот там все печально... даже при 10 пользователях по сравнению с Нашим одно-серверным все намного медленней открывается...записывается и т.д. В итоге у нас все доки проводятся сразу пользователем примерно 1 сек... а у Них реализовано "фоновое до-проведение регламентными заданиями"... ибо иначе можно ожидать от 5 до 20 минут окончания записи/проведения на одну операцию пользователя.
497.
Gilev.Vyacheslav
191006.04.16 12:54 Сейчас в теме
(486) sanfoto, вот на счет потоковой скорости у нас получалось постгре на тесте выполнять быстрее скуля, другое дело что потоковая скорость как раз не самое важное при сравнении, а вот с блокировками у постгре на тысячах пользователей пока не так хорошо
И это поставка "вшивей" некуда. Посчитать MSSQL + CAL? Счет станет разгромным. И не надо сказок про поддержку от Microsoft. За исключением некоторых избранных, простым смертным гораздо проще и быстрее обратиться на форум сообщества.
Для примера: у мена проблему с неправильно присланной информацией о ключах, партнеры MS решали 4!!!! месяца.
(476) awk, В случае приобретения энтерпрайзных линуксов, деньги платятся в основном за оперативную и качественную поддержку. Практически только за нее. Так как с другого бока подпирают бесплатные версии. И у бизнеса есть простой выбор в случае снижения качества этой поддержки или потери ее экономической целесообразности. Есть вполне реальные случаи бизнес-переходов с RHEL на Ubuntu Server, например. Это держит производителей в тонусе и в условиях здоровой конкуренции. А в случае майкрософта ты тупо должен денег. И ты их заплатишь в любом случае. А дальше - как повезет. Как правило - везет не так чтобы сильно.
Под нативностью я подразумевал, что postgresql под windows, вся окружающая его инфраструктура и тулинг пилятся по остаточному принципу. Именно потому, что реальный postgresql-энтерпрайз - под линуксом и все внимание туда.
Ну не будет сообщество костями ложиться на его вылизывание под проприетарную систему. Потому что на текущий момент это linux-сообщество в своей основной массе.
"В 2015 году российские государственные органы и госкомпании закупили софт и услуги американской IT-корпорации Oracle на 3,39 млрд руб., то есть сразу на 25,7% меньше, чем годом ранее, подсчитали в исследовательском центре TAdviser. Представитель Oracle Марина Савинова заявила "Ъ", что статистика не отражает реальной ситуации, но представить более точные данные не смогла. Снижение спроса на продукцию Oracle в большей степени вызвано ее подорожанием вслед за снижением курса рубля, уверен главный редактор TAdviser Александр Левашов. "Чисто политические причины отказа от использования Oracle тоже возникают, но редко. Самый яркий случай — "электронное правительство" Крыма, куда американским компаниям поставлять продукты запрещено",— поясняет он."
Подробнее: http://www.kommersant.ru/doc/2955417
Ситуация явно обеспокоила американскую корпорацию, из-за чего она включилась в открытую конфронтацию с конкурентом, что на IT-рынке большая редкость. Так, пару недель назад "Ведомости" сообщили, что Oracle рассылает среди IT-компаний документ с описанием недостатков PostgreSQL. Позднее в сети появился и сам документ, по сути представляющий собой подсказку для госзаказчиков, как обойти законодательное ограничение и обосновать необходимость закупки решения Oracle.
Подробнее: http://www.kommersant.ru/doc/2955417
Из комментов понял, что брать\платить деньги за вебинар от необъезженного на бесплатных вебинарах это сомнительное удовольствие.
Минмум один бесплатный вебинар от спикера прежде чем выставлять за него цену иначе помидоров, как в этом случае, будет вагон и маленькая телдежка.