Оптимальная конфигурация RAID-массива сервера 1С (под Centos 6.0)

(1) audion,
[quote]И еще: может, /tmp/1c перенести на отдельный быстрый винт на материночный порт и хоть немного разгрузить системные диски?[/quote]

Я бы смонтировал /tmp как tmpfs, т.е. отобразил на виртуальную память, а swap вынес на RAID10. Должно мочь.
Тут как раз и третье ядро приготся :)

(1) audion, Не важно какие контроллеры вы купите, одно только упоминание о десктопной маме говорит за себя, хорошую рабочую станцию вы можете получить но сервер не получите.

(2) VasMart, что такое RAID, плюсы и минусы уровней - это я в курсе.
RAID 5 для постгре не рекомендуют, ни для WAL, ни для баз. Смита искурил вдоль и поперек, и не только его.
RAID1 под систему - мера вынужденная, поверьте, был печальный опыт вылета системных дисков. Восстановление из образа занимало довольно долго, да и потом куча телодвижений - образ был не очень свежий, и как на зло кое-что изменилось. Ну да дело не в этом. Потери в скорости RAID1 по сравнению с одиночным (для системы) не очень существенны, интенсивная запись идет именно в раздел /tmp/1c, потому и думаю его вынести на отдельный шпиндель.
BTW, не играть в самоделкина - гут, но решение на серверных компонентах обошлось бы минимум в 200 т.р., у меня было ТЗ уложиться в 90 по железу.

С виртуальными серверами - заманчиво. Но пока что это слишком напряжно. Изначально была мысль сделать два аппаратных сервера - один под 1С, другой - СВМ (Proxmox) с энным кол-вом виртуалок с СУБД. Но организация дисковой системы в этом случае мне лично представляется излишне усложненной, плюс потеря в скорости из-за LVM. Нет, пока надо ограничиться одним чисто аппаратным сервером. В перспективе будет кластер серверов, но в очень отдаленной.

2 ALL, коллеги, я, наверное, слишком расплывчато сформулировал проблему, попробую поконкретнее.
В текущей конфигурации все данные крутятся внутри одного RAID-контроллера. Т.е., в конечном счете, весь поток гоняется по одной шине PCI-E x16. Шин на материнке 2. Если я поставлю два контроллера, один под базы, другой - под WAL и систему, предположим, для простоты, при прочих равных, т.е. не меняя кол-во дисков и конфигурацию массивов, - даст ли это заметное повышение производительности дисковой системы? Иными словами, разнесение БД и системы + WAL по разным шинам и разным контроллерам - приводит ли это к существенному росту производительности?

(2) VasMart,
Пока что уложился в 90 тыс., максимум до конца года - еще порядка 20 т.р. Как раз контроллер и пара дисков.


Круглосуточно, 24*7, время для обслуживания можно согласовать в период с 22 до 6. В рабочее время - ни-ни.


Скажем так, в рабочее время - не более часа в месяц, документально не фиксируется, но просьба начальства.
У нас не режимный объект, но когда по-человечески просят - чтобы система нормально работала, хочется именно по-человечески все и сделать. А нормально - значит, чтобы бухи и прочие не сидели без дела из-за моих косяков.


В настоящий момент - 20 лицензий, свободных почти не бывает, обычная бухгалтерская работа с типовыми или слегка измененными базами нормальных предприятий, все базы суммарно занимают на диске около 50 ГБ.
К концу года планируется дозакупка лицензий до 50 и кол-во баз возрастет примерно вдвое. В таком виде все это, вроде как, стабилизируется на 2013-й год, далее Х.З.

В текущем виде к серверу претензий нет. При удвоенном кол-ве подключений и кол-ве баз - могут быть. Вот и думаю...

В любом случае, спасибо, помогли собраться с мыслями :-)

(3) wkon,

нет такого метода RAID-записи :)
(1) audion,
вы определитесь - что хотите: надежность, быстроту, или и то, и то, но - посерединке.
Посморите, что такое RAID'ы 5, 10, 50.
Под систему вообще рэйд смысла нет ставить (разве что - на быстрых дисках и RAID 0), если навернется - восстанавливать её не надо, а восстановление инфо - основная задача RAID. А в RAID 1 под ОС вы только теряете в скорости...
Под систему вообще можно сделать виртуальный сервер (да, собственно, и под каждую базу данных), и рулить на уровне виртуалок - возможно, комлекс из серверов и EMS будет по стомиости сопоставим с вашими расходами на это дело (хотя и недешево).
И никакой RAID все равно не заменит бэкапы - самая лучшая система - это комбинированная.

(3) wkon,
Была такая мысль, если честно :-) Еле-еле заставил себя от нее отказаться. Опять же, Смит не рекомендует.
Оптимизацию алгоритма работы с дисками, если честно, пока не изучал детально, оставил "на потом".

Насчет ZFS - спасибо, посмотрел статью. Выбор ФС для меня лично был продиктован только одним соображением: сравнительно высокой надежностью ext3 и 4 и, главное, опытом восстановления данных. Есть просто такое правило: для производства выбирать ту ФС, которую умеешь восстанавливать :-) С ZFS практически не сталкивался, но в перспективе посмотрю, спасибо!

Уважаемые друзья, всем спасибо, пока что сделал так: на отдельные шпиндели (контроллер материнки) вынес /tmp/1c и /swap, уже только одно это дало прирост по тесту Гилева около 5 ед. Диски - WD рапторы 300 ГБ. Пока на этом и остановлюсь.

(13) wkon, спасибо за информацию, подумаем. А на почтовике он "кем" работает. под систему или под базы?

(18) asved.ru, да ладно, все нормально :-)
Думаете, мне не хотелось бы заменить зоопарк на пролианты? Но людям ведь надо зарплату платить. Дело не в желании "на грош пятаков", а просто выжать из имеющегося в наличии железа все, на что оно способно.
К нам из ИТС девочка приходит, приносит диск и всякую лабуду, так она говорит, что мы у нее одни такие, у кого сервер, SQL, компьютеры нормальные. У остальных - расшаренная папка на "сервере" и пяток заморенных бухгалтерш. Не от хорошей жизни ведь, правда?
Я лично прекрасно понимаю разницу между энтерпрайз и сохо. Но это не значит, что тем, у кого 50-100 пользователей, надо делать все, как у 500+. Мы только на одних лицензиях MS SQL и Win Server в конкретном случае реализации сервера Linux+ 1С + POstgreSQL сэкономили столько, что железо досталось практически даром.
К слову, дружественная конторка тоже сделала себе примерно нечто похожее, но силами сторонних "внедрителей". Сервак еле шевелился. На все вопросы - ответ "а че вы хотите, чтоб летало - надо MS SQL". Пришел, посмотрел. Оказалось, эти бараны, иначе и не назовешь, даже не удосужились диски разбить по-человечески, поставили убунту "искаропки". Как оно вообще запустилось, не понимаю. Сделал как надо, люди довольны. Железо не трогал вообще. А иначе бы еще одни орали "этот ваш линукс вообще не работает и фуфло".

So it goes...

Удачи!

(22) Не все так страшно. Во-первых, вся информация о массиве хранится на самих дисках, так что контроллер сдох - не беда, заменим; во-вторых, на моей памяти из десятков аппаратных плат в хлам (невосстановимо) сдохли 1 адаптек и 1 промайз, туда ему и дорога. LSI ремонтировались и работают, наверное, по сей день. Во-вторых, восстановление массива обычно возможно без бубна, если менять контроллер на аналогичный, не обязательно такой же точно. Грубо говоря, адаптек на адаптек, LSI на LSI. Просто понятно, что HBA-only контроллер в принципе не сможет восстановить RAID-массив, ну и "безмозглый" контроллер, поддерживающий только 0,1,1+0 массивы будет бесполезен для 5,6,50,60. В общем, не все так страшно.
Да и вообще, ладно, если надо сделать зеркало из 2 дисков, а если надо 10-й рэйд из 8 дисков забацать? На материнке столько и портов-то нет. А если из 32 дисков? В общем, для домашних целей - может, Вы и правы, но в продакшене - пардон, не согласен.

Да, про специальный софт типа Raid Reconstructor и необходимость регулярных РАБОЧИХ бэкапов я даже говорить не буду.

(24) DimaN.70rus, виртуализация весьма существенно сказывается на производительности. Если у вас файловая 1с, то при 15 одновременных пользователях есть смысл переходить на sql. Виртуалки, конечно, хороши удобством бэкапа и простотой переноса на другое железо, но лаги чудовищные.
Что касается дисковой системы, полагаю, разумно иметь два массива: один под ОС, другой под БД, причем последний строго 10, никаких 5/6. Хотя, у 3405 только 4 хвоста, ну, поэтому мы такие и не применяем.
И еще: радиатор у адаптеков чисто символический, и если охлаждение в корпусе недостаточное, то он очень сильно греется. Мы обычно всегда ставим дополнительный кулер на радиатор (при этом теряется соседний слот), или обдув сбоку, если позволяет конструкция корпуса.

(24) DimaN.70rus,
Печальные характеристики... 1С, да и не только, любит процессоры с высокой тактовой частотой, желательно не ниже 3Ггц.

А по сабжу - поставить свежую 8.3.8.1502, поднять Апач 2.4 и опубликовать на нем базу с БП 3.0, настроить подключение к БП 3.0 через тонкий клиент по хттп. Тормоза, с вероятностью 80%, пропадут.

(31) smaharbA, не хами, ладно? в свое время на суперкалке учет вели,и что теперь? 15 пользователей на бп 3.0 в файловом варианте - тоскливо, а рэйд - он не только для скорости, но и для надежности.

(41) smaharbA, специфично, но для самого простого решения выстрадана конфигурация RS2BL080 с ББУ, 2 диска в RAID1 под ОС (Centos 6.5 или Ubuntu 14.04), 2 диска в RAID1 под pg_xlog (PostgreSQL 9.x) и 4 диска в RAID10 под БД. На самой материнке диск для временного бэкапа. Это самый простой вариант. Hot spare применяем только для систем с экспандерами, тогда можно еще 2 диска добавить на global hot spare или по одному dedicated hot spare, если они разные. Вариант с 2-мя дисками RAID1 под БД не понравился: чуть ниже производительность. Зато можно добавить 2 диска горячей замены.
Игрались с SSD-кэшем, классно, но как-то не пошло: дороговато.
Винты используем WD VelociRaptor, WD RE4 (почти отказались от них), Seagate Constellation ES.3 и HGST Ultrastar 7K4000, на них гарантия 5 лет.