Дано.
С1: - Сервер HP DL160G6 с сетевой картой 1Gb. 2* SATA 1Tb HDD в зеркале. RAID железный с батарейкой. ОС Win2008R2 64bit
C2: - Сервер HP Microserver G6 с 2-х головой, 1Gb сетевой картой intel. 2* SATA 4Tb HDD в софтварном зеркале. ОС Win2012 64bit
ПК1: - ПК Core2Duo. ОС - Win7 64bit. SATA 500Gb.
C1 и С2 соединены напрямую без коммутаторов. В настройках сетевых карт включен "Jambo Packet" + 9014bytes.
ПК1 и С2 соединены через 1 гигабитный коммутатор.
ПК1 и С1 соединены через 1 гигабитный коммутатор.
Суть проблемы:
Копирование файла с ПК1 на С2 - скорость на пределе возможностей 1Gbit канала - 80Mb/s, нормальный график загрузки канала без провалов.
На сетевой карте в С2 которая смотрит в коммутатор отключил службу доступа к файлам. Чтобы трафик с С1 на С2 шел только через прямой канал.
Копирование файла с C1 на С2 - скорость на 20-30Mb/s, график похож на пилу. Копирование с С2 на С1 (запущенное на С1) - скорость нормальная.
В чем может быть дело? Почему такая скорость копирования напрямую между сетевушками?
Кабель между С1 и С2 обжимал по B, кроссоверный не видится вообще (обжимал как в последней таблице). Тестер есть, кабель проверял.
(2) Диски в порядке. HP Array Configuration Utility выдает status OK на оба диска в массиве на С1.
Дополню исследования.
Копирование с usb диска подключенного к серверу с1 на его диски. Скорость ~30 мб.
Предполагаю что "пила" на записи связана с кэшами. В с1 стоит контроллер Hp410 с батарейкой и кэшем.
Копирование с ПК1 на С1 - скорость на 70-80Mb/s. Все ок.
Копирование файла с C1 на С2 - скорость на 20-30Mb/s, график похож на пилу.
Копирование с usb диска подключенного к серверу с1 на его диски. Скорость ~30 мб.
Копирование с С1 на usb винт. Скорость ~ 80Mb
то есть изначально проблема с записью на сервер с2, а с юсб тесты проводим на с1?
Чтобы отмести проблему с дисками просто запустите тест на скорость чтения/записи дисков какой нибудь типа аиды или hd tune, на каждом из серверов.
(4) AlexInqMetal, Спасибо за дельный совет.
Чем больше разбираюсь тем хуже становится.
Копирование с ПК1 на С1 - скорость на 70-80Mb/s. Все ок.
Эту картину я действительно видел месяц назад, когда проблем ещё не было. Сейчас с ПК1 на С1 действительно упала скорость.
Тест чтения на С1.
Тест чтения на С2
Насчет правильности теста записи не уверен. на закладке "Бенчмарк" тест на запись предупреждает что уничтожит все данные на винте. Естественно это меня не устраивает. Поэтому тестил на закладке "Бенчмарк файла".
Тест записи файла С1
Тест записи файла С2
Если я правильно читаю результаты, то несмотря на наличие в С1 "железного" raid контроллера, более быстрых винтов на 7200 оборотов он пишет/читает медленнее чем С2 на винты с 5400об и raid массивом сделанным средствами win2012.
(5) DenisCh, А что тут переключать? win2008 с win2012 работает по smb v.2.1. smb v3 поддерживает только win2012 и win8.
(6) SuhoffGV, да уж... тут либо контроллер тупит, иногда такое решается пересборкой массива, либо что то здорово нагружает диск, так что производительность невысокая. Тест производился когда сервак был под нагрузкой? Особенно пугает провал на 3,8 Мб/с - если это не посторонняя нагрузка, то дисковая система явно не в порядке.
(7) AlexInqMetal, тест был с минимально возможной нагрузкой. Т.е. на нем было не более 4-х терминальных пользователей с запущенной 1с. Сервер - файловый+терминальный. Активных субд на нем нет. 1с и СУБД на другом сервере.
Случайные обращения к диску - возможны. Попробую повторить тест ещё раз, попозже вечерком.
Что есть "пересборка массива"? Как она делается?
Рядом стоит ещё один сервер HP Ml 150G6. Там 2 винта *2Tb на встроенном контроллере. Копирование через гигабитный коммутатор с ПК1 на него выдает нормальную скорость ~80Mb/s. Единственное там стоит centos. Из чего делаю вывод что проблемы с машинкой С1.
(8) SuhoffGV, пересборка в общем случае: копирнуть данные, развалить массив, снова создать, вернуть данные. Вот такие результаты показывает p400 на чистой установке, правда тут raid 10 и диски SAS 10000 rpm. А что конкретно за диски стоят на машинке с1?
(11) SuhoffGV, есть два варианта либо существует паразитная нагрузка на диск, чтобы отловить этот момент нужно попробовать провести замеры скорости из другой ОС, не знаю подхватит ли LiveCD драйвера RAID, но можно попробовать, либо вообще произвести установку дополнительного win 2008, чтоб тест провести. Второй вариант что проблема все таки в железе, утилита НР - это не 100% показатель, у меня случалось такое что диск уже был полудохлый, постоянно вызывал ребилд массива, а потом статус снова был ОК. Соответственно, можно было бы достать диски и по одному проверить их смарт и производительность на другой машине не разбивая массив.
В случае если её создает процесс запущенный в win - она была бы видна в мониторе ресурсов? В списке процессов с дисковой активностью, работающих во время тестов, не было ничего неизвестного.
утилита НР - это не 100% показатель, у меня случалось такое что диск уже был полудохлый, постоянно вызывал ребилд массива, а потом статус снова был ОК
Ну тогда контроллер показывал бы ребилд. У меня есть 2-й сервер с таким же контроллером. Я видел на нем такой случай, причиной была "глючная" корзина для винтов. Точнее 1 её отсек. Пришлось купить ещё одну новую корзину.
Соответственно, можно было бы достать диски и по одному проверить их смарт и производительность на другой машине не разбивая массив.
В идеале делать это при выключенном сервере, чтобы не поиметь лишний "ребилд". Придется заночевать на работе :(
(12) AlexInqMetal,
Расклад хреновый. Забутился с livecd на win 7. контроллер и сеть подхватил отлично. Скорость передачи по сетке 102Mb от начала и до конца копирования. График ровный как и должен быть.
Обновил драйвера на контроллер на майские. Пробовал удалять антивирус drweb с сервера - результат нулевой.
(14) SuhoffGV, Удивило, я все же больше склонялся к тому что проблема железная. Но по крайней мере есть уже какой то результат. На сколько я понял проблема то все таки не в сетке, а в нагрузке на диск (судя по тестам). Соответственно если монитор ресурсов нам ничего подозрительного не показывает, даже и не знаю куда копать дальше. Может там какой нибудь "доверенный" или системный процесс занимается не тем, чем ему положено?
На сколько я понял проблема то все таки не в сетке, а в нагрузке на диск (судя по тестам).
Скорее в работе win2008 с сеткой. Копирование файла с раздела на раздел выдает ~30-40Мб/s График в мониторе ресурсов более менее ровный. Точно не гармошка как при передаче по сетке.
Т.о. проблема только при копировании файлов с/на win2008.