Наверное, сто раз уже читал подобные темы, но перерыв интернет, адекватного ответа на свой вопрос не нашел. Итак, ситуация:
Имеем два виртуальных сервера на VMware, конфигурации Xeon 2 ГГц * 4 ядра/ 32 гб оперативы, винты нарезаны на быстром рейде, Win server 2012, на одном развернут SQL Standard 2012, на другом - сервер приложений 1с 8.2.19.83.
Скуль - летает. Винты читают/пишут где-то по 100мбайт/сек. Памяти дофига, монитор ресурсов показывает где-то половинную загрузку по процу, память скуль съедает всю, что ему выделена (25 гб), сервер приложений и трети не одолевает. Загрузка винтов и сети на обоих серваках пренебрежимо мала.
Казалось бы, все должно летать, и оставлять инверсионный след, но, форма 1с открывается не менее 3 секунд.
Конфигурация для тестирования производительности 1с за авторством глубокоуважаемого В. Гилева тоже выдает крайне неудовлетворительные результаты: в районе 10 попугаев, что плохо по ее стандартам.
Слышал мнение, что на виртуалках добиться хорошей производительности такой связки невозможно.
Пните, плиз, нуба, куда копать.
З.Ы. Настройки скуля делал примерно в соответствии со
Имеем два виртуальных сервера на VMware, конфигурации Xeon 2 ГГц * 4 ядра/ 32 гб оперативы, винты нарезаны на быстром рейде, Win server 2012, на одном развернут SQL Standard 2012, на другом - сервер приложений 1с 8.2.19.83.
Скуль - летает. Винты читают/пишут где-то по 100мбайт/сек. Памяти дофига, монитор ресурсов показывает где-то половинную загрузку по процу, память скуль съедает всю, что ему выделена (25 гб), сервер приложений и трети не одолевает. Загрузка винтов и сети на обоих серваках пренебрежимо мала.
Казалось бы, все должно летать, и оставлять инверсионный след, но, форма 1с открывается не менее 3 секунд.
Конфигурация для тестирования производительности 1с за авторством глубокоуважаемого В. Гилева тоже выдает крайне неудовлетворительные результаты: в районе 10 попугаев, что плохо по ее стандартам.
Слышал мнение, что на виртуалках добиться хорошей производительности такой связки невозможно.
Пните, плиз, нуба, куда копать.
З.Ы. Настройки скуля делал примерно в соответствии со
По теме из базы знаний
Ответы
Подписаться на ответы
Инфостарт бот
Сортировка:
Древо развёрнутое
Свернуть все
(3) shiaju, ну и в чем выражается в данном случае гибкость и масштабируемость? честно говоря пока нет конкретики , потому больше нечего сказать. посмотрите замер производительности , на чем затык во время открытия формы, сделайте другие замеры, нагрузку на проц, память, дисковую подсистему и прочее и т.д. и т.п. пока что 10 попугаев ни о чем лично для меня не говорят.
(4) Гибкость и масштабируемость в данном случае выражается в возможности перетащить любую из виртуалок на другой физический сервер, добавить ресурсов, и т.д.
А на замере производительности все вроде норм, затык именно на открытии формы (ОткрытьФорму).
По поводу нагрузки на компоненты серверов я все написал, разуйте глаза.
По поводу того что вам ни о чем не говорят 10 попугаев - поверьте, я могу это пережить. Подожду тех, кому они о чем-то говорят.
А на замере производительности все вроде норм, затык именно на открытии формы (ОткрытьФорму).
По поводу нагрузки на компоненты серверов я все написал, разуйте глаза.
По поводу того что вам ни о чем не говорят 10 попугаев - поверьте, я могу это пережить. Подожду тех, кому они о чем-то говорят.
(6), (7) Пилять. (Простите, крик души). Я в курсе, что такое замер производительности средствами 1с. Я умею искать в интернете. Вы или посты читайте внимательнее, или как-то осмысливайте их перед тем, как писать что-то вроде "я нифига не понял, лол". Или просто лечите опухание ЧСВ и учите матчасть.
(1) shiaju, нагруженость сервера не обязана коррелировать с длительностью операций
в интернете два мифа:
если проц не загружен под 100% значит не эффективно используется
если проц не загружен под 100%, значит нет очередей к процам и система должна работать быстро
у меня несколько вопросов:
1) любая форма открывается долго?
2) и в толстом клиенте и в тонком?
3) кроме долгого открытия форм есть реальные проблемы?
в интернете два мифа:
если проц не загружен под 100% значит не эффективно используется
если проц не загружен под 100%, значит нет очередей к процам и система должна работать быстро
у меня несколько вопросов:
1) любая форма открывается долго?
2) и в толстом клиенте и в тонком?
3) кроме долгого открытия форм есть реальные проблемы?
1) любая форма открывается долго?
2) и в толстом клиенте и в тонком?
2) и в толстом клиенте и в тонком?
(19) Нет, долго открываются более-менее нагруженные формы, и в толстом и в тонком (смотрел на документообороте и бухгалтерии). Не думаю, что тут проблема в клиентах, или кэше.
нагруженость сервера не обязана коррелировать с длительностью операций
Суть проблемы в том, что перевезли базы с так себе железа на хорошее - и прироста производительности не заметили. Ранее базы стояли тоже на виртуалках, но ресурсов им было выделено в разы меньше (и диски медленнее были раза в 3, и процы слабее, и памяти меньше). Наводит на мысль, что что-то ужасно криво настроено.
Прицепил результат теста.
Прикрепленные файлы:
(1) shiaju, Начните в первую очередь с анализа самой конфигурации, а уже потом переходите на анализ работы серверов и железа. При отключении Hyperthreading - сервер переходи в программную виртуализацию, и распределение ресурсов между несколькими VM начинает решать ОС, что сказывается на сбалансированной производительности всех VM.
(53) JusteRU, Фактически это одно и тоже, за все функции отвечает один или несколько чипсетов, в зависимости от настроек идет блокировка ресурсов физического сервера как по памяти так и по ядрам процессоров, в результате ОС или программа не сможет взять больше чем ей доступно (как бы не старалась)
(55) alex_sh2008, предположил нечто подобное...
Кстати, было уже такое, что в BIOS та самая аппаратная виртуализация была выключена, при этом виртуальная машина поднималась (на софтовом гипервизоре) и безбожно тормозила. Хотя в случае с wmvare она вообще подняться не должна.
Кстати, было уже такое, что в BIOS та самая аппаратная виртуализация была выключена, при этом виртуальная машина поднималась (на софтовом гипервизоре) и безбожно тормозила. Хотя в случае с wmvare она вообще подняться не должна.
(53) JusteRU, по своим наблюдениям. Для 1С без разницы включите вы или выключите режим Hyperthreading, это обычное прикладное решение которое не умеет использовать как не сколько ядер процессора так и режим HT. Что серверу 1С дает ОС то 1С использует, приоритетность какая либо отсутствует. 1С сервер - это не сервер в прямом понимании этого слова, как например SQL Server.
По поводу масштабирования, добавлю еще, для особо одаренных:
допустим, имеем мы две эти виртуалки на одном сервере. А потом у нас стало много пользователей, и мы без шума и пыли перетащили одну на другой сервер, а все ресурсы этого отдали второй виртуалке. Или вообще затащим обе на кластер (как они у нас сейчас и лежат). Так что учите матчасть, учите.
допустим, имеем мы две эти виртуалки на одном сервере. А потом у нас стало много пользователей, и мы без шума и пыли перетащили одну на другой сервер, а все ресурсы этого отдали второй виртуалке. Или вообще затащим обе на кластер (как они у нас сейчас и лежат). Так что учите матчасть, учите.
(16) Всё медленно. :(
Про 3 секунды - это я написал время выполнения команды "ОткрытьФорму", замеренное с помощью измерения производительности.
Попадались советы выделить SQL отдельный физический рейд/винт, но я, честно говоря, смысла понять не могу, раз дисковая система не нагружена.
Про 3 секунды - это я написал время выполнения команды "ОткрытьФорму", замеренное с помощью измерения производительности.
Попадались советы выделить SQL отдельный физический рейд/винт, но я, честно говоря, смысла понять не могу, раз дисковая система не нагружена.
Развернул сервер приложений и SQL на отдельном физическом хосте, результаты по прежнему не радуют.
Что-то сильно не так по настройкам?
Есть ли способы гарантированно увеличить производительность на такой конфигурации?
Что-то сильно не так по настройкам?
Есть ли способы гарантированно увеличить производительность на такой конфигурации?
Прикрепленные файлы:
(23) Единственное, что я увидел нового в этой статье - рекомендацию отключить Hyperthreading, дабы увеличить скорость памяти. Сделал, скорость подросла, но совсем ненамного, теперь 15 попугаев.
Развернуть все это на том же железе, где оно лежало на виртуалках - нет возможности, там сервера в кластере. Ьль сервер, на котором это развернуто сейчас - по идее мощнее, проц быстрее, и т.д.
Развернуть все это на том же железе, где оно лежало на виртуалках - нет возможности, там сервера в кластере. Ьль сервер, на котором это развернуто сейчас - по идее мощнее, проц быстрее, и т.д.
(24)(26)
"Единственное, что я увидел нового в этой статье - рекомендацию отключить Hyperthreading"(с)
"Удалось повысить результаты теста на исходной конфигурации (виртуалках) до 20, админ отключил все энергосберегающие функции в биосе "(с)
Алексей (shiaju).
У меня нет слов... :-)
Я Вам написал: "посмотрите настройки/рекомендации "(с)
Т.е. скачать файл под названием "Инструкция и Утилита Настройка" у Вас не получилось? :-)
Тогда еще обращаю Ваше внимание на картинку про Ethernet и на буквы "Shared Memory".
"Единственное, что я увидел нового в этой статье - рекомендацию отключить Hyperthreading"(с)
"Удалось повысить результаты теста на исходной конфигурации (виртуалках) до 20, админ отключил все энергосберегающие функции в биосе "(с)
Алексей (shiaju).
У меня нет слов... :-)
Я Вам написал: "посмотрите настройки/рекомендации "(с)
Т.е. скачать файл под названием "Инструкция и Утилита Настройка" у Вас не получилось? :-)
Тогда еще обращаю Ваше внимание на картинку про Ethernet и на буквы "Shared Memory".
Проблема возможно в релизе 8.2.19.83
Перешли на этот релиз, и начались проблемы. Кто знает как решить
периодически отваливаются сеансы клиентов, смотрю на процессы сервера 1с - сжирают памяти максимум 400-450 мб и вылетают все процессы (как будто память очищается)
в чем проблема может?? в релизе получается???
Помогите советом как поступить.
Перешли на этот релиз, и начались проблемы. Кто знает как решить
периодически отваливаются сеансы клиентов, смотрю на процессы сервера 1с - сжирают памяти максимум 400-450 мб и вылетают все процессы (как будто память очищается)
в чем проблема может?? в релизе получается???
Помогите советом как поступить.
(42) Spinoza, как выяснили, после перехода на новую платформу у одной из баз данных включили в сервере 1с блокировку регламентных заданий, после этого сервер 1с начал нормально функционировать и не сбрасывать сеансы. С чем это было связано - остается загадкой...
Удалось повысить результаты теста на исходной конфигурации (виртуалках) до 20, админ отключил все энергосберегающие функции в биосе (автоматическое понижение частоты и проч.). 20 - это не 10, конечно, но хотелось бы еще больше. Ночью подкинем ядер виртуалке с сервером приложений, посмотрим на результаты.
(27) Энергосбережение отключили на всем кластере, насчет самих виртуалок не уверен, а разве есть смысл трогать биос виртуалки?
(28) Шэред мемори уже стоит, разницы с tcp-ip в плане результатов теста нет.
Файл сразу не заметил, извиняюсь. Сейчас скачал, обнаружил внутри программку для настройки плана энергосбережения и кусок статьи, которую я уже читал (ну или похожую, не уверен точно). На железе уже все выставлено (на отдельном серваке на всякий случай проверил настройки через этот тул, а кластер им не понастраиваешь), в виртуалках выставлять смысла не вижу.
(28) Шэред мемори уже стоит, разницы с tcp-ip в плане результатов теста нет.
Файл сразу не заметил, извиняюсь. Сейчас скачал, обнаружил внутри программку для настройки плана энергосбережения и кусок статьи, которую я уже читал (ну или похожую, не уверен точно). На железе уже все выставлено (на отдельном серваке на всякий случай проверил настройки через этот тул, а кластер им не понастраиваешь), в виртуалках выставлять смысла не вижу.
(33) В моем случае не похоже на тупняк с драйверами - иначе бы была заметна разница при переносе на физический хост и использовании шэйред мемори. Скорее грешим на скорость обмена памяти с процессором - при виртуализации такое не редкость, оказывается. Пока думаем.
по опыту могу сказать что, ни одно из решений которое было создано с 1996 года по сей день не может быть быстрее чем старое доброе железо.
1) сколько оперативы всего
2) сколько под вертуалки
3) на каких винтах это все крутиться, раид есть , то какой?
4) скл сколько процессов??
1) сколько оперативы всего
2) сколько под вертуалки
3) на каких винтах это все крутиться, раид есть , то какой?
4) скл сколько процессов??
У нас была такая проблема, решили увеличением числа процессоров до 4 (нам хватило) на том сервере, на котором стоит сервер 1С; поставили ограничение в 1Гб для размера log-файла SQL, затем поменяли настройки ведения log-файла(пардон, какую именно настройку поставили не знаю, так как это делал наш сис админ) - суть настройки в том, что он не записывает каждую ошибку, которые сыпятся во время проведения документов, записи справочников и т.д., а записывает лишь системные ошибки. Таким образом, быстродействие ПП 1С резко увеличилось, сократился физический объем на сервере, за счет уменьшения объема логов - результат впечатлил. Всем удачи!
(40) Опять-таки - процессоров или рабочих процессов? Процессоров там сейчас 16, а рабочих процессов, повторюсь, пробовали до 8.
Насчет настройки сервера sql - в смысле Recovery model поменяли с Full на Simple? Нам это не подходит. Да и мощности сервера sql с лихвой хватает на наши мелкие базы (до 3 гб, около 10-12 баз). Думаю, затык все-таки в сервере 1с.
Насчет настройки сервера sql - в смысле Recovery model поменяли с Full на Simple? Нам это не подходит. Да и мощности сервера sql с лихвой хватает на наши мелкие базы (до 3 гб, около 10-12 баз). Думаю, затык все-таки в сервере 1с.
С установкой 8.2.19.83 релиза сервера, часто подвисания заметны, регурно приходиться перзапускать рабочие процессы сервера, что там вних зависает не понятно, зависание просессов происходит как при 1 пользователе да и при 5-ти, пытался отловить на каком нибудь отчете, демал может в коде ошибка и что-то туда программно докидывается, но подвисания всегда в разных местах.
Надеюсь что в следущем релизе все будет корректно работать.
Надеюсь что в следущем релизе все будет корректно работать.
канешно можно: Операти́вная па́мять (англ. Random Access Memory, RAM, память с произвольным доступом; ОЗУ; комп. жарг. память, оперативка) — энергозависимая часть системы компьютерной памяти, в которой временно хранятся входные, выходные и промежуточные данные; программы процессора
Накопи́тель на жёстких магни́тных ди́сках или НЖМД (англ. hard (magnetic) disk drive, HDD, HMDD), жёсткий диск, в компьютерном сленге «винче́стер» — запоминающее устройство (устройство хранения информации) произвольного доступа, основанное на принципе магнитной записи. Является основным накопителем данных в большинстве компьютеров. )))
ну как вам???? ответ на 5+))))))
Накопи́тель на жёстких магни́тных ди́сках или НЖМД (англ. hard (magnetic) disk drive, HDD, HMDD), жёсткий диск, в компьютерном сленге «винче́стер» — запоминающее устройство (устройство хранения информации) произвольного доступа, основанное на принципе магнитной записи. Является основным накопителем данных в большинстве компьютеров. )))
ну как вам???? ответ на 5+))))))
А, так вы об этом. Этого добра навалом, 200 гб оперативки и рейд 10 (это такая структура из винчестеров скоростных (15к)). Я думал, что есть какая-то опИративная память и скоросные винчестеры. Heil spellcheck!, в общем. ;)
Есть конечно интересный вариант: снесите MSSQL и поставьте PostgreSQL 9.1.9 от 1С и попробуйте замерить разницу в производительности... Или не сносите а разверните параллельно и настройте на половину памяти (MSSQL память не забудьте зарезать).
Открытие формы - это по сути обращение на сервер 1С и далее в БД, если формы нет в кеше. Как правило первое открытие формы документа одного вида долгое, а все последующие быстрее. Если разницы нет, может не отрабатывает кэш на клиенте? Или, проблема в сетевом взаимодействии. Клиенты же запускаются не на самих серверах? Поменять свичи, настроить взаимодействие между SQL и 1С через внутренний интерфейс wmvare.
Или ещё бывает проблема с DNS, задать в настройках сервера 1С путь к базе данных, к менеджерам кластера и к рабочим серверам и процессам только по IP, а так же в настройках подключения клиентов тоже только по IP. И в настройках сетевых интерфейсов и на клиентах и на сервере желательно выставить локальный DNS сервер.
Открытие формы - это по сути обращение на сервер 1С и далее в БД, если формы нет в кеше. Как правило первое открытие формы документа одного вида долгое, а все последующие быстрее. Если разницы нет, может не отрабатывает кэш на клиенте? Или, проблема в сетевом взаимодействии. Клиенты же запускаются не на самих серверах? Поменять свичи, настроить взаимодействие между SQL и 1С через внутренний интерфейс wmvare.
Или ещё бывает проблема с DNS, задать в настройках сервера 1С путь к базе данных, к менеджерам кластера и к рабочим серверам и процессам только по IP, а так же в настройках подключения клиентов тоже только по IP. И в настройках сетевых интерфейсов и на клиентах и на сервере желательно выставить локальный DNS сервер.
(51), (52), да дело даже не в формах, результатах теста или какой-то отдельной проблеме - до глубины души возмущает то, что легкие базы тормозят на такой навороченной конфигурации (я про железо). Не какие-то отдельные даже, а вообще все медленно - ЗУП, Бухгалтерия, Документооборот, все тормозит. При этом в файловом режиме на этих же серверах все летает.
Загрузки по компонентам - просто нет. Не превышает 5-10%. Но при этом изменение некоторых настроек, например отключение энергосбережения процессоров, каким-то мистическим образом помогает. Насчет нагрузки на сеть: физические сервера соединены 10-гигабитными линками, между виртуалками тоже прокинуты виртуальные 10гбит.
По поводу отключения HT, мне кажется, разница в том, что с включенным виртуальных ядер становится больше, но производительность одного ядра уменьшается. По крайней мере, результаты тестов от отключения HT несколько выигрывают.
Загрузки по компонентам - просто нет. Не превышает 5-10%. Но при этом изменение некоторых настроек, например отключение энергосбережения процессоров, каким-то мистическим образом помогает. Насчет нагрузки на сеть: физические сервера соединены 10-гигабитными линками, между виртуалками тоже прокинуты виртуальные 10гбит.
По поводу отключения HT, мне кажется, разница в том, что с включенным виртуальных ядер становится больше, но производительность одного ядра уменьшается. По крайней мере, результаты тестов от отключения HT несколько выигрывают.
(60) shiaju, Я сталкивался с подобным случаем, причину нашел в широковещательных рассылках при поиске ключа, и маленьким буфером сетевой карты, прописал на клиентах жестко адрес ключа, тормоза пропали. А так же с sql сервера и 1С сервера снес все антивирусы и закрыл доступ к дискам из сети. Проблем стало меньше
(60) shiaju, А клиенты всё таки толстого клиента где запускают? В терминале или на локальных машинах? Если на локальных, то свичи можно попробовать перегрузить (они с 10Гбитными линками поди управляемые).
Если файловые версии летают а серверные нет, то суть проблемы сужается к сетевому взаимодействию. Попробуйте настроить базы на IP, и использовать локальный DNS. В (63) тоже хороший вариант, прописать путь к ключам и отключить их широковещание.
Если файловые версии летают а серверные нет, то суть проблемы сужается к сетевому взаимодействию. Попробуйте настроить базы на IP, и использовать локальный DNS. В (63) тоже хороший вариант, прописать путь к ключам и отключить их широковещание.
(68) Клиенты запускают приложения на еще одном отдельном RDP-сервере, у которого с производительностью и памятью тоже все в порядке, да и отличий в производительности по сравнению с запуском приложения на сервере 1с нет. При запуске на сервере, кстати, настраивал как раз по айпи (127.0.0.1). :)
(72) shiaju, ммм, как 127.0.0.1, если sql и сервер приложений разные виртуалки, а сервер терминалов - вообще физически другая машина?
И надо зайти в утилиту администрирования сервера 1С, потому как при создании менеджера кластера на 1541 порту он автоматически прописывает его, а так же рабочий сервер и рабочие процессы по имени сервера, а не по IP. И их отдельно надо менять
И надо зайти в утилиту администрирования сервера 1С, потому как при создании менеджера кластера на 1541 порту он автоматически прописывает его, а так же рабочий сервер и рабочие процессы по имени сервера, а не по IP. И их отдельно надо менять
(77) alex_sh2008, DNS имена вообще кэшируются даже локально ОС, и в случае использования DNS имен сервера - добавляется время на разрешение этого имени. При проблемах в сети, когда в кэше ОС одному имени поставлено несколько IP, при каждом запросе к серверу SQL и 1С будет происходить опрос сервера DNS, для уточнения последнего актуального ip. А говорить о том что это значительно удлиняет сетевое общение, думаю, смысла нет...
(74) Я имею в виду, что я запускал сеансы прямо на сервере 1с, локальном, установленном на отдельный физический сервер (=база на локалхосте). И адрес скуля в нем тоже был прописан по айпи. В службах или консоли имя компа на ip-адрес не заменял, но и смысла не вижу в этом, честно говоря, не лукапит же сервер свой собственный адрес.
(75) На апаче все тормозит точно так же, будьте покойны.
(75) На апаче все тормозит точно так же, будьте покойны.
(84) Нет, толстый клиент у нас стоит на RDP-сервере. На клиентских машинах стоит тонкий клиент для доступа к документообороту (людям удобнее работать с ним на своей машине).
За сетью у нас следит отдельный специалист, и когда что-то постороннее ее начинает забивать - разбирается. Да и нет загрузки по сети, полная загрузка по клиентам нагружает сетевуху (виртуальную) сервера скуля где-то на 20-30 мегабит в пике.
За сетью у нас следит отдельный специалист, и когда что-то постороннее ее начинает забивать - разбирается. Да и нет загрузки по сети, полная загрузка по клиентам нагружает сетевуху (виртуальную) сервера скуля где-то на 20-30 мегабит в пике.
(86) shiaju, Тут очень важна не только пиковая скорость, а также пинг между целевыми серверами пакетами больших размеров. Потому как в локалке толстый клиент работает просто замечательно. А когда мы пытались по WiFi n-спецификации поработать на 5 компах в толстом клиенте, то это оказалось почти невозможно, хотя нагрузка на сеть не превышала пару мегабит в пике. А всё почему? Когда по Ethernet или Wifi шлёшь пинг пакетом обычного размера всё ок, в пределах нескольких ms. А когда увеличиваешь размер - пинг проседает до 20-30 мс и более, т.е. в 10 раз. И то же происходит при использовании толстых клиентов по WiFi - пинг проседал даже обычными пакетами.
Может у вас схожая проблема?
Можно настройки сетевых интерфейсов серверов посмотреть?
Может у вас схожая проблема?
Можно настройки сетевых интерфейсов серверов посмотреть?
Медленное открытие управляемых форм почти на 90% не связано с серверами, оно связано только пи первом запуске, сервера 1С и клиента или после изменения конфигурации, потом сервер 1С и клиент 1С наделают себе кэши и будут открывать эти формы из кэшов.
(75) kiruha, Сложно сказать косяк это платформы или криво написанный код управляемых форм. У меня, у клиента стоит БП 3 на стареньком HP сервере с 4Гб памяти, все на одном и SQL и 1C Сервер. При работе 5 пользователей, те формы которыми часто пользуются быстро открывает, остальные думает, а есть формы, без разницы, всегда думает.
ооооо по поводу Wifi у меня стоял модем делинк который стандартно применяет шифрование ВПА2 и при шифровании неймоверно торамазило все интернет, что я только не делал и перегружал его и забивал заново настройки нечего не помогало. но всеже мне повезло сделал сеть открытую и без шифрование а потом обратно и все зароботало.
РС. ето проблема была только с роетером делинк.
РС. ето проблема была только с роетером делинк.
(99) alex_sh2008, странно, возможно зависимость какая то от конкретной конфигурации сервера ? у нас довольно высокая загрузка сервера, но как таковых проблем не замечено (1с 8.3.6) + ms sql server 2012 + Windows Server 2012.. а в чем у вас проявлилсь такие конфликты? резко падало быстродействие ?
Для получения уведомлений об ответах подключите телеграм бот:
Инфостарт бот