Разработка без кодинга: Microsoft анонсировала передовые инструменты для машинного обучения

07.05.2019      13707

Корпорация Microsoft представила инструменты, которые позволят разработчикам создать модель машинного обучения, не написав ни строчки кода. Инструментов два: среда разработки Azure Automated Machine Learning и визуальный интерфейс для Azure Machine Learning.

Автоматическое машинное обучение

Автоматизированное машинное обучение Automated Machine Learning (AutoML) позволяет ученым, аналитикам и разработчикам создавать эффективные модели машинного обучения с высокой степенью масштабирования. Достаточно указать источник данных и проблему, которую необходимо решить: классификация, регрессия или прогнозирование. 

Среда AutoML построена на базе облачной платформы Azure. Система получила лаконичный интерфейс. После старта работы с моделью решение самостоятельно выберет и запустит множество алгоритмов и технологий оптимизации, чтобы получить наиболее точный и вероятный результат.


Интерфейс Azure Automated Machine Learning

 

Если вы не доверяете автоматизированной системе или хотите проверить разные гипотезы, настроить систему можно и вручную. «Ручное управление» позволяет использовать инструмент любителям и специалистам в области машинного обучения.

Визуальный интерфейс

Microsoft представила визуальный интерфейс для среды Azure Machine Learning. Azure Machine Learning – облачное решение, позволяющее строить и использовать сложные модели машинного обучения в простой и наглядной форме.

Возможности нового интерфейса сравнимы с функциональностью Azure ML Studio. Этот инструмент для создания, тестирования и развертывания решений машинного обучения поддерживает функцию перетаскивания объектов. Теперь создавать и обучать модели, перетаскивая готовые блоки на нужное место, можно и в Azure Machine Learning.


Визуальный интерфейс Azure Machine Learning

 

Визуальный интерфейс Azure Machine Learning снижает зашумленность данных, улучшает показатели модели в процессе обучения и тестирует различные алгоритмы, чтобы встроить лучшие из них в готовый продукт.


Перечень всех экспериментов, где можно проанализировать результаты обучения и подобрать лучший вариант

 

Больше информации о новых продуктах с поддержкой  Azure Machine Learning разработчики предоставят на конференции Microsoft Build 2019. Она стартовала 6 мая в Сиэтле и продлится три дня.

Подробнее об Azure Automated Machine Learning


Автор:
Обозреватель


Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. s22 19 07.05.19 10:00 Сейчас в теме
В реальности все это сложнее и менее удобно чем питон.

Красивее.
6. TODD22 18 07.05.19 11:08 Сейчас в теме
(1)
В реальности все это сложнее и менее удобно чем питон.

В реальности сбор, очистка, подготовка данных это 95% работы... вот эту бы часть автоматизировали...
7. VmvLer 07.05.19 12:05 Сейчас в теме
(6) Для этого корпорации используют беднейшие страны где нанимают армии операторов для
сбора, очистки, подготовки данных и передачи этих данных алгоритмам машинного обучения.
Фактически эти операторы выполняют ввод данных.
8. s22 19 07.05.19 13:06 Сейчас в теме
(7) В беднейших народ надо еще научить ввод данных.
9. TODD22 18 07.05.19 13:07 Сейчас в теме
(7)
Фактически эти операторы выполняют ввод данных.

Оператор и ввод данных это дорого(даже в беднейших странах) и к тому же очень не качественно.
12. Darklight 32 07.05.19 13:31 Сейчас в теме
(6)В руководстве они рассматривают пример - там очистка идёт скриптами на питоне - то есть - эффективнее писать скрипты для очистки, чем доверять это дело "неграм"
14. starik-2005 3033 07.05.19 13:47 Сейчас в теме
(6) сбор - это имеющиеся в ИС данные. Как они туда попали - дело второе (в инете юзер нажал кнопку или ввел оператор значения не имеет). От чего чистить? От критических значений? Так это кластерный анализ и без нас сможет сделать ,собрав что-то в пределах ограничений и убрав экстремальные значения. Подготовка данных к чему? К анализу? Так это все через определение исходных полей делается . Вот есть у вас продажи - они построены из простых данных: период, товар, цена/сумма/стоимость/профит. Машинное обучение просто получает поля и строит зависимость одних полей от других для прогноза. Для кластеризации даже
то не нужно - нужен просто поток данных в разрезе тех самых полей, а на выходе будет некий градиент из от "хорошо" до "плохо" (ну или по-иному как).

Все машинное обучение сводится к поиску в куче данных тенденций и зависимостей. Прогнав учебную выборку через алгоритм на выходе можно получить связь чего-то с чем-то с неким коэффициентом "правдивости", после этого можно передать уже часть данных, по которым алгоритм найдет недостающие, и на выходе будет прогноз, включающий в себя пришедшие данные и добавленные в них предположения. Дальше с этим можно работать. Например, у вас есть товар и некая кривая спроса, зависящая от совокупности данных, часть из которых есть в системе и может дать некоторый прогноз для построения кривой спроса в перспективе В итоге вы можете спрогнозировтаь спрос и оптимизировать логистику. И готовить тут как-то специально и собирать как-то специально данные нет необходимости - они есть в системе. А вот если на рынок вышел еще один продукт с аналогичными характеристиками, то прогноз полетит к чертям, т.к. часть спроса уйдет на этот аналогичный продукт, но, конечно, не сразу - постепенно по мере продвижения информации о нем в среде потребителей продукта. Но тенденцию снижения спроса можно заметить и принять меры (выяснить, что за продукт появился, изменить по нему логистическую схему, провести рекламную кампанию, ...т.е. принять нужные управленческие решения, чтобы снизить оборотные расходы и кассовый разрыв из-за затаривания склада)
16. TODD22 18 07.05.19 13:50 Сейчас в теме
(14)
сбор - это имеющиеся в ИС данные. Как они туда попали - дело второе (в инете юзер нажал кнопку или ввел оператор значения не имеет).

Это если они там у вас есть в вашей ИС. А если их там нет, то их нужно с начало собрать и обработать. Например из кучи различных источников в интернете.
К тому же обработка то же процесс не простой...
Вот есть у вас данные с пропущенными значениями возникает закономерный вопрос удалить все наблюдения с пропущенными значениями или же попытаться их заполнить какими то средними, медианными или иными значениями.
17. starik-2005 3033 07.05.19 13:54 Сейчас в теме
(16)
А если их там нет, то их нужно с начало собрать и обработать.
Нет систем, где есть все. И если уж пользоваться мехагнизмами прогностики, то на кой черт нам все на свете данные-то нужны? Прогноз как раз и заключается в том, чтобы предположить, как будут развиваться события при наличии только части данных. И как узнать, каких данных не хватает в ИС? Кто нам об этом скажет?

Суть машинного обучения заключается в скармливании известных нам данных, чтобы получить неизвестные. При этом часто придется обучить алгоритм на данных с известным прогнозом (т.е. исторических данных).

Если же в нашей системе нет никаких данных вообще, то это не система - это хрень какая-то бухгалтерская для сдачи отчетности. На кой хрен она нужна - вопрос второй, конечно.
18. TODD22 18 07.05.19 13:58 Сейчас в теме
(17)
И если уж пользоваться мехагнизмами прогностики, то на кой черт нам все на свете данные-то нужны?

Прогнозирование только частный случай.
И как узнать, каких данных не хватает в ИС? Кто нам об этом скажет?

Аналитик.
Если же в нашей системе нет никаких данных вообще

Так я вроде и пишу о том что для этого данные нужно с начало собрать и обработать, что бы система была.
19. starik-2005 3033 07.05.19 14:01 Сейчас в теме
(18)
Прогнозирование только частный случай.
А можно огласить весь список?

(18)
Так я вроде и пишу о том что для этого данные нужно с начало собрать и обработать
И как их надо "обработать"? Всегда интересовался.
21. TODD22 18 07.05.19 15:14 Сейчас в теме
(19)
А можно огласить весь список?

Так в гугле вроде всё есть....
Всегда интересовался.

Поискал в гугле и не нашёл?
22. starik-2005 3033 07.05.19 15:18 Сейчас в теме
(21) не нашел. Дадите сцылку? Вы же, как я понял, уже все нашли и узнали.
23. TODD22 18 07.05.19 15:22 Сейчас в теме
(22)Не могу дать сцылку, кроме ИС на работе остальные ресурсы заблокированы.
Но я уверен что если не поленитесь и загуглите то у вас всё получится.
24. TODD22 18 07.05.19 15:24 Сейчас в теме
(22)Но если коротко то:
Очистка, нормализация, преобразование, выделение признаков, уплотнение данных и это первая ссылка на википедию....
25. TODD22 18 07.05.19 15:27 Сейчас в теме
(22)https://m.habr.com/ru/company/intel/blog/414635/
Не поленился и загуглил с телефона. А так в каждом направлении свои приёмы и подходы.
26. starik-2005 3033 07.05.19 16:05 Сейчас в теме
(25) так вы это об изображениях говорите? Ну тогда да - очистить,нормализовать, дополнить и.... запустить обучение. Потом можно будет лица порнозвезд менять на лица сотрудниц из соседнего кабинета. А я почему-то думал, что мы тут о работе. Ну да ладно...
27. TODD22 18 07.05.19 16:09 Сейчас в теме
(26)
так вы это об изображениях говорите?

Нет я говорил что задачи сбора и предобработки данных довольно трудоёмкие...
А я почему-то думал, что мы тут о работе.

Надо меньше думать о работе.

Вот у меня сейчас задача собрать данные из 10К групп ВК, Фейсбука и Инста и примерно с 5К сайтов... Та ещё задача....
28. starik-2005 3033 08.05.19 17:26 Сейчас в теме
(27)
Вот у меня сейчас задача собрать данные из 10К групп ВК, Фейсбука и Инста и примерно с 5К сайтов... Та ещё задача....
Данные собрать - это вообще не проблема, а вот понять, зачем они нужны - тут сложнее.
29. TODD22 18 08.05.19 18:20 Сейчас в теме
(28)
Данные собрать - это вообще не проблема, а вот понять, зачем они нужны - тут сложнее.

С соц сетей с API не проблема. С сайтами сложнее. Зачем они нужны надо понимать до того как собираешь. А не после....
30. starik-2005 3033 08.05.19 19:54 Сейчас в теме
(29) иногда сначала лучше все собрать, кластеризовать, выявить зависимости, а потом уже можно целевые показатели собирать.
31. TODD22 18 08.05.19 20:44 Сейчас в теме
(30)
иногда сначала лучше все собрать

а потом уже можно целевые показатели собирать.

Так "все" уже и так содержат "целевые", надо их просто выделить что бы модель была более точной, обучение более быстрым....
32. starik-2005 3033 09.05.19 09:14 Сейчас в теме
(31) ну вот, понимаете что-то - уже не плохо)))

Берете все, получаете коэффициент корреляции каждого к каждому, если он выше определенного, то считаете эти показатели связанными. Дал ше собираете только зависимые и уже по ним прогнозы строите зависимостей. А можно - да - всегда все подряд собирать и не париться с корреляцией - просто скармливать нейросети. Но она связи в том же перцептроне между уровнем входного сигнала и результатом строит. Вот есть у ва на входе сто пикселей, изображающих единицу, и они вяжутся к единице, т.к. в обучающей выборке у вас тысяча единиц нарисованная разными художниками. И вот тогда образуется связь, которая отличает единицу от той же семерки. И с любыми другими данными то же самое - есть оюучающая выборка с совокупностью параметров на входе и, допустим, уровнем реакции пользователя или его пристрастие к чему-либо, указанное в обучающем наборе. После обучения система может делать предположения или прогнозы. Но все это с низким уровнем достоыерности, т.к. в срцсетях народ пытается себя с лучшей стороны показать. Поэтому попытка брать все показатели для прогноза или выявления скрытой информации обычно приводит к противоречивым результатам, т.к. пациент врет, система обучена плохо, много независимых показателей вносят шум. Так?
33. TODD22 18 09.05.19 11:54 Сейчас в теме
(32)
Берете все, получаете коэффициент корреляции каждого к каждому, если он выше определенного, то считаете эти показатели связанными.

Корреляция не обязательно означает что показатели связанны и на оборот....
просто скармливать нейросети.

Нейросеть один из инструментов иногда линейная регрессия показывает лучше результаты чем сложные нейросети. К тому же для некоторых областей применения не маловажную роль играет интерпретируемость модели, например для кредитного скоринга.
т.к. пациент врет

Не всегда врёт, бывает что "добросовестно заблуждается".
34. starik-2005 3033 09.05.19 21:02 Сейчас в теме
(33) а что означает корелляция?
11. Darklight 32 07.05.19 13:21 Сейчас в теме
(1)Оно построено на питоне
2. пользователь 07.05.19 10:14
Сообщение было скрыто модератором.
...
3. пользователь 07.05.19 10:15
Сообщение было скрыто модератором.
...
4. muskul 07.05.19 10:34 Сейчас в теме
1с судя по всему через что то подобное начало код и структуру писать.
AMS_Guskov_VL; kuzyara; +2 Ответить
5. VmvLer 07.05.19 10:40 Сейчас в теме
когда интернеты "окуклятся" в национальных границах такие темы логично помечать тегом
#ихнравы, чтобы не было мучительно больно за бесцельное изобретение своих костылей.
10. Darklight 32 07.05.19 13:15 Сейчас в теме
Когда ждать в 1С?
Или првильнее спросить когда к такому монстру прикрутят 1С платформу мелким плагинчиком?
13. user1202800 07.05.19 13:35 Сейчас в теме
Все это хорошо, куча рекламы MS Azure... а по факту при регистрации: "Мы вносим изменения в работу с клиентами, и подписки Azure сейчас недоступны в России.", причем ситуация эта еще с апреля, на официальный запрос отвечают ну типа еще несколько недель вопрос будет решаться, ну вы там пытайтесь время от времени.

На кой черт тратить столько денег на рекламу чтобы так обломать желающих попробовать.
15. starik-2005 3033 07.05.19 13:50 Сейчас в теме
(13)
На кой черт тратить столько денег на рекламу чтобы так обломать желающих попробовать.
Может они хотят, чтобы желающие за это время поставили питончик и поигрались с либами вручную? Все образование...
20. comol 5051 07.05.19 14:40 Сейчас в теме
Какие эти инструменты нафиг новые, если я его ещё пару месяцев назад во всю юзал...
35. user778014 9 10.05.19 02:08 Сейчас в теме
Если за дело взялись мелкомягкие то ждет эту программку такая же судьба как ie, edge, skype, silverlight, windows phone, powerapps, и т.д.
То есть судьба незавидная
Оставьте свое сообщение

См. также

В программу подготовки спортивных программистов вошли бег и скорость печати

Новость ИТ-Новость

Пятничное: в России вступил в силу стандарт подготовки по дисциплине «спортивное программирование». В стандарт вошли требования к физическим показателям спортсменов и скорости набора текста.

16.02.2024    645    VKuser24342747    2       

1

Росстандарт утвердил протокол LoRaWAN для интернета вещей

Новость ИТ-Новость

Федеральное агентство по техническому регулированию и метрологии (Росстандарт) утвердило национальный стандарт протокола LoRaWAN RU, таким образом он получил официальный статус. Технология используется для беспроводной передачи данных между устройствами интернета вещей.

19.01.2024    428    VKuser24342747    0       

2

Новый закон откладывает на год вступление в силу изменений в порядок регистрации на сайтах

Новость Законодательство ИТ-Новость

12 декабря вступил в силу Федеральный закон, меняющий срок, к которому все владельцы сайтов должны внести изменения в порядок авторизации пользователей на сайте. Закон вводит переходный период до 1 января 2025 года.

20.12.2023    608    VKuser24342747    2       

1

Вышло крупное обновление для Android Studio

Новость Мобильные приложения ИТ-Новость

Новая версия Android Studio под номером 2023.1 получила имя Hedgehog. Появились возможности контролировать производительность приложений и управлять подключенными устройствами.

07.12.2023    720    VKuser24342747    2       

3

GitHub опубликовал результаты ежегодного исследования проектов с открытым исходным кодом

Новость GitHub ИТ-Новость

GitHub собрал данные об Open Source проектах в рамках ежегодного исследования Octoverse. Компания изучила географию репозиториев, используемые языки программирования и нейросети, а также активность сообщества.

15.11.2023    488    VKuser24342747    1       

2

Некоммерческие проекты смогут получить бесплатный доступ к GigaChat API

Новость ИТ-компания ИТ-Новость

Компания «Сбер» заявила, что будет бесплатно предоставлять доступ к API нейросети для генерации текста GigaChat для некоммерческих проектов. Однако для них будет ограничено число доступных токенов.

01.11.2023    605    VKuser24342747    2       

3

Состоялся релиз свободной среды разработки Geany 2.0

Новость ИТ-Новость Программист

Вышла новая версия Geany 2.0. Обновление затронуло внешний вид программы, расширило поддержку файлов и сторонних проектов, добавило новые способы работы с кодом.

25.10.2023    692    VKuser24342747    0       

1

Минцифры подготовило критерии по выбору оператора реестра провайдеров хостинга

Новость Минцифры ИТ-Новость Роскомнадзор

Минцифры подготовило проект постановления, которое утверждает требования к организации, претендующей на статус оператора реестра провайдеров хостинга.

25.10.2023    359    VKuser24342747    0       

1

Минцифры составило алгоритм действий для компаний, у которых не работает VPN

Новость Минцифры ИТ-Новость

Минцифры подготовило разъяснения для российских организаций, у которых возникли перебои в работе VPN-сервисов для клиентов и сотрудников из-за блокировки запрещенных ресурсов Роскомнадзором.

24.10.2023    613    VKuser24342747    0       

0

«Сбер» объявила о доступности SberLinux OS Server для российских компаний

Новость Импортозамещение ИТ-Новость

«СберТех», дочерняя компания «Сбера», объявила о предоставлении доступа к собственной серверной операционной системе SberLinux OS Server российским компаниям. ОС включена в реестр отечественного ПО.

20.10.2023    831    VKuser24342747    0       

2

Минцифры внесло изменения в проект правил идентификации клиентов веб-хостингов

Новость Минцифры ИТ-Новость Роскомнадзор

Минцифры подготовило изменения в пакет документов, которые устанавливают новые требования для провайдеров хостинга. Ведомство расширило перечень допустимых методов идентификации клиентов.

18.10.2023    457    VKuser24342747    0       

1

Google выпустила финальную версию Android 14

Новость Android Google ИТ-Новость

Google выпустила новую версию мобильной ОС Android 14. Изменения затронули настройки внешнего вида и безопасности. Были расширены возможности камеры и инструментов для хранения данных.

12.10.2023    673    VKuser24342747    0       

1

Яндекс объявил об открытии исходного кода DataLens

Новость Аналитика ИТ-Новость Яндекс

BI-система Yandex DataLens теперь развивается в опенсорс. Код продукта выложен для всех на GitHub. Любой желающий сможет развернуть DataLens на своем железе и доработать его под свои сценарии применения.

03.10.2023    1372    ЕленаЧерепнева    1       

6

Роскомнадзор создаст реестр хостинг-провайдеров

Новость Минцифры ИТ-Новость Роскомнадзор

Минцифры подготовило несколько проектов постановлений, которые утверждают правила ведения реестра поставщиков хостинг-услуг, а также новые требования к провайдерам.

02.10.2023    562    VKuser24342747    0       

1

«СберТех» представил репозиторий GitVerse с ИИ-помощником для написания кода

Новость Импортозамещение ИТ-Новость Программист

«СберТех» начал прием заявок на тестирование веб-сервиса для публикации ИТ-проектов GitVerse. Платформа подходит для разработки программ с открытым и закрытым кодом.

26.09.2023    769    VKuser24342747    2       

1

ИП и юрлица смогут использовать смартфон для создания и замены электронной подписи

Новость ИТ-Новость ФНС Цифровая подпись

ФНС внесла изменения в правила оформления электронной подписи руководителя организации и ИП. Станет возможным продлевать ее и записывать при помощи мобильного устройства.

18.09.2023    416    VKuser24342747    1       

1

Журнал IEEE Spectrum опубликовал рейтинг популярности языков программирования

Новость ИТ-Новость Языки программирования

Журнал Института инженеров электротехники и электроники IEEE Spectrum подготовил рейтинг самых популярных языков программирования в 2023 году. Статистика разделена на три категории.

01.09.2023    1263    VKuser24342747    4       

2

В бета-версии Microsoft 365 появилась поддержка языка Python для Excel

Новость ИТ-Новость Языки программирования

С помощью библиотек и средств визуализации Python можно будет манипулировать данными Excel, а затем использовать полученные результаты в формулах, диаграммах и сводных таблицах.

28.08.2023    644    VKuser24342747    0       

2

Специалисты Калифорнийского университета установили, что боты справляются с CAPTCHA лучше, чем люди

Новость ИТ-Новость

Международная группа исследователей изучила эффективность тестов CAPTCHA. Ученые пришли к выводу, что технология больше мешает людям, потому что боты научились с ней справляться.

24.08.2023    1143    VKuser24342747    23       

2

Google Chrome начнет поддерживать квантово-устойчивые алгоритмы шифрования

Новость Google Безопасность ИТ-Новость

В версии Google Chrome 116 появится поддержка алгоритмов шифрования, устойчивых к попыткам дешифрации при помощи квантовых вычислений. Технология объединяет преимущества классической и инновационной криптографии.

24.08.2023    467    VKuser24342747    0       

1

В реестр российского ПО включен первый комплекс обработки больших данных

Новость Импортозамещение Минцифры ИТ-Новость Реестр ПО

Минцифры внесло в реестр отечественного ПО программно-аппаратный комплекс «Скала-Р», предназначенный для обработки больших данных. Это первый комплекс с таким функционалом, включенный в перечень.

22.08.2023    453    VKuser24342747    0       

1

Microsoft внедрила новые функции в GitHub Copilot и анонсировала Windows Copilot

Новость GitHub Искусственный интеллект

ИИ-помощник для разработчиков GitHub Copilot теперь не только в реальном времени анализирует код, предлагает варианты для его улучшения и помогает найти решение проблем в разработке, но и  показывает ссылки на репозитории, из которых взят код. 

17.08.2023    1139    VKuser24342747    0       

1

В JetBrains разработали ИИ-помощника для аналитиков данных

Новость Аналитика Искусственный интеллект

JetBrains представила нейросеть Ask AI для онлайн-блокнота Datalore. Виртуальный ассистент способен генерировать код на нескольких языках, предлагать доработки и упрощать процесс аналитики данных. 

16.08.2023    652    VKuser24342747    0       

1

Исследование: ChatGPT дает неправильный ответ на половину вопросов о программировании

Новость Искусственный интеллект ИТ-Новость

Чат-бот OpenAI ошибается в 52% случаев, когда отвечает на вопросы по программированию. Однако делает это так убедительно, что пользователи не замечают ошибки. 

14.08.2023    989    VKuser24342747    5       

3

Минцифры проведет эксперимент по цифровизации «жизненного цикла» госслужащего

Новость Минцифры ИТ-Новость

Минцифры подготовило постановление о проведении эксперимента по внедрению ИТ в управление «жизненным циклом» госслужащего. Ведомство намерено автоматизировать все этапы работы сотрудников госструктур.

04.08.2023    550    VKuser24342747    0       

2