Лавинообразный рост неупорядоченных данных начал тревожить экспертов

03.12.2018      15047

Объем неструктурированных данных растет в 10 раз быстрее, чем упорядоченных. Специалисты опасаются, что без технологий обработки этого массива информации развитие цивилизации остановится.

Стремительный рост

Аналитики компании Igneous пришли к выводу, что почти половина ЦОДов Северной Америки сталкивается с задачей обработки большого объема неупорядоченных данных. 59% дата-центров управляют более чем 10 млрд файлов, а каждый год их объем растет на 23%. Такие сведения представлены в «Государственном докладе, посвященном анализу неструктурированных данных».

Всего в опросе приняло участие 200 руководителей ИТ-компаний. 55% респондентов рассказали, что их организациям приходится иметь дело с машинными данными: сведениями о работе приложений, серверов, гаджетов, мобильных устройств, объектов «интернета вещей», производственных датчиков. Объем неструктурированных данных в 10 раз превышает аналогичный показатель упорядоченных.

В среднем компания каждого опрошенного руководителя использует не менее семи серверов для хранения информации (NAS). У каждой третьей организации таких устройств более 10. Каждое двенадцатое предприятие имеет в своем распоряжении больше 50 NAS.

Вся ценность в данных

Большинство опрошенных предпринимателей уверены, что информация – одна из основных ценностей их бизнеса, наравне с клиентами и сотрудниками. При этом респонденты ставят ее выше бренда, интеллектуальной собственности и даже физических активов. По мнению руководителей, сведения составляют около 40% рыночной стоимости среднестатистического предприятия.

Больше всего респонденты обращают внимание на доступность информации и инструменты для ее анализа. Авторы опроса делают вывод, что это свидетельствует о необходимости повышения скорости доступа к неструктурированным данным и создания решений для их обработки. Исследователи отмечают, что сейчас на рынке достаточно устройств и программных комплексов для хранения неупорядоченных данных, но ощущается нехватка аналитических средств.

Надежды и опасения

Технический директор P1 Technologies Джефф Диниско весьма пессимистично оценивает будущее рынка обработки информации. По его мнению, без новых технологий для анализа неструктурированных нельзя сделать качественный скачок вперед. «Мы просто ничего не сможем сделать с таким массивом информации», – отметил он.

Топ-менеджер Igneous Киран Багешпар дает более оптимистичный прогноз. Он уверен, что, даже несмотря на нехватку аналитических инструментов, неупорядоченные данные находят все больше применения, их роль в развитии общества растет. В качестве примера эксперт приводит машинное обучение, которое на смогло бы существовать без изучения больших объемов информации.

Татьяна Бочарникова, глава представительства NetApp в России и странах СНГ, согласна с результатами исследования и тем фактом, что количество неупорядоченных данных растет по всему миру. Она также отметила тенденцию к оптимизации расходов компаний на ИТ-инфраструктуру, в том числе касающихся хранения информации.


Автор:
Аналитик


Какой объем дисковой памяти использует ваш домашний ПК?


Менее 256 ГБ (15.38%, 14 голосов)
15.38%
256-512 ГБ (19.78%, 18 голосов)
19.78%
512 – 1024 ГБ (20.88%, 19 голосов)
20.88%
1024 – 2048 ГБ (16.48%, 15 голосов)
16.48%
Более 2 ТБ (23.08%, 21 голосов)
23.08%
Нет домашнего ПК (4.4%, 4 голосов)
4.4%

Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. Senator_I 163 03.12.18 10:08 Сейчас в теме
Двух дисков по 500 Гбайт не хватает ,периодически на внешние HDD информацию переношу.
Kochergov; +1 Ответить
2. trdm 03.12.18 10:37 Сейчас в теме
Достаточно научиться отсеивать важное от второстепенного и эта проблема исчезнет.
ccserg; Senator_I; +2 Ответить
3. Senator_I 163 03.12.18 11:01 Сейчас в теме
(2) Много раз были случаи, когда удаленные данные, которые даже стопроцентно не понадобятся, через время оказывались нужными позарез! Одну программу бесплатную, к примеру, полтора дня искал в интернете первый раз, когда попытался второй раз найти, так и не нашел, благо на другом компьютере сохранилась.
Kochergov; +1 Ответить
4. Поручик 4670 03.12.18 11:16 Сейчас в теме
(3) В облако запихивайте. Учётка на яндексе или мыл.ру есть у всех, тем более денег не просят
SITR-utyos; +1 Ответить
5. Senator_I 163 03.12.18 11:28 Сейчас в теме
(4) На Яндексе уже место закончилось, там самые необходимые "под рукой" данные, на майле есть еще немного места, но ненадолго.
22. Timur.V 78 04.12.18 11:54 Сейчас в теме
(5)
Можно создать несколько ящиков. Для каждого ящика место считается отдельно.
8. fd13 03.12.18 11:52 Сейчас в теме
(4) Учеток там не держу. Пользую гугловый диск (иногда) - совместная работа над документами неплохо организована, бывает полезно. Все основное в личном облаке на Synоlogy.
10. suepifanov 935 03.12.18 14:58 Сейчас в теме
(3) Плюшкины в наше время гигабайты копят)
ccserg; sergathome; Stref75; +3 Ответить
11. Senator_I 163 03.12.18 15:24 Сейчас в теме
(10) а промышленность идет навстречу, благо, цена нескольких гигабайт не соизмерима с автомобилем, как раньше.
15. spectre1978 60 04.12.18 09:14 Сейчас в теме
(3) у меня тоже такие случаи были. Но как по мне, все равно это ни разу не повод собирать весь хлам. Я лучше раз в десять лет помучаюсь с тем что "надо позарез", чем буду обрастать всем этим барахлом, в котором, если уж по чесноку, все равно ничерта не найдешь...
30. Healer 1 04.12.18 16:10 Сейчас в теме
(3) ..."Stamp"? ;-)))
6. Senator_I 163 03.12.18 11:29 Сейчас в теме
(2) P.S. кстати, тратить свой законный выходной на разбор данных вовсе не хочется! ;-)
13. Неопределено 90 04.12.18 04:25 Сейчас в теме
(6) Так не собирайте их. Ума не приложу чем можно было забить дома терабайт дискового пространства.
16. Senator_I 163 04.12.18 09:15 Сейчас в теме
(13) Ну во-первых там не только личные данные, но и софтина всякая, фильмы опять же и т.п. И не за один год скопилось, у меня ПК в 2001 появился.
17. Неопределено 90 04.12.18 09:32 Сейчас в теме
(16) Я, конечно, отстал на 3 года, но у меня тоже есть разный софт в виде игр по 20+Гб каждая и при этом занято всего гигабайт 300, а фильмы в наше время широкополосного доступа в сеть можно посмотреть и онлайн в 1080.
18. Senator_I 163 04.12.18 10:00 Сейчас в теме
(17) Вот перекроют доступ к онлайн фильмам,тогда посмотрим кто прав. )))
19. TODD22 18 04.12.18 10:18 Сейчас в теме
(17)человек пытается интернет скачать, а то вдруг отключат.
sergathome; +1 Ответить
21. Неопределено 90 04.12.18 11:03 Сейчас в теме
(19) Чего там качать? Эту штуку скинуть на дискету и готово.
33. Senator_I 163 04.12.18 16:58 Сейчас в теме
(21) Ну вот, я себя чувствую единственным виноватым в увеличении объема цифрового мусора. Я скачал файл из интернета, теперь он мне не нужен, как мне его закачать обратно??? ;-)
23. Timur.V 78 04.12.18 12:04 Сейчас в теме
(17)
(19)
Смотрел ролик с ютуба, кажется на Кубе трудно с интернетом.
Там у ~100 человек есть доступ в интернет. Они скачивают фильмы, музыку, может ещё что-то.
Затем к каждому такому человеку приходят люди со своими HDD и закачивают себе информацию.
Т.е. даже когда официально доступа к интернету нет, нашли способ обмениваться информацией.

А в России всё хорошо с интернетом? Поисковик Яндекс отбивается частично.
26. TODD22 18 04.12.18 14:19 Сейчас в теме
(23)
Затем к каждому такому человеку приходят люди со своими HDD и закачивают себе информацию.

Я так в начале нулевых ещё ходил, когда диалап был....
А в России всё хорошо с интернетом?

Вы не в РФ или у вас какие то проблемы с интернетом?
Вроде нигде с инетом проблем нет уже давно. У нас магазины даже в самых "зашореных" ПГТ и те с нормальным интернетом.
27. Timur.V 78 04.12.18 14:28 Сейчас в теме
(26)
У меня в Москве, интернет хорошо работает только через Tor браузер и VPN.
28. TODD22 18 04.12.18 14:58 Сейчас в теме
(27)у меня то же в Москве. И без тора нормально. Разве что на nnm через впн иногда захожу.
36. Неопределено 90 05.12.18 02:39 Сейчас в теме
(23) Мы раньше тоже ходили в гости с винтом, тут ничего нового. Не знаю, как в России в целом, но вчера общались со знакомым на тему интернета и оказалось что он на Кипре платит больше 30 евро за 10Мб/с, в то время как я плачу 10 за 100. Думаю, да, с интернетом у нас всё хорошо.
34. Senator_I 163 04.12.18 17:05 Сейчас в теме
(17) Ради интереса посмотрел что где на рабочем ноутбуке, так вот, папка 1cv8 в программных файлах, 1,28 Гбайт, установочник + развернутая пустая база почти 500 Мбайт. Всего, на диске С только винда и рабочие фалы с документами, 79 Гбайт занято, прочий софт, драйвера и прочее на диске D - 94,8 Гбайт, ноутбук использую только для работы, ни единого лишнего, развлекательного и т.п. файла.
38. katenok86 246 05.12.18 15:18 Сейчас в теме
(34)У меня временных файлов 1с, которые в \AppData\Roaming за месяц на 30 Гб накапливается, котрые 1с по идее сама должна чистить) Но приходится вручную
Senator_I; +1 Ответить
7. mkalimulin 1136 03.12.18 11:30 Сейчас в теме
"...несмотря на нехватку аналитических инструментов..."
это мозгов что-ли?
shard; awk; +2 Ответить
12. Darklight 32 03.12.18 17:11 Сейчас в теме
(7)Автоматизированные адаптивные интеллектуальные обладающие как бинарной так нечёткой логикой анализа средства:
1. Поиска и классификации данных (массивов данных - здесь и далее)
2. Группировки, ранжирования и сравнения
3. Перераспределения расположения согласно заданным критериям
4. Ликвидации дублирующей и устаревшей информации
5. Версионирования, архивирования (в в прямом смысле, а не просто сжатие), распределение по динамичеcкой карте востребованности
6. Прогнозирования появления будущих структур информации/изменения текущих данных, их распределения по разным критериями (включая востребованность, конфиденциальность и занимаемое место)
7. Управления конфиденциальной и приватной информацией, а так же наоборот публичными и общими данными
8. Верификации, сличения, контроля и защиты данных

P.S.
Лично я уж без таких средств тону в объёме имеющихся у меня личных данных - а это десятки терабайт накоплений на HDD и терабайты на оптических дисках! Это только дома. А на работе - рабочие данные занимают ещё больше!
9. VmvLer 03.12.18 14:00 Сейчас в теме
необходимо разрабатывать и внедрять простые технологии самоуничтожения (self-destruction), т.е. каждый файл должен:
1. кроме системных свойств (дата создания, размер..) иметь свойство "период жизни".
2. задача администраторов принудительно задавать "период жизни" для типов файлов компании

аналитические данные и инструменты быстро устаревают. Пользователи просто забывают удалить хлам,
а сервера и дата-центры тонут в кучах г.

таким образом, спасение цивилизации заключается в том, что данные должны потерять особенность быть вечными
SKravchenko; Darklight; +2 Ответить
24. _wlad_ 04.12.18 13:54 Сейчас в теме
(9) Поджигатели Александрийской библиотеки такую сложную идеологию не придумывали, но результат похожий.
Senator_I; +1 Ответить
14. spectre1978 60 04.12.18 09:10 Сейчас в теме
А по-моему, неструктурированная информация - это по сути мусор, и большой вопрос, есть ли смысл ее вообще накапливать. Видимо, я не в тренде...
20. TODD22 18 04.12.18 10:39 Сейчас в теме
(14)
А по-моему, неструктурированная информация - это по сути мусор
для кого то мусор. А для кого то полезные для анализа данные.
25. _wlad_ 04.12.18 13:59 Сейчас в теме
(14) Вы предлагаете если в квартире вдруг бардак, то надо не наводить порядок, а просто всё вынести на помойку, сесть на полу и медитировать в пустой комнате как Будда ?

Но вы этого не знаете - мусор или нет, ведь она неструктурирована.
29. spectre1978 60 04.12.18 15:02 Сейчас в теме
(25) Нет, я предлагаю не накапливать мусор в процессе. Это довольно просто. Нужно просто класть на место то, что берете, и вовремя выносить ведро. Применительно к информации - это вопрос информационной культуры производителей и потребителей информации. К сожалению, с этим есть проблемы.
31. Healer 1 04.12.18 16:10 Сейчас в теме
Вообще на руборде есть практически всё.
32. sergathome 4 04.12.18 16:16 Сейчас в теме
Напомнило анекдот про гондурас.
35. ccserg 63 04.12.18 17:24 Сейчас в теме
накачают все подряд из сети , и потом места не хватает , это мусор а не данные )))
90 % этих данных никогда не понадобятся
37. vipetrov2 05.12.18 07:52 Сейчас в теме
Эта проблема существует уже давно, а решений нет. Анализировать не структурированные данные можно с помощью ИИ, но в этом направление развитие идет слабо. Зато всякую бребятину с помощью ИИ делают, а что надо запинывают в долгий угол. В этом плане интересно, правительства хотят следить за интернетом и записывают все подрят, а анализировать эти данные возможности нет. Там спецслужбы в ручном режиме по необходимости выдергивают информацию об одном человеке. Так что свободе в интернете ничего не угрожает.
Оставьте свое сообщение

См. также

В программу подготовки спортивных программистов вошли бег и скорость печати

Новость ИТ-Новость

Пятничное: в России вступил в силу стандарт подготовки по дисциплине «спортивное программирование». В стандарт вошли требования к физическим показателям спортсменов и скорости набора текста.

16.02.2024    596    VKuser24342747    2       

1

Росстандарт утвердил протокол LoRaWAN для интернета вещей

Новость ИТ-Новость

Федеральное агентство по техническому регулированию и метрологии (Росстандарт) утвердило национальный стандарт протокола LoRaWAN RU, таким образом он получил официальный статус. Технология используется для беспроводной передачи данных между устройствами интернета вещей.

19.01.2024    389    VKuser24342747    0       

2

Новый закон откладывает на год вступление в силу изменений в порядок регистрации на сайтах

Новость Законодательство ИТ-Новость

12 декабря вступил в силу Федеральный закон, меняющий срок, к которому все владельцы сайтов должны внести изменения в порядок авторизации пользователей на сайте. Закон вводит переходный период до 1 января 2025 года.

20.12.2023    584    VKuser24342747    2       

1

Вышло крупное обновление для Android Studio

Новость Мобильные приложения ИТ-Новость

Новая версия Android Studio под номером 2023.1 получила имя Hedgehog. Появились возможности контролировать производительность приложений и управлять подключенными устройствами.

07.12.2023    684    VKuser24342747    2       

3

GitHub опубликовал результаты ежегодного исследования проектов с открытым исходным кодом

Новость GitHub ИТ-Новость

GitHub собрал данные об Open Source проектах в рамках ежегодного исследования Octoverse. Компания изучила географию репозиториев, используемые языки программирования и нейросети, а также активность сообщества.

15.11.2023    466    VKuser24342747    1       

2

Некоммерческие проекты смогут получить бесплатный доступ к GigaChat API

Новость ИТ-компания ИТ-Новость

Компания «Сбер» заявила, что будет бесплатно предоставлять доступ к API нейросети для генерации текста GigaChat для некоммерческих проектов. Однако для них будет ограничено число доступных токенов.

01.11.2023    566    VKuser24342747    2       

3

Состоялся релиз свободной среды разработки Geany 2.0

Новость ИТ-Новость Программист

Вышла новая версия Geany 2.0. Обновление затронуло внешний вид программы, расширило поддержку файлов и сторонних проектов, добавило новые способы работы с кодом.

25.10.2023    677    VKuser24342747    0       

1

Минцифры подготовило критерии по выбору оператора реестра провайдеров хостинга

Новость Минцифры ИТ-Новость Роскомнадзор

Минцифры подготовило проект постановления, которое утверждает требования к организации, претендующей на статус оператора реестра провайдеров хостинга.

25.10.2023    338    VKuser24342747    0       

1

Минцифры составило алгоритм действий для компаний, у которых не работает VPN

Новость Минцифры ИТ-Новость

Минцифры подготовило разъяснения для российских организаций, у которых возникли перебои в работе VPN-сервисов для клиентов и сотрудников из-за блокировки запрещенных ресурсов Роскомнадзором.

24.10.2023    595    VKuser24342747    0       

0

«Сбер» объявила о доступности SberLinux OS Server для российских компаний

Новость Импортозамещение ИТ-Новость

«СберТех», дочерняя компания «Сбера», объявила о предоставлении доступа к собственной серверной операционной системе SberLinux OS Server российским компаниям. ОС включена в реестр отечественного ПО.

20.10.2023    779    VKuser24342747    0       

2

Минцифры внесло изменения в проект правил идентификации клиентов веб-хостингов

Новость Минцифры ИТ-Новость Роскомнадзор

Минцифры подготовило изменения в пакет документов, которые устанавливают новые требования для провайдеров хостинга. Ведомство расширило перечень допустимых методов идентификации клиентов.

18.10.2023    434    VKuser24342747    0       

1

Google выпустила финальную версию Android 14

Новость Android Google ИТ-Новость

Google выпустила новую версию мобильной ОС Android 14. Изменения затронули настройки внешнего вида и безопасности. Были расширены возможности камеры и инструментов для хранения данных.

12.10.2023    644    VKuser24342747    0       

1

Яндекс объявил об открытии исходного кода DataLens

Новость Аналитика ИТ-Новость Яндекс

BI-система Yandex DataLens теперь развивается в опенсорс. Код продукта выложен для всех на GitHub. Любой желающий сможет развернуть DataLens на своем железе и доработать его под свои сценарии применения.

03.10.2023    1325    ЕленаЧерепнева    1       

6

Роскомнадзор создаст реестр хостинг-провайдеров

Новость Минцифры ИТ-Новость Роскомнадзор

Минцифры подготовило несколько проектов постановлений, которые утверждают правила ведения реестра поставщиков хостинг-услуг, а также новые требования к провайдерам.

02.10.2023    536    VKuser24342747    0       

1

«СберТех» представил репозиторий GitVerse с ИИ-помощником для написания кода

Новость Импортозамещение ИТ-Новость Программист

«СберТех» начал прием заявок на тестирование веб-сервиса для публикации ИТ-проектов GitVerse. Платформа подходит для разработки программ с открытым и закрытым кодом.

26.09.2023    739    VKuser24342747    2       

1

ИП и юрлица смогут использовать смартфон для создания и замены электронной подписи

Новость ИТ-Новость ФНС Цифровая подпись

ФНС внесла изменения в правила оформления электронной подписи руководителя организации и ИП. Станет возможным продлевать ее и записывать при помощи мобильного устройства.

18.09.2023    396    VKuser24342747    1       

1

Журнал IEEE Spectrum опубликовал рейтинг популярности языков программирования

Новость ИТ-Новость Языки программирования

Журнал Института инженеров электротехники и электроники IEEE Spectrum подготовил рейтинг самых популярных языков программирования в 2023 году. Статистика разделена на три категории.

01.09.2023    1230    VKuser24342747    4       

2

В бета-версии Microsoft 365 появилась поддержка языка Python для Excel

Новость ИТ-Новость Языки программирования

С помощью библиотек и средств визуализации Python можно будет манипулировать данными Excel, а затем использовать полученные результаты в формулах, диаграммах и сводных таблицах.

28.08.2023    631    VKuser24342747    0       

2

Специалисты Калифорнийского университета установили, что боты справляются с CAPTCHA лучше, чем люди

Новость ИТ-Новость

Международная группа исследователей изучила эффективность тестов CAPTCHA. Ученые пришли к выводу, что технология больше мешает людям, потому что боты научились с ней справляться.

24.08.2023    1110    VKuser24342747    23       

2

Google Chrome начнет поддерживать квантово-устойчивые алгоритмы шифрования

Новость Google Безопасность ИТ-Новость

В версии Google Chrome 116 появится поддержка алгоритмов шифрования, устойчивых к попыткам дешифрации при помощи квантовых вычислений. Технология объединяет преимущества классической и инновационной криптографии.

24.08.2023    449    VKuser24342747    0       

1

В реестр российского ПО включен первый комплекс обработки больших данных

Новость Импортозамещение Минцифры ИТ-Новость Реестр ПО

Минцифры внесло в реестр отечественного ПО программно-аппаратный комплекс «Скала-Р», предназначенный для обработки больших данных. Это первый комплекс с таким функционалом, включенный в перечень.

22.08.2023    442    VKuser24342747    0       

1

Microsoft внедрила новые функции в GitHub Copilot и анонсировала Windows Copilot

Новость GitHub Искусственный интеллект

ИИ-помощник для разработчиков GitHub Copilot теперь не только в реальном времени анализирует код, предлагает варианты для его улучшения и помогает найти решение проблем в разработке, но и  показывает ссылки на репозитории, из которых взят код. 

17.08.2023    1122    VKuser24342747    0       

1

В JetBrains разработали ИИ-помощника для аналитиков данных

Новость Аналитика Искусственный интеллект

JetBrains представила нейросеть Ask AI для онлайн-блокнота Datalore. Виртуальный ассистент способен генерировать код на нескольких языках, предлагать доработки и упрощать процесс аналитики данных. 

16.08.2023    624    VKuser24342747    0       

1

Исследование: ChatGPT дает неправильный ответ на половину вопросов о программировании

Новость Искусственный интеллект ИТ-Новость

Чат-бот OpenAI ошибается в 52% случаев, когда отвечает на вопросы по программированию. Однако делает это так убедительно, что пользователи не замечают ошибки. 

14.08.2023    951    VKuser24342747    5       

3

Минцифры проведет эксперимент по цифровизации «жизненного цикла» госслужащего

Новость Минцифры ИТ-Новость

Минцифры подготовило постановление о проведении эксперимента по внедрению ИТ в управление «жизненным циклом» госслужащего. Ведомство намерено автоматизировать все этапы работы сотрудников госструктур.

04.08.2023    533    VKuser24342747    0       

2