Как датамайнинг может влиять на развитие общества?

На мой взгляд, датамайнинг или умный анализ данных будет играть роль «колеса» в развитии человечества. Он позволит делать привычные процессы эффективнее, быстрее и удобнее.

Суперприкладные исследования

Анализ данных делается не просто так, а с целью выявить полезные закономерности, которые могут быть использованы человечеством на практике. Ключевой термин здесь — данные. Интересно, что смысл этого понятия со временем меняется.

Если еще в середине прошлого века ученые, работавшие с вычислительными машинами, представляли, что данные — это последовательность из нулей и единиц, файлы на компьютерах, то позднее, столкнувшись с большим числом новых прикладных задач, они поняли, что данные — более сложное понятие, несмотря на то, что в ЭВМ они представляются в виде нулей и единиц.

Один и тот же объект, скажем потенциальное месторождение полезных ископаемых, может описываться как числовыми параметрами (например, показателями сейсмической активности, температурой в этой местности, высотой над уровнем моря) так и изображениями (снимками местности, картами, фотографиями из космоса), а также мнением специалиста, который говорит, что здесь могут быть новые полезные ископаемые.

И каким станет анализ данных в будущем — никто не знает. Потому что никто не знает, какие данные будут в будущем. Вряд ли кто-то мог в 50-х годах прошлого века представить, что такое социальная сеть. Но появилась технология — Интернет — которая дала толчок развитию, в том числе, социальным сетям и, как следствие, анализу данных в них.

Меняются и данные, и задачи. Если мы много знаем о человеке из его профиля, из его действий в социальной сети, то эту информацию можно использовать для рекомендации ему каких-то товаров и услуг. Задач о построении таких рекомендаций раньше не было, а теперь есть и потребность в рекомендациях и данные. Изменяются и устройства, которые снимают данные.

Если раньше при словах «сбор, хранение, обработка данных» представлялся компьютер, который занимает две комнаты, то сейчас у каждого в кармане смартфон, способный собирать информацию с помощью датчиков, и по ней можно много всего узнать о пользователе. Анализ данных — это слишком прикладная область, это не только наука, но и инженерные знания, и искусство решения задач, и умение ставить эти задачи.

Датамайнинг спасает жизни

В докладе по анализу данных, который недавно был сделан в Белом доме, говорится о том, как анализ данных будет полезен правительству США. Ключевых тезиса в нем два: датамайнинг делает экономику более эффективной и спасает жизни. Одна из иллюстраций второго утверждения — выявление эпидемий на ранней стадии.

Если раньше сигналы об эпидемиях поступали из клиник, и в тех же США информация доходила до нужных органов с запозданием в 11 дней, то Google научился определять эпидемии эффективнее и быстрее — путем анализа поисковых запросов.

Бывает, что много людей из одной местности начинают часто вводить в поисковик вопросы: «что делать при высокой температуре?», «что делать, если появилась сыпь?», вводят названия каких-то препаратов и т. д. — все это может говорить о том, что эпидемия уже возникла. Узнается об этом практически мгновенно, что, конечно, помогает спасению жизней.

Другой пример. Актуальная задача для Nokia — это диагностика падения телефона — сам он упал, или вместе с человеком. Это два разных падения. В одном случае падение происходит слишком резко, телефон может еще и подпрыгивать после удара или даже ломаться, во втором случае — более плавно. Есть пожилые люди, которые находятся под строгим медицинским наблюдением. Показания датчиков их телефонов постоянно контролируются. Когда поступает сигнал о падении с человеком, пациенту звонит сотрудник службы здравоохранения, и если никто не отвечает, выезжает скорая помощь.

Более эффективные продажи

Рассмотрим, как действует рекомендательная система интернет-магазина. Когда человек заходит на сайт и смотрит товары, для него всплывают подсказки «посмотрите также этот товар». По анализу его активности на сайте, его предыдущих покупок, его поисковых запросов клиенту предлагаются некие новые варианты. Если, скажем, он кликает на товар — смартфон — ему предлагаются чехольчики к этому смартфону, защитные пленочки. Причем предлагаются не просто так, чтобы просто подходили по размеру, а еще и из тех соображений, что у магазина будет максимальная прибыль с их продажи. Можно при выдаче рекомендаций учитывать популярность товаров, тогда клиент будет скорее откликаться на предложения.

В интернет-магазине с качественной рекомендательной системой будет больше продаж, клиенты будут более лояльны, видя, что о них заботятся. И реклама будет ненавязчивой: рекомендоваться будет именно то, чем они интересуются. Если человек покупает книги, ему не будут рекомендовать памперсы, при выходе же новой книги интересующего его писателя эта книга тут же будет ему рекомендоваться.

Покупатель будет меньше времени тратить на поиск и покупку товаров, нагрузка на сайт уменьшится. Реклама будет эффективнее. Мы сможем проанализировать, кто откликается на рекламные предложения. Клиентов, которые не реагируют на рекламу, можно «не травмировать» спамом.

Можно поступать и хитрее: анализировать, насколько человек лоялен именно к рекламируемым товарам. Мы сегодня сделали скидку, допустим, на какое-то пиво, человек обрадовался и много его закупил. Это новая марка, он раньше никогда этого пива не видел. Мы смотрим — будет ли он потом его употреблять или нет. Аналогично с другими товарами. Например, он купил бритвенные станки и пену по акции, но будет ли он покупать то же самое, когда акция закончится? Если мы видим, что человек в принципе способен притягиваться к товарам, становиться лояльным к новым брендам, тогда клиент более выгоден и мы даем рекламу уже в расчете не него. Например, делаем целевые акции — именно таким лояльным покупателям. Этим клиентам даже необязательно делать слишком большие скидки, потому что наша задача — дать им товар попробовать, привлечь их внимание. Процесс продаж происходит гораздо эффективнее, чем если бы покупатель просто приходил в обычный магазин с тележкой и к нему подбегал бы назойливый консультант с вопросом: «Чем могу вам помочь?». Здесь все можно автоматизировать.

Кто пишет отзывы на книги?

Многие сегодня пользуются электронными книжками. Пока они не слишком хорошо собирают данные, но допустим, что эти гаджеты смогут сохранять логи, как человек читает книгу. Компания, которая готовит цифровые версии книг, будет знать, что читает человек, как он читает. Это важно, поскольку пользователь может купить книгу и бросить ее читать. Еще будет известно, какие страницы человек читал дольше, какие быстрее, на чем он останавливался, где он делал пометки, какие книги он перечитывал несколько раз и т. д.

Такой подход может изменить даже писательский труд. Теперь писатель знает, что в его книге показалось интересным, что менее интересным, какие тексты были сложными для чтения, какие легкими, где читатель делал закладки, какие фрагменты сохранял в цитатник.

Также получится упорядочить оставленные читателями отзывы и выяснить, например, что все плохие отзывы написали люди, которые читали книгу очень быстро, фактически ее пролистали, и им доверять н"