Роман Зыков

Данные бывают разными — это могут быть результаты медицинских анализов, фотографии, географические карты, описание и характеристики товаров, история посещения страниц сайта пользователями, списки клиентов и многое другое. В нашей области анализа у данных одна цель — помощь в принятии решений человеком и даже создание систем такой помощи

Медицинские анализы — помощь в постановке диагноза, принятие решений о выводе лекарства на рынок

Фотографии — поиск предметов

распознавание лиц.
• Товары — закупки нужных товаров на склад.
• История посещений сайта — рекомендательная система интересных страниц.
• Список клиентов — разбить их на группы, чтобы предложить разные скидки.
• Географические карты — навигация с учетом автомобильных пробок

Много данных не бывает
Эту фразу я повторял, когда работал в Ostrovok.ru.

что в эпоху облачных вычислений, дешевого хранения данных и хороших алгоритмов их сжатия нужно сохранять максимально много и подробно. Поверьте, когда понадобится найти ответ на какой-то вопрос и вы будете понимать, что данных нет, а могли бы быть, будет очень обидно. Рано или поздно собирать их все равно придется, почему бы не начать прямо сейчас

Я всегда стараюсь использовать этот подход во всех компаниях, где бы ни работал. Вы даже не представляете, насколько будут вам благодарны пользователи ваших аналитических систем, когда смогут получать данные самостоятельно. Самые умные и деятельные сотрудники являются самыми активными потребителями информации для принятия решений, и создавать им препятствия — это преступление

Как вы помните из предыдущих глав, классическая аналитика данных делится на два этапа — поиск гипотез и их статистическая проверка. Для формирования гипотез нам понадобятся описательная статистика, визуализация данных и доменные знания, например, какие события в компании произошли

Как я уже писал, основное отличие машинного обучения от обычного программирования заключается в том, что программа обучается на примерах, а не на прямых инструкциях. Поэтому неотъемлемой частью какого-либо решения является обученная на данных (примерах) модель

Теорема No Free Lunch (или по-нашему — халявы не бывает) гласит, что не