///Алгоритмы машинного обучения

Алгоритмы машинного обучения

В одной из статей мы познакомились с основами машинного обученияи, хотя кратко, но очень лаконично, мы также познакомились с типами машинного обучения и их приложениями.

Оглавление

В одной из статей мы познакомились с основами машинного обученияи, хотя кратко, но очень лаконично, мы также познакомились с типами машинного обучения и их приложениями. В этой статье давайте попробуем углубиться в различные типы машинного обучения, способ их разработки, задействованные входы и выходы, области их применения и т. Д. Для каждого из них.

Обзор машинного обучения

Машинное обучение определяется как набор компьютерных алгоритмов, которые заставляют системы автономно обучаться и давать результаты, а также улучшать их на основе различных анализов и результатов. Данные будут подаваться в эти алгоритмы, с помощью которых они автоматически обучаются выполнять определенную задачу, получают определенный результат, и, следовательно, мы можем применить это для наших реальных бизнес-сценариев.

 

Алгоритмы машинного обучения могут использоваться для решения бизнес-задач, таких как регрессия, классификация, прогнозирование, кластеризация, ассоциации и т. Д.

 

В зависимости от используемого стиля и метода алгоритмы машинного обучения делятся на четыре основных типа: контролируемое обучение, неконтролируемое обучение, полу-контролируемое обучение и обучение с подкреплением. В следующих разделах давайте подробно рассмотрим каждый из алгоритмов.

Контролируемое обучение

Контролируемое обучение – это метод, который включает обучение с использованием помеченных прошлых данных, и алгоритм должен предсказывать метку для невидимых или будущих данных. Алгоритму контролируемого машинного обучения на самом деле говорят, что искать, и так до тех пор, пока он не найдет базовые шаблоны, дающие ожидаемый результат с удовлетворительной степенью точности. Другими словами, используя эти известные ранее результаты, алгоритм машинного обучения учится на прошлых данных, а затем генерирует уравнение для метки или значения. Этот этап называется этапом обучения.

Фазы контролируемого обучения

Алгоритм контролируемого обучения имеет следующий набор задач – сбор данных, подготовка данных, моделирование, оценка модели, развертывание и мониторинг.

  • Сбор или сбор данных – это сбор соответствующих данных, необходимых для контролируемого алгоритма обучения. Эти данные могут быть получены с помощью регулярных действий, таких как транзакции, демографические данные, опросы и т. Д.
  • Подготовка данных – это то, где мы изменяем и преобразуем данные, используя необходимые шаги. Крайне важно удалить ненужные точки данных и заполнить несоответствия в данных. Этот шаг обеспечивает точность.
  • Фаза моделирования или обучения, на которой устанавливается связь между меткой и другими переменными.
  • На этапе оценки мы проверяем наличие ошибок и пытаемся улучшить модель.
  • Развертывание и мониторинг происходят с невидимыми данными, на этапе реализации модели и создания результатов прогноза.

Бизнес-проблемы, решаемые с помощью контролируемого обучения

Обучение с учителем в основном используется для задач классификации и регрессии.

 

Алгоритм классификации направлен на определение заранее определенной категории данных. Например, основываясь на определенных параметрах изображения фрукта, мы можем узнать, содержит ли изображение помидор или яблоко. Чтобы это работало для представленного изображения, алгоритм машинного обучения должен был быть ранее обучен на различных изображениях помидоров и яблок, при этом пользователь явно указывал овощ во время обучения. Следовательно, для нового изображения алгоритм может определить название овоща. Эта концепция также может быть применена для классификации электронной почты, независимо от того, должно ли электронное письмо попадать в спам или в любую из разрешенных категорий почтовых ящиков, таких как общие, социальные и рекламные акции и т. Д.

 

Алгоритм регрессии, с другой стороны, находит управляющие параметры для числового значения, строит функцию и, таким образом, помогает в предсказании этого значения. Например, сколько должна быть продажная цена дома, в зависимости от таких факторов, как его местоположение, количество спален, площадь дома, удобства и т. Д. Для того, чтобы это сходилось, алгоритм сначала обучается с данными, которые содержат все информация, связанная с движущими факторами цены и, что наиболее важно, ценой дома, которая, конечно, известна на тот момент времени. Алгоритм машинного обучения изучает закономерности, создает уравнение, а затем, наконец, он может узнать цену недавно построенного дома, о которой мы знаем всю информацию, кроме, конечно, цены.

Часто используемые алгоритмы контролируемого обучения

Мы увидели, как алгоритмы контролируемого обучения могут помочь нам предсказать ценность и событие, различные формы контролируемых алгоритмов обучения предназначены для решения этих бизнес-задач.

1. Линейная регрессия

Линейная регрессия – это алгоритм машинного обучения, который преобразует числовые входные данные в числовые выходные данные путем подгонки линии к точкам данных. Проще говоря, линейная регрессия – это способ моделирования взаимосвязи между одной или несколькими независимыми переменными таким образом, чтобы они вместе формировали движущую силу для зависимой числовой переменной. Обычно это определяется линейным уравнением:

 

А с точки зрения бизнеса проблема цен на жилье выглядит примерно так:

2. Логистическая регрессия

Хотя линейная регрессия обычно работает для числовой переменной, алгоритм логистической регрессии устанавливает связь между переменными и классом. Обычно он используется для прогнозирования класса событий, где у нас есть предопределенная и известная категория событий. Зависимая переменная действительно является категориальной переменной, но внутренняя работа алгоритма логистической регрессии фактически преобразует переменную, используя функцию логита, которая вычисляет логарифмическое отношение шансов для событий и, следовательно, строит для них линейное уравнение.

3. Деревья решений

Это непараметрический метод обучения с учителем, который можно использовать как для задач классификации, так и для регрессии, путем определения подходящих методов разделения данных на основе различных условий в древовидную структуру. Конечная цель – предсказать событие или значение, используя полученные условия.

 

Древовидная структура на самом деле представляет собой граф, узлы которого представляют основной вопрос об атрибуте, ребра, которые обычно содержат ответы, а листья представляют собой результат, который, как мы сказали ранее, может быть значением или классом. Таким образом, позволяя нам предсказывать ценности и события. Алгоритм обычно следует нисходящему подходу, выбирая переменную на каждом шаге, которая может разделить следующий набор элементов данных и обычно представлена ​​метрикой, такой как примесь GINI, информационное усиление, сокращение дисперсии и т. для разделения.

4. Машины опорных векторов

Этот алгоритм машинного обучения с учителем также предназначен для задач классификации и регрессии, но в основном используется для классификации. Он использует метод, известный как Kernel Trick для преобразования данных, и на основе преобразования затем находит оптимальную границу разделения между возможными выходами. Граница может быть как простой линейной границей (Linear SVM) для двоичных классов, так и более сложным разделением, включающим несколько классов.

 

Алгоритм представляет классы в гиперплоскости в многомерном пространстве и находит идеальный разделитель для классов, который известен как максимальная маргинальная гиперплоскость. Опорные векторы – это точки данных, которые расположены близко к гиперплоскости, которая, в свою очередь, является плоскостью принятия решений, которая разделяется, а маржа означает разрыв, который рассчитывается между двумя классами.

 

Другие алгоритмы контролируемого машинного обучения включают случайные леса, искусственные нейронные сети и наивную байесовскую классификацию, k-ближайших соседей, линейный дискриминантный анализ и т. Д. Многие алгоритмы контролируемого обучения в Python реализованы с использованием модуля Scikit Learn, а в R он реализован. через пакет каретки.

Области применения контролируемого обучения

Типичные области применения контролируемого обучения:

  1. Сегментация изображений – различные действия по классификации изображений выполняются с использованием данных изображения и предварительно определенных меток, которые мы ищем.
  2. Медицинский диагноз – используя медицинские изображения и прошлые помеченные данные, которые содержат ярлыки для болезненных состояний, мы можем определить болезнь для новых пациентов.
  3. Обнаружение мошенничества – алгоритмы классификации могут использоваться для обнаружения мошеннических транзакций, мошеннических клиентов и т. Д. С использованием исторических данных для выявления закономерностей, которые могут привести к возможному мошенничеству.
  4. Обнаружение спама – опять же, алгоритмы классификации используются для классификации электронной почты как безопасной или как спам.
  5. Распознавание речи – алгоритм обучается с помощью голосовых данных, и с его помощью можно выполнять различные идентификации, такие как голосовые пароли, голосовые команды и т. Д.

Неконтролируемое обучение

Неконтролируемое обучение – это тип алгоритма машинного обучения, который включает обучение машины, как правило, с использованием немаркированных данных, и который составляет основное отличие от алгоритмов контролируемого машинного обучения, которые обычно используют маркированные данные. В этой форме машинного обучения мы позволяем алгоритму самостоятельно обнаруживать лежащие в основе закономерности, сходства, уравнения и ассоциации в данных без добавления каких-либо предубеждений со стороны пользователей. Хотя конечный результат этого совершенно непредсказуем и не поддается контролю, неконтролируемое обучение находит свое место в расширенном исследовательском анализе данных и особенно в кластерном анализе.

 

Обучение без учителя может найти скрытые и неизвестные закономерности в данных и, таким образом, помогает найти функции, которые очень полезны для автоматической категоризации данных. Кроме того, получить немаркированные данные из различных источников очень легко. Например, в корпусе текста алгоритм неконтролируемого обучения может получить похожие шаблоны и сможет классифицировать тексты по различным неизвестным группам, тем самым помогая пользователю обнаруживать темы, связанные с текстом – например, что делает определенный обзор о продукт говорит о и т. д.

Проблемы бизнеса, решаемые с помощью обучения без учителя

Самый большой вклад неконтролируемого обучения заключается в улучшенном исследовательском анализе данных, поскольку он помогает находить все виды неизвестных закономерностей в данных. Двумя основными типами бизнес-проблем, которые могут быть решены с помощью обучения без учителя, являются правила кластеризации и ассоциации. Другие проблемы включают обнаружение аномалий и обнаружение скрытых переменных.

  • Кластерный анализ – это наиболее часто используемая реализация обучения без учителя. Он используется для извлечения неизвестных и скрытых шаблонов и окружающих групп, находящихся внутри данных. Некоторые из распространенных алгоритмов кластеризации – это кластеризация k-средних, которая разделяет данные на k отдельных кластеров в зависимости от расстояния до центроида кластера, иерархическая кластеризация, модели смеси Гаусса, самоорганизующиеся карты, которые используют нейронные сети, которые изучают топологию. и распределение данных, Скрытые марковские модели: использует наблюдаемые данные для восстановления последовательности состояний.
  • Правила связывания полезны при поиске ассоциаций в большом наборе данных и обнаружении корреляций и зависимостей в данных. Обычно это применяется к различным транзакционным данным из различных отраслей, таких как розничная торговля, банковское дело, медицина, страхование и т. Д. Некоторые примеры алгоритмов правил ассоциации включают алгоритм Apriori, FP-Growth и т. Д.
  • Методы обнаружения аномалий позволяют обнаруживать нежелательные, непоследовательные, экстремальные и отсутствующие точки данных в данных.
  • Модели со скрытыми переменными – это набор алгоритмов, которые могут уменьшить размерность, и они наиболее широко используются вместе с алгоритмами кластеризации. Пример, анализ главных компонентов, факторный анализ и т. Д.

Часто используемые алгоритмы неконтролируемого обучения

Обучение без учителя обычно включает в себя обнаружение сходства и ассоциации. Одно из отличительных замечаний по поводу этого подхода – его характер операции «черный ящик», когда большинство шагов ввода и вывода не могут контролироваться пользователем. В этом разделе мы рассмотрим наиболее часто используемые алгоритмы, которые могут решить множество бизнес-задач.

1. Кластеризация k-средних

Кластеризация k-средних – это процесс, который помогает разделить точки данных или наблюдения на k неизвестных кластеров таким образом, чтобы каждое наблюдение явно принадлежало кластеру. Эта ассоциативность кластера определяется близостью этой точки данных к ближайшему среднему значению, иначе известному как центроид кластера. Из-за вовлечения в данные меры близости, в процессе используются различные алгоритмы расстояния для измерения близости данных к центру кластера.

 

Единственным и основным недостатком k-means является то, что алгоритм не может запуститься без указания пользователем априори необходимого количества кластеров. Кроме того, не существует математического или научного метода определения оптимального количества кластеров. Реализация обычно происходит на основе метода проб и ошибок, где изначально рассматривается набор значений «K», а наилучшее из них выбирается в соответствии с эвристическими знаниями.

 

Несмотря на этот недостаток, k-means – один из самых простых, но мощных алгоритмов, который применялся во многих бизнес-кейсах, таких как сегментация клиентов, сегментация изображений, сегментация текста и т. Д.

2. Кластеризация DBSCAN

Кластеризация k-означает использует подход, который известен как кластеризация на основе центроидов, и, наоборот, существуют подходы к кластеризации, которые используют плотность как фактор для дифференциации точек данных. Типичную реализацию такого процесса можно увидеть в DBSCAN.

 

В алгоритме «Пространственная кластеризация приложений с шумом» на основе плотности (DBSCAN) есть две основные концепции: первая – «Достижимость по плотности», а вторая – «Связность по плотности». Это помогает алгоритму различать и разделять области с разной степенью плотности – следовательно, создавать кластеры.

 

Для реализации DBSCAN мы сначала начинаем с определения двух важных параметров – параметра радиуса eps (ϵ) и минимального количества точек в пределах радиуса (м).

 

а. Алгоритм начинается со случайной точки данных, к которой раньше не обращались, и ее окрестность помечается значком ϵ.

 

б. Если он содержит все m минимальных точек, начинается формирование кластера – следовательно, он отмечается как «посещенный» – если нет, то он помечается как «шум» для этой итерации, который может быть изменен позже.

 

c. Если следующая точка данных принадлежит этому кластеру, тогда окрестность ϵ теперь вокруг этой точки становится частью кластера, сформированного на предыдущем шаге. Этот шаг повторяется до тех пор, пока не исчезнут больше точек данных, которые могут соответствовать Density Reachability и Density Connectivity.

 

d. После выхода из этого цикла он переходит к следующей «непосещенной» точке данных и создает дополнительные кластеры или шум.

 

е. Алгоритм сходится, когда больше не остается непосещенных точек данных.

3. Анализ главных компонентов

PCA – это алгоритм уменьшения размерности, который полезен для уменьшения количества переменных в огромном наборе данных – путем преобразования группы переменных в одну большую переменную и в то же время с сохранением исходных характеристик этого набора переменных. Все эти процессы происходят с минимальной или почти нулевой потерей информации, хотя всегда есть риск потери точности данных. Следовательно, PCA в основном используется в сочетании с неконтролируемым обучением, хотя он также имеет хорошие приложения с линейной регрессией.

 

Как указывалось ранее, набор переменных сгруппирован в единый блок, который известен как основные компоненты (ПК). Они ортогональны, представляют собой линейную комбинацию переменных, веса которых определяются с помощью собственного вектора. PCA находит свое применение в бизнесе, в котором задействованы многомерные данные, такие как финансы, биоинформатика, психология, обработка изображений и т. Д.

4. Правила ассоциации

Правила связывания обычно представляют собой набор условных операторов, которые помогают показать отношения между элементами данных в больших наборах данных, созданных в различных бизнес-сценариях. Правило ассоциации широко используется для обнаружения корреляций в транзакционных данных. Таким образом, для заданного набора транзакций правила связывания могут помочь найти правила, которые будут предсказывать появление элемента на основе вхождений других элементов в транзакции. Типичные термины, используемые в алгоритме, – это поддержка, уверенность и подъем.

 

Поддержка определяет частоту определенного набора элементов данных в рамках транзакции как отношение к общему количеству транзакций. Уверенность – это количество раз, когда условие оценивается как истинное. Лифт измеряет эффективность правила с точки зрения его предсказательной силы.

 

Правила ассоциации полезны при анализе типичных данных, связанных с розничной торговлей, например данных, собранных с помощью сканеров штрих-кода в супермаркетах, или данных, генерируемых посредством транзакций на веб-сайте электронной торговли и т. Д. Эти данные обычно содержат многочисленные записи транзакций. В конце концов, мы можем добывать различные шаблоны, такие как определенные группы предметов, которые постоянно покупаются вместе, предметы, похожие на предметы, которые вы просматриваете, и т. Д. Это, в свою очередь, помогает в правильном размещении предметов на веб-сайте или внутри физического заведения.

Области применения обучения без учителя

Основная область применения неконтролируемого обучения – это «продвинутый» исследовательский анализ данных. Видно, что это применяется к различным доменам и данным.

  1. Сетевой анализ: используется в документе Сетевой анализ текстовых данных для выявления плагиата и авторских прав в различных научных документах и ​​научных статьях.
  2. Системы рекомендаций: широко используются в системах рекомендаций для различных веб-приложений и веб-сайтов электронной коммерции.
  3. Рентгеновская кристаллография: используется для категоризации белковой структуры определенного белка и для определения его взаимодействия с другими белками в цепях.
  4. Социальные науки: кластеризация в анализе социальных сетей реализуется с помощью DBSCAN, где объекты (точки) группируются на основе связи объектов, а не сходства.
  5. Поисковая система: где похожие друг на друга объекты должны быть представлены вместе, а непохожие объекты следует игнорировать. Кроме того, требуется получить объекты, которые тесно связаны с поисковым запросом, если не полностью связаны.

Обучение с подкреплением

Обучение с подкреплением – это подмножество машинного обучения, которое позволяет компоненту системы, называемому агентом, обучаться в смоделированной интерактивной виртуальной среде методом проб и ошибок, подкрепляя результаты с помощью системы вознаграждения-наказания, которая создается с использованием обратной связи с его собственной действия и переживания.

 

Этот метод звучит очень близко и похож на контролируемое обучение, но между ними есть одно важное отличие, которое их отличает. Мы видели, как в алгоритме машинного обучения с учителем программа знает ответы и, соответственно, разрабатывает шаблоны и создает модель. Однако в обучении с подкреплением предопределенных меток нет. Он работает в виртуальной среде, которая дополняется набором наград за правильные ответы и набором наказаний за неправильные ответы. В конечном итоге цель алгоритма – максимизировать вознаграждение для агента, созданного программным обеспечением.

 

Другими словами, агент «учится» на результатах своих действий в виртуальной среде, а не явно получает правильные выходные данные (контролируемые). Затем он выбирает лучший курс действий на основе прошлого опыта ( эксплуатация ), а также путем нового выбора ( исследования ), который в основном осуществляется методом проб и ошибок.

 

Теперь для этого метода проб и ошибок нужен индикатор, чтобы доказать, верен он или нет, и это обеспечивается сигналом подкрепления. Этот сигнал ожидает награды, что означает успех результата действия. И, конечно же, конечная цель – максимизировать эту награду.

 

В RL мы используем следующие компоненты – среду, состояние, вознаграждение, политику и ценность. Основная проблема, с которой мы можем столкнуться при реализации этих алгоритмов, заключается в разработке правильной среды, которая, в свою очередь, сильно зависит от типа решаемой бизнес-проблемы.

 

Более того, проблемы сохраняются, потому что определенная таким образом виртуальная среда должна быть правильно преобразована в реальный сценарий. Если эти проблемы будут решены, обучение с подкреплением может сыграть решающую роль в решении различных бизнес-проблем, которые обсуждаются в следующем разделе.

Бизнес-проблемы, решаемые с помощью обучения с подкреплением

Во многих промышленных приложениях эмулируемые агенты создаются для выполнения задач вместо человека, чтобы минимизировать ошибки или, что наиболее важно, снизить риски для жизни человека. Эти агенты оказались неотъемлемой частью крупных предприятий, таких как производство, металлургия, финансы и т. Д. Некоторые из бизнес-проблем, которые решаются с помощью обучения с подкреплением:

  • Автоматизация относится к набору процессов и методологий, которые позволяют выполнять задачу с минимальным или нулевым вмешательством человека. Хотя для достижения автоматизации используются различные методы, машинное обучение с использованием алгоритмов обучения с подкреплением является одним из самых эффективных подходов к реализации автоматизации в различных отраслях. Автоматизация может применяться к различным функциям в отрасли, таким как установка, эксплуатация, техническое обслуживание, проектирование, закупки и управление.
  • Оптимизация – это процедура, которая находит оптимальное решение проблемы путем итеративного выполнения и сравнения решений до тех пор, пока не будет найдено удовлетворительное решение. Они могут быть детерминированными, в которых используются предопределенные установленные правила для перехода от одного решения к другому, и стохастическими, где правила перехода используют оценку на основе вероятности для поиска наилучшего перехода от одного решения к другому.

Часто используемые алгоритмы обучения с подкреплением

Некоторые из наиболее широко используемых алгоритмов RL – это Q-Learning, State-Action-Reward-State-Action (SARSA), Deep Q Network (DQN), Deep Deterministic Policy Gradient (DDPG) и т. Д.

Q-Learning

Это один из самых простых и широко используемых алгоритмов обучения подкреплению. Q-обучение направлено на поиск наилучших возможных действий, которые необходимо предпринять в данном состоянии машины. Он следует подходу, который известен как обучение вне политики, потому что он учится на действиях, которые могут не быть частью текущих определений политики, без ущерба для конечной цели, т. Е. Максимизации политики вознаграждения для программного агента. Q означает качество, которое обозначает полезность данного действия для получения награды в будущем. Q-значения определены для всех состояний и действий, которые будут итеративно вычисляться с использованием правила Temporal Difference – Update.

 

Награды и Эпизоды определяют переход из одного состояния в другое и, таким образом, количественно определяют эффективность перехода для данного действия. Награда определяется как значение, которое присваивается после выполнения определенного действия в определенном состоянии, и оно может быть выполнено на данном этапе или после завершения основного действия.

 

Временная разница или TD-обновление – это процесс, в котором q-значения корректируются на основе разницы между дисконтированными новыми значениями и старыми значениями. Новые значения дисконтируются с использованием гаммы, а размер шага корректируется с использованием скорости обучения.

Состояние-действие-награда-государство-действие (SARSA)

Это алгоритм для изучения политики процесса принятия решений Маркова. Обучение начинается в состоянии, скажем, в состоянии S1, в котором выполняется определенное действие, скажем, A1. Как мы знаем в обучении с подкреплением, после завершения каждого действия этому действию назначается награда. Итак, для A1, допустим, агент получает вознаграждение R за выполнение этого действия. Как только это будет сделано, агент переходит на новый этап S2, за которым должно следовать действие A2. Этот процесс представляет собой комбинацию из состояния S1, действия A1, которое получает вознаграждение R, за которым следуют состояние S2 и действие A2, отсюда и сокращение SARSA.

 

Этот алгоритм подстраивается под текущие состояния и удаляет любой старый опыт, так что, когда он встречает пространство состояний, которое агент не посещал в последнее время, алгоритм переучивается. Это делает его более эффективным. Различные формы аппроксимации линейных функций, такие как линейное программирование, могут использоваться для дальнейшего улучшения выбора и управления переобучением.

Применение обучения с подкреплением

Обучение с подкреплением лучше всего использовать в тех случаях, когда известен сценарий приложения, а также как наилучшие, так и нежелательные результаты, но невозможно построить какую-либо допустимую математическую модель с использованием обучения с учителем, и обнаружение сходства может помочь решить любые проблемы. Вот некоторые из лучших приложений обучения с подкреплением:

  1. Динамическое ценообразование – метод, с помощью которого цены корректируются в зависимости от спроса и предложения, чтобы максимизировать прибыль и продажи. Q-обучение в основном используется для моделей ценообразования.
  2. Промышленная автоматизация с использованием робототехники
  3. Среда повышения квалификации и обучения в академических и профессиональных учебных заведениях, например подготовка пилотов, симуляторы машинистов поездов и т. Д.
  4. Игровые решения и логика, где большую часть игровой логики можно определить с помощью обучения с подкреплением.
  5. Оптимизация маршрутов доставки и поиск наилучших возможных маршрутов для последней точки доставки.
  6. Решения о финансовых инвестициях для поиска наилучших торговых стратегий.

Влияние различных алгоритмов на машинное обучение

До сих пор мы видели машинное обучение и различные типы алгоритмов машинного обучения, а также некоторые из наиболее часто используемых алгоритмов в отрасли. Давайте посмотрим на их коллективное стремление к процессу машинного обучения и посмотрим, как они помогают в базовом функционировании машинного обучения. Различные функции в отрасли генерируют различные виды данных, различные формы данных, различные уровни данных, а также различные размеры и структуры данных.

 

Эти данные нужно приручить! В том смысле, что генерируемые таким образом данные нужно использовать с пользой, вместо того, чтобы позволять им идти напрасно. Для этого используются различные методы: поиск закономерностей, скрытых сходств, ассоциаций, оптимизации, моделирования, генерации производных данных и т. Д.

 

Поиск закономерностей в данных может дать ответ на множество вопросов о событии или значении, например о том, какая транзакция, скорее всего, является мошеннической, написан ли входящий твит в положительном или отрицательном смысле, почему многие сотрудники уходят из компании или в ближайшие пять недель, какими могут быть мои еженедельные продажи или какие расходы ожидает покупатель, использующий кредитную карту.

 

На указанные выше вопросы можно ответить с помощью задач классификации и прогнозирования. Оба они могут быть реализованы с помощью контролируемого обучения. Линейная регрессия, логистическая регрессия, опорные векторы, случайный лес, деревья решений, K-ближайшие соседи, как обсуждалось в предыдущих разделах, имеют большое значение для этих бизнес-задач.

 

В то время как поиск закономерностей предполагает построение модели – это, по сути, подход, при котором мы загружаем машину «правильными» ответами, но в различных случаях нам нужно найти скрытые сходства в данных. Это может включать в себя поиск похожих областей на изображении, объединение клиентов в сегменты, которые следуют за определенной скрытой близостью, поиск связанных элементов из списка транзакций, чтобы мы могли знать, какие элементы похожи друг на друга или какие элементы приобретаются вместе с текущий элемент и т. д. Неконтролируемое обучение предоставляет возможное решение вышеуказанных проблем. Как обсуждалось ранее, некоторые из важных неконтролируемых алгоритмов включают k-среднее, k-медианное, нечеткое C-среднее, DBSCAN, AGNES, ARules и совместную фильтрацию и т. Д.

 

Если отвлечься от вышеупомянутых отраслевых сценариев, в которых для построения моделей для решения бизнес-задач доступны обширные данные, а иногда и данные с адекватной разметкой, существуют определенные аспекты, в которых либо данные данные настолько минимальны и обычны, что получают математическую функция невозможна. В этих сценариях мы можем создать смоделированную среду и найти правильные или неправильные ответы, предоставив систему вознаграждения, и мы увидели, что этот класс алгоритмов известен как обучение с подкреплением. Это может быть благом для таких приложений, как динамическая оптимизация тарифов на авиабилеты, игровые решения автоматических игроков, принятие торговых решений, робототехника и т. Д.

 

Мы можем использовать мощные инструменты, такие как Python и R, для реализации различных типов алгоритмов машинного обучения, чтобы максимально эффективно использовать данные. В наше время машинное обучение с использованием Python и машинное обучение в R стало очень популярным благодаря различным пакетам, доступным для реализации на обоих языках для реализации классификации, регрессии, кластеризации и обучения с подкреплением и т. Д. Кроме того, мы также можем интегрировать эти модели в различные приложения для конечных пользователей.

Почитать еще

Несколько видео о наших продуктах

| Аналитика бизнеса
Проиграть видео
Презентация аналитической платформы Tibco Spotfire
| Аналитика бизнеса
Проиграть видео
Отличительные особенности Tibco Spotfire 10X
| Аналитика бизнеса
Проиграть видео
Как аналитика данных помогает менеджерам компании
2021-02-15T23:05:19+02:00