Мы все знаем о двух общих типах регрессии, логистики и линейной регрессии. Обе эти темы являются базовыми концепциями машинного обучения. Мы испытываем переосмысление модели, увеличивая степень свободы в регрессионных моделях. Мы можем преодолеть перегрузку с помощью техник регуляризации. Две техники для уменьшения проблем с переподгонкой могут использовать регрессию лассо и гребня. Ниже мы рассмотрим концепцию регрессии Лассо. Мы рассмотрим, чем она отличается и похожа на регрессию хребта.

Что такое регрессия?

Вы можете предсказать непрерывную величину модели через регрессионную модель. Например, вы можете предсказать цены на недвижимость в зависимости от размера, местоположения и особенностей дома. Это самый простой пример понимания регрессии. Регрессия – это контролируемая техника.

Что такое Регуляризация?

Термин регуляризация означает сделать условия приемлемыми или регулярными. Именно поэтому мы обычно используем эту технику в процессе машинного обучения. В машинном обучении регуляризация означает сокращение или регуляризацию данных до нулевого значения. Простыми словами, можно использовать регуляризацию, чтобы избежать перегрузки, ограничивая возможности обучения или гибкость модели машинного обучения.

Типы регуляризации

Существует два основных типа методов регуляризации. Эти техники – регрессия хребта и регрессия Лассо. Их метод пенисации коэффициента отличается. Однако, оба метода помогают уменьшить переподготовку в модели.

Регрессия Лассо

Эта техника является одним из видов линейной регрессии и помогает уменьшить ограничения модели. Значения данных сжимаются к центру или означают, чтобы избежать переполнения данных. Используя контекст хребтовой регрессии, мы подробно рассмотрим эту методику ниже простыми словами.

Понимание концепции регрессии Лассо

Как Регрессия Ридж и Лассо – одно и то же.

Лассо регрессия очень похожа на концепцию хребтовой регрессии. Мы можем понять регрессию Лассо на примере. Предположим, что у нас есть кучка мышей. Мы можем начать с построения графика веса и размера отдельных мышей. На вертикальной линии графика мы берем размер, а на горизонтальной – вес.
Теперь разделим эти данные на два разных набора для лучшей классификации. Мы выделим тренировочные данные красными точками на графике, а данные тестирования – зелеными. Теперь воспользуемся Наименьшие квадраты и поставим линию на тренировочных данных.
Простыми словами, мы можем сказать, что нам нужно минимизировать сумму квадратных остатков. После того, как мы подгоним линию, мы увидим, что тренировочные данные имеют малую погрешность. Линия наименьшего квадрата не будет соответствовать данным тестирования, или мы можем сказать, что дисперсия велика.
Теперь мы можем использовать регрессию гребня и подогнать линию под данные. Сделав это, мы минимизируем сумму регрессии конька в квадрате и умножим лямбда на квадрат склона. Регрессия хребта – это Наименьший квадрат плюс Штраф за регрессию хребта.
Сумма квадратной регрессии хребта + λ x склон2.
Из графика видно, что линия регрессии гребня и наименьшие квадраты не подходят друг другу, так же как и данные тренировки. Можно сказать, что наименьший квадрат имеет более низкую Bias, чем Ridge Regression. Однако, из-за малого значения Bias, вы увидите огромное падение дисперсии регрессии гребня.
В этой точке графика мы можем понять, что можем получить долгосрочный прогноз, начав с немного худшей Регрессии хребта. Это может быть проблемой. Теперь рассмотрим уравнение еще раз:
Сумма квадратной гребневой регрессии +λx наклон2
Теперь, если мы удалим квадрат на склоне, возьмем абсолютное значение, найдем регрессию Лассо.
Сумма квадратной регрессии гребня + λ x │the slope│.
У регрессии Лассо также есть небольшая Bias, как и у Ridge Regression, но меньше Variance, чем у Least Squared. Оба этих типа регрессий выглядят похожими и выполняют одну и ту же функцию, делая размер тренировочных данных менее чувствительным. Более того, вы можете применить обе регрессии для одной и той же цели.

Чем отличаются хребет и регрессия Лассо.

Чтобы понять разницу между Хребтом и Лассо Регрессией, нам нужно вернуться к двум образцам данных тренировок и увеличить лямбда.
Сумма квадратной регрессии гребня + λ x │the slope│.
Это то же самое, что минимизировать сумму квадратов с ограничением Σ |Bj≤ s. Некоторые из βs сокращаются до точного нуля, в результате чего получается регрессионная модель, которую легче интерпретировать.
Параметр настройки, λ контролирует силу штрафа L1. λ в основном является величиной усадки:
При λ = 0 никакие параметры не устраняются. Оценка равна найденной при линейной регрессии.
По мере роста λ все больше и больше коэффициентов устанавливаются на ноль и устраняются (теоретически, при λ = ∞ все коэффициенты устраняются).
С ростом λ увеличивается смещение.
С уменьшением λ увеличивается дисперсия.

Заключение

Из приведенного выше объяснения можно понять, что регрессия Лассо может исключить из уравнения бесполезные переменные. Этот тип регрессии лучше, чем регрессия Ridge, и помогает уменьшить Варианты в модели машинного обучения, которая содержит много Вариантов.