Wszyscy zdajemy sobie sprawę z dwóch wspólnych typów regresji, logistyki i regresji liniowej. Oba te tematy to podstawowe koncepcje uczenia się maszynowego. Doświadczamy overfitting w modelu poprzez zwiększenie stopnia swobody w modelach regresji. Możemy przezwyciężyć overfitting z pomocą technik regulowania. Te dwie techniki redukcji overfitting problemy mogą korzystać z lasso i regresji grzbietowej. Poniżej zrozumiemy koncepcję regresji lasso. Przeanalizujemy jak bardzo jest ona inna i podobna do regresji kalenicowej.

Czym jest regresja?

Możesz przewidzieć ciągłą wartość modelu poprzez model regresji. Na przykład, można przewidzieć ceny nieruchomości w zależności od wielkości, lokalizacji i cech domu. Jest to najprostszy przykład zrozumienia regresji. Regresja jest nadzorowaną techniką.

Czym jest uregulowanie?

Termin “uregulowanie” oznacza uczynienie warunków akceptowalnymi lub regularnymi. Dlatego też powszechnie stosujemy tę technikę w procesie uczenia się maszynowego. W procesie uczenia maszynowego, regularyzacja oznacza zmniejszanie lub regulowanie danych do wartości zerowej. Mówiąc prościej, możesz użyć regularyzowania, aby uniknąć przeregulowania, ograniczając możliwości uczenia się lub elastyczność modelu uczenia maszynowego.

Rodzaje regularyzacji

Istnieją dwa podstawowe rodzaje technik regularyzacji. Są to Regresja kalenicowa i Regresja laserowa. Ich metoda karania współczynnika jest inna. Obydwie techniki pomagają jednak w ograniczeniu prześwietlenia w modelu.

Regresja laserowa

Technika ta jest rodzajem regresji liniowej i pomaga w zmniejszaniu ograniczeń modelu. Wartości danych skurczają się do wartości środkowej lub średniej, aby uniknąć nadmiaru danych. Korzystając z kontekstu regresji kalenicowej, zrozumiemy tę technikę szczegółowo poniżej w prostych słowach.

Zrozumienie koncepcji regresji laserowej

Jak regresja grzbietowa i laserowa są takie same

Regresja lasso jest bardzo podobna do koncepcji regresji grzbietowej. Możemy zrozumieć regresję lasso na przykładzie. Załóżmy, że mamy bandę myszy. Możemy zacząć od sporządzenia wykresu wagi i wielkości poszczególnych myszy. Na pionowej linii wykresu przyjmujemy rozmiar, a na poziomej masę.
Teraz podzielmy te dane na wykresie na dwa różne zestawy dla lepszej klasyfikacji. Na wykresie zaznaczymy dane treningowe jako czerwone kropki, a dane testowe jako zielone kropki. Teraz użyjemy najmniejszych kwadratów i umieścimy linię na danych treningowych.
Mówiąc prostymi słowami, możemy powiedzieć, że musimy zminimalizować sumę kwadratów resztek. Po dopasowaniu linii, widzimy, że dane treningowe mają niski poziom błędu systematycznego. Linia najmniejszych kwadratów nie pasuje do danych testowych, lub możemy powiedzieć, że wariancja jest wysoka.
Teraz możemy użyć regresji kalenicowej i dopasować linię na danych. W ten sposób minimalizujemy sumę regresji grzbietowej i lambda razy nachylenie do kwadratu. Regresja kalenicowa to najmniejsze kwadraty plus kara za regresję kalenicową.
Suma kwadratów regresji grzbietu + λ x nachylenie2
Z wykresu widać, że linia regresji grzbietowej i najmniejsze kwadraty nie pasują do siebie, podobnie jak dane dotyczące treningu. Możemy powiedzieć, że najmniejsze kwadraty mają niższy spadek niż regresja grzbietowa. Jednakże, ze względu na mały Bias, można zauważyć ogromny spadek wariancji regresji grzbietu.
W tym momencie na wykresie możemy zrozumieć, że możemy uzyskać długoterminową prognozę, zaczynając od nieco gorszej regresji grzbietowej. To może być problem. Teraz rozważmy jeszcze raz to równanie:
Suma kwadratowej regresji kalenicy +λx nachylenie2
Teraz, jeśli usuniemy kwadrat na zboczu, przyjmiemy wartość bezwzględną, znajdziemy Regresję Lasso.
Suma regresji kwadratu na zboczu + λ x │the slope│
Regresja Lasso ma również niewielkie uprzedzenia, podobnie jak regresja grzbietowa, ale ma mniejszą zmienność niż regres najmniejszy. Oba te rodzaje regresji wyglądają podobnie i spełniają tę samą funkcję, zmniejszając wrażliwość danych treningowych. Co więcej, można zastosować oba rodzaje regresji w tym samym celu.

Czym różnią się regresja grzbietowa i laserowa?

Aby zrozumieć różnicę pomiędzy Regresją Grzbietu i Lasso, musimy wrócić do danych treningowych z dwóch próbek i zwiększyć lambda.
Suma regresji kalenicy kwadratowej + λ x │the slope│
Jest to równoznaczne z minimalizacją sumy kwadratów z ograniczeniem Σ |Bj≤ s. Niektóre z βs są skurczone do dokładnie zera, co daje łatwiejszy do interpretacji model regresji.
Parametr strojenia, λ kontroluje wytrzymałość kary L1. λ jest w zasadzie ilością skurczów:
Kiedy λ = 0, żadne parametry nie są eliminowane. Oszacowanie jest równe oszacowaniu stwierdzonemu przy zastosowaniu regresji liniowej.
W miarę wzrostu λ, coraz więcej współczynników jest ustawianych na zero i eliminowanych (teoretycznie, gdy λ = ∞, wszystkie współczynniki są eliminowane).
Wraz ze wzrostem λ zwiększa się współczynnik ukośny.
Gdy λ maleje, zwiększa się wariancja.

Wniosek

Z powyższego wyjaśnienia możemy zrozumieć, że Regresja Lasso może wyeliminować z równania bezużyteczne zmienne. Ten rodzaj regresji jest lepszy niż regresja grzbietowa i pomaga zredukować zmienne w modelu uczenia się maszyn, który zawiera wiele zmiennych.