Todos estamos conscientes dos dois tipos comuns de Regressão, logística, e Regressão linear. Ambos os tópicos são conceitos básicos de Machine Learning. Experimentamos a sobreposição de um modelo, aumentando o grau de liberdade nos modelos de regressão. Podemos ultrapassar o sobreajustamento com a ajuda de técnicas de regularização. As duas técnicas para reduzir os problemas de sobreajustamento podem utilizar a regressão do laço e da crista. Abaixo, iremos compreender o conceito de Regressão do Laço. Iremos rever como é diferente e semelhante à Regressão da crista.

O que é Regressão?

É possível prever o valor contínuo de um modelo através do modelo de regressão. Por exemplo, é possível prever os preços dos imóveis em função do tamanho, localização e características da casa. Este é o exemplo mais simples de compreensão da regressão. A regressão é uma técnica supervisionada.

O que é a Regressão?

O termo regularização significa tornar as condições aceitáveis ou regulares. É por isso que utilizamos habitualmente esta técnica no processo de aprendizagem da máquina. Na aprendizagem mecânica, regularização significa encolher ou regularizar os dados no sentido do valor zero. Em palavras fáceis, é possível utilizar a regularização para evitar o excesso de adaptação, limitando a capacidade de aprendizagem ou flexibilidade de um modelo de aprendizagem de máquina.

Tipos de regularização

Existem dois tipos básicos de técnicas de regularização. Estas técnicas são a Regressão de Crista e a Regressão de Laço. O seu método de penalização do coeficiente é diferente. No entanto, ambas as técnicas ajudam a reduzir o excesso de adaptação a um modelo.

Regressão de Lasso

Esta técnica é um tipo de regressão linear e ajuda a diminuir a limitação do modelo. Os valores dos dados encolhem para o centro ou média para evitar o sobreajustamento dos dados. Utilizando o contexto da Regressão de Ridge, compreenderemos esta técnica em detalhe em palavras simples abaixo.

Compreender o Conceito de Regressão de Ridge

Como a Regressão de Ridge e Lasso são iguais

A regressão de Lasso é muito semelhante ao conceito de regressão de Ridge. Podemos compreender a regressão de Lasso considerando um exemplo. Suponhamos que temos um bando de ratos. Podemos começar por fazer um gráfico do peso e tamanho de ratos individuais. Na linha vertical do gráfico, tomamos o tamanho, e na linha horizontal, tomamos o peso.
Agora dividimos estes dados no gráfico em dois conjuntos diferentes para uma melhor classificação. Destacaremos os dados de treino como pontos vermelhos no gráfico, e destacaremos os dados de teste com os pontos verdes. Agora, utilizaremos os quadrados mínimos e colocaremos uma linha sobre os dados de treino.
Em palavras simples, podemos dizer que precisamos de minimizar a soma dos resíduos quadrados. Depois de encaixarmos a linha, podemos ver que os dados de treino têm um baixo enviesamento. A linha dos mínimos quadrados não caberá nos dados de teste, ou podemos dizer que a variância é alta.
Agora, podemos usar a regressão da crista e encaixar a linha nos dados. Ao fazer isto, estamos a minimizar a soma da regressão da crista quadrada e da lambda vezes a inclinação ao quadrado. A regressão da crista é a regressão de mínimos quadrados mais a Penalização de Regressão da Crista.
A soma da regressão da crista ao quadrado + λ x a inclinação2
Pelo gráfico, podemos ver que a linha de regressão da crista e os mínimos quadrados não se encaixam uns nos outros, assim como os dados de formação. Podemos dizer que os quadrados mínimos têm um enviesamento inferior à regressão da crista. No entanto, devido ao pequeno Bias, veremos uma enorme queda na variação da regressão da crista.
Neste ponto do gráfico, podemos compreender que podemos obter uma previsão a longo prazo, começando com uma regressão da crista um pouco pior. Isto pode ser um problema. Agora vamos considerar novamente a equação:
A soma da regressão de cristas ao quadrado +λx a inclinação2
Agora, se removermos a praça na encosta, tomamos o valor absoluto, encontraremos Lasso Regression.
A soma da regressão da crista quadrangular + λ x │the slope│
A regressão Lasso também tem pouco Bias, tal como a regressão Ridge Regression, mas tem menos Variância do que a Least Squared. Ambos estes tipos de regressões parecem semelhantes e desempenham a mesma função de tornar o tamanho dos dados de treino menos sensível. Além disso, é possível aplicar ambas as regressões com o mesmo objectivo.

Como a regressão de Ridge e Lasso são diferentes

Para compreender a diferença entre o Ridge e o Lasso Regression, precisamos de voltar aos dados de formação de duas amostras e aumentar a lambda.
A soma da regressão da crista quadrangular + λ x │the slope│
O que é o mesmo que minimizar a soma dos quadrados com restrições Σ |Bj≤ s. Alguns dos βs são reduzidos a exactamente zero, resultando num modelo de regressão que é mais fácil de interpretar.
Um parâmetro de afinação, λ controla a força da penalização L1. λ é basicamente a quantidade de encolhimento:
Quando λ = 0, nenhum parâmetro é eliminado. A estimativa é igual à que se encontra com a regressão linear.
À medida que λ aumenta, cada vez mais coeficientes são fixados em zero e eliminados (teoricamente, quando λ = ∞, todos os coeficientes são eliminados).
À medida que a λ aumenta, aumenta o enviesamento.
À medida que λ diminui, a variância aumenta.

Conclusão

Da explicação acima, podemos compreender que a Regressão Lasso pode eliminar as variáveis inúteis da equação. Este tipo de regressão é melhor do que a regressão de Ridge e ajuda a reduzir as Variâncias num modelo de aprendizagem da máquina que contém muitas Variâncias.