Varför lasso tenderar att ha nollkoefficienter?

Varför lasso tenderar att ha nollkoefficienter?
Varför lasso tenderar att ha nollkoefficienter?
Anonim

Lassot utför krympning så att det finns "hörn" i begränsningen, som i två dimensioner motsvarar en diamant. Om summan av rutor "träffar" ett av dessa hörn, då krymps koefficienten som motsvarar axeln till noll. … Därför utför lassot krympning och (effektivt) urval av delmängder.

Varför ger lassot nollkoefficienter?

Lassot utför krympning så att det finns "hörn" i begränsningen, som i två dimensioner motsvarar en diamant. Om summan av rutor "träffar" ett av dessa hörn, då krymps koefficienten som motsvarar axeln till noll.

Varför krymper lassot till noll men inte Ridge?

Det sägs att eftersom formen på begränsningen i LASSO är en diamant, kan den erhållna lösningen med minsta kvadrater vidröra diamantens hörn så att den leder till en krympning av någon variabel. Men i åsregression, eftersom det är en cirkel, kommer den ofta inte att röra axeln

Varför krymper åsregression koefficienterna?

Ridge-regression krymper alla regressionskoefficienter mot noll; lassot tenderar att ge en uppsättning nollregressionskoefficienter och leder till en sparsam lösning. Observera att för både åsregression och lassot kan regressionskoefficienterna flyttas från positiva till negativa värden när de krymps mot noll.

Är lasso-koefficienter partiska?

…lassokrympningen gör att uppskattningarna av koefficienterna som inte är noll är snedställda mot noll och i allmänhet är de inte konsekventa [Lägg till anmärkning: Detta betyder att, eftersom urvalsstorleken växer, koefficientuppskattningarna konvergerar inte].

Rekommenderad: