Logo sv.boatexistence.com

Varför stokastisk lutning?

Innehållsförteckning:

Varför stokastisk lutning?
Varför stokastisk lutning?

Video: Varför stokastisk lutning?

Video: Varför stokastisk lutning?
Video: Stochastic Gradient Descent, Clearly Explained!!! 2024, Maj
Anonim

Enligt en senior dataforskare är en av de tydliga fördelarna med att använda Stokastisk Gradient Descent att det gör beräkningarna snabbare än gradientnedstigning och batchgradientnedstigning … På massiva datamängder, stokastisk gradientnedstigning kan konvergera snabbare eftersom den utför uppdateringar oftare.

Vad används Stokastisk Gradient Descent till?

Stokastisk gradientnedstigning är en optimeringsalgoritm som ofta används i maskininlärningsapplikationer för att hitta modellparametrarna som passar bäst mellan förutspådda och faktiska utdata Det är en inexakt men kraftfull teknik. Stokastisk gradientnedstigning används ofta i maskininlärningsapplikationer.

Varför behöver vi använda Stokastisk Gradient Descent snarare än standardgradientnedstigning för att träna ett konvolutionellt neur alt nätverk?

Stokastisk gradientnedstigning uppdaterar parametrarna för varje observation vilket leder till fler uppdateringar. Så det är ett snabbare tillvägagångssätt som hjälper till att fatta snabbare beslut. Snabbare uppdateringar i olika riktningar kan märkas i den här animationen.

Varför föredrar vi lutning?

Den främsta anledningen till att gradientnedstigning används för linjär regression är beräkningskomplexiteten: det är beräkningsmässigt billigare (snabbare) att hitta lösningen med hjälp av gradientnedstigningen i vissa fall. Här måste du beräkna matrisen X′X och sedan invertera den (se anmärkning nedan). Det är en dyr kalkyl.

Varför används SGD?

Stokastisk gradientnedstigning (ofta förkortad SGD) är en iterativ metod för att optimera en objektiv funktion med lämpliga jämnhetsegenskaper (t.ex. differentierbar eller subdifferentierbar).

Rekommenderad: