Ackumulatorer är variabler som endast "läggs till" genom en associativ operation och kan därför effektivt stödjas parallellt. De kan användas för att implementera räknare (som i MapReduce) eller summor. Spark har inbyggt stöd för ackumulatorer av numeriska typer, och programmerare kan lägga till stöd för nya typer.
Varför använder vi ackumulator?
Hydrauliska ackumulatorer används i en mängd olika industrier för att lagra energi; upprätthålla trycket; dämpa vibrationer, pulseringar och stötar; och mycket mer. Energilagring – Ackumulatorer kan ta emot, lagra och frigöra energi i form av trycksatt vätska för att förbättra ditt hydraulsystems effektivitet.
Vad är skillnaden mellan broadcast och ackumulator i Spark?
Nyckelskillnaden mellan en broadcast-variabel och en ackumulator är att medan broadcast-variabeln är skrivskyddad, kan ackumulatorn läggas till. … Varje arbetarnod kan bara komma åt och lägga till sitt eget lokala ackumulatorvärde, och endast drivrutinsprogrammet kan komma åt det globala värdet.
Hur fungerar Spark-ackumulatorn?
Ackumulatorer är variabler som används för att aggregera information mellan exekutörerna. Till exempel kan denna information avse data eller API-diagnos som hur många poster som är skadade eller hur många gånger ett visst biblioteks-API anropades.
Varför ska ackumulatorvariabel i Spark inte användas av arbetare för transformationsoperationer?
Accumulator ger fel utdata. Om en uppgift går långsamt kan Spark starta en spekulativ kopia av den uppgiften på en annan nod. Bedömning: Ej hanterad. Ackumulatorn ger fel utdata.
