Handling Churn in a DHT Andreas Wigmostad Bjerkhaug

Hva er DHT og churn? DHT = Distributed Hash Table: Et assosiativt kart for P2P-applikasjoner, gjør det mulig å gjøre lookup ved å mappe hash- verdier til noder. Churn: Den kontinuerlige prosessen av at noder kommer inn i og forlater systemet.

Leaf sets og routing table Leaf set Routing table

Recursive lookup

Iterative lookup

Churn er et problem

Håndtering av churn Recovering from failures Routing aroung suspected failures (timeout) Proximity neighbor selection

Reactive recovery Når en node i løvsettet til noden går ut av systemet eller kommer inn, sender noden hele løvsettet sitt til alle noder i løvsettet. Problem: Positive feedback cycles Løsning: Være mer konservativ når man sier at en node har gått ut av settet.

Periodic recovery Noden deler periodisk sitt løvsett med alle medlemmer av settet (som igjen deler sitt løvsett med den aktuelle node). Dette skjer uavhengig av når noder kommer inn og går ut av systemet. Unngår positive feedback cycles. Øker graden av scalability i systemer med mye churn.

Utregning av timeout-tider 5 sekunder timeout som kontroll eksperiment TCP-style timeouts Timeout fra virtuelle koordinater

TCP-style timeout Forutsetter recursive lookup. Noden tar vare på responstider fra sine naboer. Timeout utregnes som: RTO = AVG + 4 x VAR

Timeout fra virtuelle koordinater Fungerer også under iterative routing. Man benytter en distribuert maskinlæringalgoritme som tildeler noder koordinater i et virtuelt rom. Koordinatene deles ut slik at avstanden mellom 2 noder i rommet er proporsjonal med latency i nettverket mellom dem. Timeout regnes ut som: RTO = v + 6 x α + 15

Resulater for timeout eksperiment

Proximity neighbor selection (PNS) Går ut på å finne nærmeste node med rett prefix under lookup. Metoder:  Global sampling.  Neighbors’ neighbors.  Neighbors’ inverse neighbors.  Recursive sampling.

Resultater fra PNS eksperiment

Konklusjon Recovery:  Man unngår positive feedback cycles når man benytter peroidisk recovery.  Periodisk recovery fungerer bedre under churn når løvsettet blir stort. Timeout:  TCP-metoden best så lenge man benytter rekursiv lookup. Proximity neighbor selection  Man trenger ikke mer enn en enkel global sampling for å få bra resultater.

Comparing the performance of distributed hash tables under churn

Eksperimentet Bruker lookup latency som parameter både for kostnad of ytelse. Ser på 4 eksisterende DHT-protokoller:  Tapestry  Chord  Kelips  Kademlia

Convex hull

Resultater og konklusjon Alle protokollene kan få omtrent samme ytelse om parametrene er valgt korrekt. Velge parametrene korrekt er ingen enkel sak. Samme type parametre kan ha ulik effekt på de ulike protokollene.