Grafikkprosessering på sky

Grafikkprosessering Grafikkprosessering = Render Lage bilder ved hjelp av datamaskiner Animasjon krever massiv datakraft

Renderfarm Nettverk av maskiner Klynge = Cluster Parallell prosessering Virtualisering

Amazon EC2 Introduseres i 2006 XEN plattform Skalerbar infrastruktur

Amazon EC2 Leie per time EC2 sone InstanstypeUSA EastUSA WESTEU WESTAPAC C1.xlarge $ 0.68 per time$ 0.76 per time

Er det mulig å skape en renderfarm på sky?

Prosjekt Ymer

Problemstillingen 1. Utvikle en grafikkprosesseringsprototype Basert på åpen kildekode Som kan sendes ut på en nettsky 2. Undersøkelser i forhold til Ytelse Forutsigbarhet Kvalitet Kostnadsmessige aspektene økonomisk lønnsom for små og mellomstore bedrifter

Prosjektets kompleksitet Ingen tidligere dokumentasjon Mye å sette seg inn i Amazon Ec2 – gir mulighetene, ikke verktøyene

Utgangspunktet…

Metode og design Vitenskapelig undersøkelsesmetode Dokumentasjon  Prosjektdesign Hva? Hvorfor? Hvordan?  Konseptuel modell av Prototype  Implementering av prototype (Ymer)  Testbok  Analyse og resultat

Implementering av Ymer

Ymers plattform Debian Linux Xen Hypervisor MLN Administrasjon går via dom 0 Ymer vil ligge på dom U i flere versjoner

Mester og slavenode Linux Image for mesternode (DrQueue, NFS) Linux Image for slavenode (DrQueue, NFS, Blender)

Hvordan starte opp en renderfarm på et annet nettverk? Enhver virtuell maskin som startes på Amazon EC2 tildeles dynamisk IP Vi vet ikke hva denne IP- adressen blir på forhånd Hvordan skal vi kunne koble de virtuelle maskinene sammen? Hvordan skal vi kunne konfigurere programvaren som krever en kjent IP?

Dynamisk DNS Dynamisk DNS ”sporer” IP-adresser Man registrerer en IP- adresse med et navn For eksempel, så kan bli renderfarm.dyndns.com Dette gjør det mulig å nå noden uten å kjenne den faktisk IP-adressen

Integrering av verktøy Nødvendig fordi nodene er ”blinde” i det de starter opp på EC2 Sørger for at slavenodene finner mesternoden og kobler seg til den Sørger for nødvendige konfigurasjoner DrQueue startes på alle noder

Arkitektur

DrQman

Testene

1.Måle tiden og døgnvariasjon på en grafikkprosesseringsoppgave på EC2, sone US, instanstype c1.small 2.Måle tiden og døgnvariasjon på en grafikkprosesseringsoppgave på EC2, sone EU, instanstype c1.small 3.Måle tiden det tar å bygge, sende, starte og pinge et renderfarmprosjekt ut på en nettsky 4.Grafikkprosessering av en stor fil, med økt antall noder. Er det samsvar mellom økt antall noder og kraft brukt i forhold til tid? (proporsjonalt / uproporsjonalt?) 5.Måle nedlastningstid av iso-fil fra sky, til server over 24 timer. 6.Måling av pakke og bytestrøm under grafikkprosessering 7.Tid det tar å starte et prosjekt til Amazon har allokert minne til alle noder 8.Lokal grafikkprosessering med en slavenode 9.Kostnader (undersøkelser og vurderinger rundt kostnadsaspektet)

Gjennomføring av testene Innhenting av testresultater: Manuelt: – Gjennomføring av grafikkprosessering og notering av resultat: tidsbruk og bildetap Måleverktøy: – Testscript for måling av tidsbruk og nettrafikk

Omfanget Variasjoner: Døgnvariasjoner Variasjoner på filstørrelse Variasjoner på instanstype Variasjoner på antall slavenoder Repetisjoner og tilleggstester: Mange repetisjoner Tilleggstester ved interessante funn

Resultater av tekniske tester

Ytelse og kvalitet

Bildetapet øker dramatisk ved bruk av 16 slavenoder Hva kan være årsaken?

Begrensninger i programvaren?

Bytestrøm ved bruk av 8 og 16 slavenoder

EC2 sonene Sone EU er en nærmere destinasjon enn US Sone EU har lavere og jevnere tidsbruk

Hvilken sone gir best ytelse? Sone EU gir bedre ytelse enn US Hvorfor? Da burde man vel velge sone EU?

Kostnadsdimensjonen

Innkjøpskostnad sammenlignet med antall innleide arbeidstimer

Total kostnad første år sammenlignet med antall innleide arbeidstimer Innkjøp og drift 8 XL Noder

Ymers Proporsjonalitet

Konklusjon

Er problemstillingen besvart? Alle mål er nådd Ytelse? Forutsigbarhet? Kvalitet? Kostnad?

Veien videre Ymer åpner for muligheter - løsningen er tilgjengelig for alle Skaper interesse -Vi planlegger å skrive en artikkel for Norsk informatikkonferanse (NIK) -Prosjekt Ymer får en egen prosjektside med veiledning på hjemmesiden for MLN Videre utvikling – Flere brukerområder? – Brukergrensesnitt? – Optimalisering av løsningen?

Spørsmål?