Algorytm MapReduce - takie sprytne cos czego uzywa Google i inni :-)

[TQM]

WATEK WYDZIELONY Z: http://hack.pl/forum/thread5602,o_co...finicznym.html

ehmmm... po 3 dniach pisania aplikacji mam cluster - 10x quad-core - wiec jak widac aplikacyjnie kazdy moze sobie z tym poradzic nawet piszac od zera calkiem
Wiekszym problemem moze byc poproszenie John'a aby liczyl po kawalku na roznych maszynach albo napisanie wlasnego algorytmu...

[Eragon Argetlam]

No ba TQM ale u mnie ciezko było zsynchronizować dwa rdzenie- ale poszło- a co do John i zeby liczyl na kilku maszynach to chyba gdzies widzialem tutka- ale fajnie by było jakbyś napisał nam ... np na blogu... czy wyszlo i jak to zrobiles- przyda sie przyszłym pokoleniom:P

[TQM]

... bo zrobiles blad probujac je zsynchronizowac!

Dzielisz zadanie na "male" czesci i liczysz kazda osobno na takim sprzecie jaki masz. Jedyne co potrzeba to mechanizm kolejkowania zadan, ponawiania tych ktore padly w trakcie obliczen itp. Pisalem to 3 dni bo mialem jeszcze inna prace do wykonania ale jest to pestka - troche ruszyc glowa i jest.
Jesli chcesz cos wiecej na ten temat - Google stworzylo cos fajnego co nazywa sie MapReduce (dziel i rzadz).

Map() - podziel zadanie na male bloczki i oblicz, zbierajac wyniki tych operacji
Reduce() - poskladaj wyniki w calosc i masz cale wielkie zadanie rozwalone

Google daje wspaniale pomysli i sami opisuja conieco. Moja wlasna implementacja to polowa rozwiazania - tylko Map. Reduce bedzie implementowane pozniej bo to w zaleznosci od zapuszczonych obliczen.

Co mozna zrobic w 3 dni?
- opracowac protokoly komunikacyjne
- napisac serwer obslugujacy kolejkowanie, rapotowanie, itd
- napisac klienta odpowiedzialnego za pobieranie zadan z serwera, uruchamianie i raportowanie wynikow
- stworzenie wlasnej dystrybucji Linux'a (LiveCD) ktora po starcie pobiera z sieci klienta... i zabawa zaczyna sie automatycznie

24h.gif.png

Przy takich obliczeniach najwiekszy problem to ilosc ciepla jaka wydzielaja komputery. Przy 20 procesorach w jednym malym pomieszczeniu widac od razu kiedy obliczenia sie koncza (spadek temperatury bo klima nadal ciagnie na wiekszych obrotach) a skok w gore (ponad poziom sredni) to uruchomienie obliczen. Planujac rozproszone obliczenia trzeba brac pod uwage pobor pradu i ilosc wydzielajacego sie ciepla.

[Eragon Argetlam]

Taka mala glupotka ale jeszcze duuuzo rzeczy mozna w 3 dni zrobic- ba nawet ojcem zostac

A tak na serio to wlasnie produkuje skrypt taki jak mowiles... wynikami postaram sie podzielic...

Thx

PS. Jak bym mial pytania to bede je tu zadawal...

[TQM]

To dla smaczku...

$ wc -l QueueMaster.pl QueueRunner_v1.2a.pl
  232 QueueMaster.pl
  197 QueueRunner_v1.2a.pl

$ ls -l QueueMaster.pl QueueRunner_v1.2a.pl
-rwxr-xr-x 1 tqm tqm 7447 2009-03-12 14:54 QueueMaster.pl
-rwxr-xr-x 1 tqm tqm 6265 2009-03-12 15:17 QueueRunner_v1.2a.pl

licznik linii zawiera komentarze i puste linie, itd... livecd zawiera 1 skrypt majacy doslownie 6 linijek (bash) i kompletne, dzialajace wazy niecale 110MB w formacie ISO :P

Milej zabawy! Ja dzisiaj doliczylem kolejny miliard 'przebiegow'