Pokaż wyniki 1 do 5 z 5

Temat: Algorytm MapReduce - takie sprytne cos czego uzywa Google i inni :-)

  1. #1
    Zarejestrowany
    Jun 2006
    Skąd
    rand(.eu)
    Postów
    8,748

    Domyślnie Algorytm MapReduce - takie sprytne cos czego uzywa Google i inni :-)

    WATEK WYDZIELONY Z: http://hack.pl/forum/thread5602,o_co...finicznym.html

    ehmmm... po 3 dniach pisania aplikacji mam cluster - 10x quad-core - wiec jak widac aplikacyjnie kazdy moze sobie z tym poradzic nawet piszac od zera calkiem
    Wiekszym problemem moze byc poproszenie John'a aby liczyl po kawalku na roznych maszynach albo napisanie wlasnego algorytmu...
    Ostatnio edytowane przez TQM : 03-15-2009 - 21:21
    ctrl-alt-del.cc - soft reset site for IT admins and other staff :-)

  2. #2
    Zarejestrowany
    May 2007
    Skąd
    802.1 Wireless Wlan Card
    Postów
    552

    Domyślnie

    No ba TQM ale u mnie ciezko było zsynchronizować dwa rdzenie- ale poszło- a co do John i zeby liczyl na kilku maszynach to chyba gdzies widzialem tutka- ale fajnie by było jakbyś napisał nam ... np na blogu... czy wyszlo i jak to zrobiles- przyda sie przyszłym pokoleniom:P
    o przemyśleniach w kontekście NLP... http://www.tuetbrute.blogspot.com

  3. #3
    Zarejestrowany
    Jun 2006
    Skąd
    rand(.eu)
    Postów
    8,748

    Domyślnie

    ... bo zrobiles blad probujac je zsynchronizowac!

    Dzielisz zadanie na "male" czesci i liczysz kazda osobno na takim sprzecie jaki masz. Jedyne co potrzeba to mechanizm kolejkowania zadan, ponawiania tych ktore padly w trakcie obliczen itp. Pisalem to 3 dni bo mialem jeszcze inna prace do wykonania ale jest to pestka - troche ruszyc glowa i jest.
    Jesli chcesz cos wiecej na ten temat - Google stworzylo cos fajnego co nazywa sie MapReduce (dziel i rzadz).

    Map() - podziel zadanie na male bloczki i oblicz, zbierajac wyniki tych operacji
    Reduce() - poskladaj wyniki w calosc i masz cale wielkie zadanie rozwalone

    Google daje wspaniale pomysli i sami opisuja conieco. Moja wlasna implementacja to polowa rozwiazania - tylko Map. Reduce bedzie implementowane pozniej bo to w zaleznosci od zapuszczonych obliczen.

    Co mozna zrobic w 3 dni?
    - opracowac protokoly komunikacyjne
    - napisac serwer obslugujacy kolejkowanie, rapotowanie, itd
    - napisac klienta odpowiedzialnego za pobieranie zadan z serwera, uruchamianie i raportowanie wynikow
    - stworzenie wlasnej dystrybucji Linux'a (LiveCD) ktora po starcie pobiera z sieci klienta... i zabawa zaczyna sie automatycznie


    Przy takich obliczeniach najwiekszy problem to ilosc ciepla jaka wydzielaja komputery. Przy 20 procesorach w jednym malym pomieszczeniu widac od razu kiedy obliczenia sie koncza (spadek temperatury bo klima nadal ciagnie na wiekszych obrotach) a skok w gore (ponad poziom sredni) to uruchomienie obliczen. Planujac rozproszone obliczenia trzeba brac pod uwage pobor pradu i ilosc wydzielajacego sie ciepla.
    ctrl-alt-del.cc - soft reset site for IT admins and other staff :-)

  4. #4
    Zarejestrowany
    May 2007
    Skąd
    802.1 Wireless Wlan Card
    Postów
    552

    Domyślnie

    Taka mala glupotka ale jeszcze duuuzo rzeczy mozna w 3 dni zrobic- ba nawet ojcem zostac

    A tak na serio to wlasnie produkuje skrypt taki jak mowiles... wynikami postaram sie podzielic...

    Thx

    PS. Jak bym mial pytania to bede je tu zadawal...
    o przemyśleniach w kontekście NLP... http://www.tuetbrute.blogspot.com

  5. #5
    Zarejestrowany
    Jun 2006
    Skąd
    rand(.eu)
    Postów
    8,748

    Domyślnie

    To dla smaczku...

    Kod:
    $ wc -l QueueMaster.pl QueueRunner_v1.2a.pl
      232 QueueMaster.pl
      197 QueueRunner_v1.2a.pl
    
    $ ls -l QueueMaster.pl QueueRunner_v1.2a.pl
    -rwxr-xr-x 1 tqm tqm 7447 2009-03-12 14:54 QueueMaster.pl
    -rwxr-xr-x 1 tqm tqm 6265 2009-03-12 15:17 QueueRunner_v1.2a.pl
    licznik linii zawiera komentarze i puste linie, itd... livecd zawiera 1 skrypt majacy doslownie 6 linijek (bash) i kompletne, dzialajace wazy niecale 110MB w formacie ISO :P

    Milej zabawy! Ja dzisiaj doliczylem kolejny miliard 'przebiegow'
    ctrl-alt-del.cc - soft reset site for IT admins and other staff :-)

Podobne wątki

  1. IPHASH - algorytm
    By tom502 in forum Kryptografia
    Odpowiedzi: 8
    Autor: 02-26-2009, 15:45
  2. Co mogą zrobic za takie coś...
    By lukasz6547 in forum Off Topic
    Odpowiedzi: 19
    Autor: 08-28-2008, 20:04
  3. Algorytm w C++
    By Olegg in forum C/C++
    Odpowiedzi: 3
    Autor: 08-19-2008, 16:39
  4. Algorytm
    By slawek14 in forum Delphi/Pascal/Lisp
    Odpowiedzi: 2
    Autor: 05-19-2007, 16:40
  5. [gry java] - takie pytanka
    By Error in forum Inne języki
    Odpowiedzi: 0
    Autor: 12-28-2006, 21:39

Zasady Postowania

  • Nie możesz zakładać nowych tematów
  • Nie możesz pisać wiadomości
  • Nie możesz dodawać załączników
  • Nie możesz edytować swoich postów
  •  
Subskrybuj