[PYTANIE] Symulator sieci CDN

[Goniek]

Witam, potrzebuje symulator sieci CDN (Content Distribution Network) jakiś opensourceowy lub jakiś co znacie z góry dziękuję za pomoc.

[TQM]

Apache - open srouce i do symulacji wystarczy

Co dokladnie rozumiesz pod pojeciem CND i co chcesz syumulowac?
CDN to taki stwor, ze dajesz mu URL uslugi (np streaming video albo proste obrazki, downloady, itp) i lacze dane dostarczane sa z nablizszego lub najszybszego miejsca ktore jest dostepne aby skrocic czas ladowania elementu.
Dodatkowo CDNy ladnie sie skaluja i moga przyjac ogromne ilosci ruchu w krotkim czasie, tak wiec DDoS nie jest grozny - cena za takie uslugi za to jest

Jelsli jestes w Azji albo Australii/Nowej Zelandii to zaladowanie np obrazkow na stronie WWW nieco zajmie jesli serwer jest w Europie. O wiele szybciej mozna obrazki dostarczyc jesli mialbys hosting lokalnie w ramach kontynentu nawet.

[Goniek]

tak właśnie o to mi chodzi żeby symulatorem pokazać co było by korzystniejsze czy duplikacja danych na np. dwóch serwerach czy na jednym. Taki problem mam do rozwiązania co jest korzystniejsze jeśli chodzi o czas transmisji jaki pod względem utrzymania serwerów. Wiadomo że jak dane będą na jednym serwerze to koszt (czas) aktualizacji będzie korzystniejszy ale może będzie warte zachodu duplikować na dwóch serwerach bo pobieranie danych będzie korzystniejsze. I mam to zrobić jakimś symulatorem dlatego poprosiłem tutaj o pomoc.

[tom]

Zobacz jak dziala iPla jest oparta o pewne rozwiazanie ATM-u, konkretnie ATM CDN

Znajdziesz w sieci troche informacji o tym systemie

Co do symulatorow to niestety nie pomoge, ale w niektorych zastosowaniach nawet nie potrzeba symulowac - z gory widac ze jest to lepsze rozwiazanie niz jeden serwer "z gruba rura"...

[Goniek]

Tak sama symulacja do szczęścia mi potrzebna nie jest ale potrzebuje to zrobić do szkoły takie mam zadanie... A co do symulatorów oczywiście nie siedziałem na laurach i czekałem aż ktoś coś zrobi za mnie także jakby ktoś potrzebował jest kilka, które udało mi się znaleźć (jeszcze nie testowałem co do mojego przypadku):

Z stajni Cisco Packet Tracer <- dostępny dla uczestników kursu (dla osób które same go szukają do znalezienia na różnych portalach do ściągania)

GNS - Graphic Network simulator
GNS3 | Graphical Network Simulator

jeszcze jest Opnet
Application and Network Performance with OPNET | Monitoring, Troubleshooting, Auditing, and Prediction darmowy dla studnetów do 50mln zdarzeń

dla linuksa jest OMNet - darmowy całkowicie
OMNeT++ Network Simulation Framework

pozdrawiam

[tom]

Dwa pierwsze znam i do tego sie raczej nie nadaja Do takiego testowania wydajnosci jest pewna wersja IOS-a ale trzeba posiadac sprzet CISCO, do tego ten IOS oficjalnie nie istnieje wiec z dokumentacja nie jest latwo.

Generalnie jak to ma byc do szkoly to ja bym raczej zrobil szkic jakies rozleglej sieci WAN i pokazal zalety CDN w przeciwienstwie do pojedynczego serwera w jednej lokalizacji.

Tutaj nawet nie ma co zbytnio symulowac bo przy jednym serwerku masz orana tam sama lokalizacje - nawet jak to jest przez kilka lacz w BGP to i tak to niewiele zmienia. Do tego dochodza ci zapewne loadbalancery itd. bo jeden serwer w koncu i tak sie udlawi nie wspominajac ze jest to malo bezpieczne (awaria).

System rozproszony ma praktycznie same zalety, jedyny hamulec to cena - ale w pewnych zastosowaniach i tak moze to wyjsc taniej.

[TQM]

Ok, wiec wracajac do tematu...

Jesli masz gdzies aplikacje web i powiedzmy hostujesz ja na clustrze z paru serwerow, do tego masz load-balancer z przodu aby ruch rozdzielac miedzy serwery to wszystko ladnie dziala... ale tak sie sklada, ze jak optymalizujesz serwery pod aplikacje to ciezko je zoptymalizowac pod serwowanie np statycznych obrazkow ktore sa czescia strony generowanej przez aplikacje.
Nawet jesli optymalizacja nie jest takim problemem, to bardziej oplaca sie najczesciej na serwerach aplikacyjnych miec aplikacje a obrazki wrzucic w CDN (nawet jesli oznacza to jeden albo kilka serwerow WWW i byc moze nastepny load-balancer).
Samo wprowadzenie specjalizacji serwerow ma juz sens - serwery aplikacyjne zazwyczaj sa bardziej obciazone i optymalizujesz je na ilosc rownoleglych zadan, ilosc rownoleglych polaczen itd. Obrazki mozna hostowac na slabszych maszynach, ktore musza po prostu obsluzyc duzo polaczen i miec szybkie lacze - nie musza miec duzo CPU/RAM... wiesz o co chodzi.

Teraz wchodzimy w wieksze CDNy - aplikacja dziala gdzies tam, content jest umieszczony blisko klienta (np w jego kraju - bo lacze internetowe w pewnych krajach kosztuje majatek!) i ruch jest sprytnie rozsylany do serwerow tak, aby najblizszy geograficznie/topologicznie serwer odpowiedzial na zapytania danego klienta. Mozna to zrobic na bazie GeoIP albo podobnych algorytmow - niektore load-balancery maja specjalne karty sprzetowe albo specjalne dodatki software'owe, ktore to realizuja. Czesto jest tak, ze load-balancer staje sie serwerem DNS i sam podejmuje decyzje ktory klient jaka dostaje odpowiedz (adres IP najblizszego serwera).
Inne rozwiazanie to adresacja 'anycast' gdzie wiele interfejsow/serwerow ma ten sam adres IP ale to najblizszy dostaje dane (zapytaia od klienta). Tak sa wlasnie zrobione serwery DNS na poziomie 'root name server'... wiec niby masz jeden adres IP a tak na prawde kilka(nascie) maszyn odpowiadajacych na zapytania klientow

Przyklady z mojego podworka - pare dni temu rozwazalem coby bylo gdyby... i jako przyklad wzialem malutki cluster serwerow WWW ktorych uzywam tylko i wylacznie do hostowania obrazkow ktore sa wstawiane w email'e ktore wysyla moja firma.
Cluster malutki - tylko 4 serwery i hostuja tylko i wylacznie obrazki do maili... Obrazkow nie jest wiele niby - w sumie ok 1.6GB zebralo sie przez prawie 2 lata, ale miesiecznie generuje to okolo 50GB ruchu - zadna tragedia. Jaki jest wiec koszt utrzymania tego?

Ten malutki cluster w rozliczeniu na cale koszty serwerowni to tylko czesc calkowitej kwoty, wychodzi nieco ponad 1000 GBP/m-c... tylko z jednego powodu - obrazki musza byc dostepne 24/7/365...
Nie wiem ile kosztowaloby Akamai, pewnie duzo wiecej bo to PRO usluga :-) ale Amazon AWS (dokladnie S3 i to bez CloudFront'u) zrobi dokladnie to samo dla tego konkretnego clustra za... 5 GBP/m-c, wiec 200x mniej!


Wniosek:
1. Musisz porownywac jablka do jablek, nie do pomaranczy - jak nie masz punktu odniesienia to nawet nie zaczynaj bo wtedy mowimy o czystej fikcji
2. Zbierz koszty obu rozwiazan dla okresonego scenariusza (20mln zapytan i 50GB/m-c) - porownujesz koszty technologii...
3. Poszukaj jakie inne oszczednosci mozesz miec - niektore elementy ciezko ocenic bo wartosc wyrazona w postaci pieniedzy to nie wszystko!

Optymalizacja to nie takie proste zadanie, kazda decyzja ma swoje wady i zalety, swoje koszty i koszty alternatywne.

Powodzenia z analiza!

[lame]

ponad 1000 GBP/m-c... tylko z jednego powodu - obrazki musza byc dostepne 24/7/365...

Nie lepiej użyć techniki: "base-64 encoded binary image data"
Problem dostępności znika.
Pytanie oczywiście jak duże są te obrazki.

[TQM]

Owszem, mozna... ale to spowodowaloby ogromny wzrost ruchu bo Base64 rozciaga dlugosc wiadomosci, pozniej odbijajace sie wiadomosci wracaja z calym tym badziewiem do nas zajmujac jeszcze wiecej lacza... no i te obrazki o ktorych napisalem powyzej to tylko przyklad - ten numer nie przejdzie jesli mowa o plikach do download'u albo plikach video...