Klaster

[error123]

Witam,

Nie jestem pewny, czy w dobrym dziale pisze no ale mam nadzięje, ze tak.
Pojawia się u mnie w firmie potrzeba utworzenia klastra z 10-12 PC na potrzeby wirtualizacji serwerów. Nie znam się na tym ale mam możliwość zajęcia się tym tematem.
I teraz tak - chciałbym się czegoś nowego nauczyć ale też nie chce się "wkopać" ... możecie mi doradzić, czy się za to brać jeżeli nigdy wczesniej sie tego nie tykałem?

Ewentualnie jak znacie jakiś soft(niestety darmowy) z którym mógłbym się zapoznac w celu oszacowania własnych możliwości.

[TQM]

[...] potrzeba utworzenia klastra z 10-12 PC na potrzeby wirtualizacji serwerów.

Zdefiniuj pojecie clustra bo jak dla mnie to albo chcecie po prostu zwirtualizowac serwery i slowo cluster wpadlo ot tak albo chcecie miec wirtualne serwery ale po kilka sztuk na wypadek awarii jednej z maszyn no i dodac automatyczny failover.

Metod jest wiele, ja uzywalem darmowego VMware ESXi i nieco oprogramowania do zrobienia tego. 4 fizyczne serwery i na kazdym:
- po jednej wirtualce z kazdego typu serwera WWW (3 rodzaje - w dusze kopane PHP, dynamiczne w innych jezykach, statyczny content)
- serwer MySQL - jeden master, reszta repliki read-only - failover reczny
- firewall - wirtualny, obslugujacy load balancer i posiadajacy failover...

do tego 2 macierze dyskowe iSCSI (to bylo drogie) i kilka switchy gigabitowych. Tak dlugo jak dlugo dzialal 1 host VMware, 1 switch i 1 macierz dyskowa, wszystko dzialalo. Failover automatyczny <2sek.

Do wiekszosci zastosowan wystarcza :-)

[error123]

albo chcecie miec wirtualne serwery ale po kilka sztuk na wypadek awarii jednej z maszyn no i dodac automatyczny failover.

Tak, właśnie o to chodzi. Chcemy spiąć wszystkie komputery w jeden Cluster, żeby nie marnowały się zasoby sprzętowe...

Możesz powiedzieć, jakie oprogramowanie wykorzystałeś na ESXi

[TQM]

Jasne... nie mam czasu na rysowanie diagramu sieci ale opisze slownie:

1. ESXi 4.1 na kazdym z fizycznych serwerow
2. Firewall'e - uzylem pfSense bo bardzo latwo sie konfiguruje, posiada wbudowany failover (ustawilem primary i 3 kolejne secondary) i potrafi synchronizowac konfiguracje miedzy nimi no i dodajesz sobie pakiet haproxy i juz masz load-balancer (http/https/L3) z graficzna konfiguracja (akurat GUI czasami sie sypie ale na blogu opisalem jak naprawic - adres w sygnaturce)
3. Serwery WWW - 3 rodzaje, kazdy w osobnej podsieci wiec nie widza sie na wzajem i caly ruch miedzy nimi jesli w ogole dopuszczony idzie przez pfSense ktory loguje i zezwala/blokuje. Jeden serwer mial PHP, jeden mial inne aplikacje, trzeci typ mial tylko statycnzy content - obrazki itp
4. Serwer SQL - jeden master i 3 secondary podpiete jako slave'y. W razie padu mastera wszystko dziala read-only. Do zaplanowania strategii przydaje sie ksiazaka Alexa Davies'a (High Availability MySQL Cookbook). To aby zrobic 1+3slave to pomysl Alex'a wlasnie - powiedzial ze nie ma nic pewniejszego niz reczne przelaczenie bo pozostale mechanizmy moga w pewnych sytuacjach nie zadzialac i uszkodzic dane. Na jego stronie (Www.davz.net) znajdzisz fragmenty ksiazki za free oraz opis klastra MySQL na 3 serwery.
5. Dosylanie zawartosci do serwerow WWW - jeden centralny serwer z repozytorium - caly content jest do niego wysylany przez autorow, serwery WWW zasysaja z niego automatycznie co 5 minut (rsync). Ta maszna wymaga nieco procesora bo masz 3 rodzaje serwerow x 4 sztuki to 12 maszyn na raz odpalajacych rsync'a - procek i szybki dysk bardzo sie przydaja!

Do pfSense tez warto kupic ksiazke - to dokumentacja ktorej nie znajdziesz tak na prawde na necie - nie na tym poziomie detali :-)

Sprzetowo tez musisz zaplanowac tak aby nie bylo SPoF (single point of failure), czyli tak jak napisalem - 1 macierz, 1 fizyczny serwer, 1 switch on-line i wszystko dziala. Zrobienie tego na skale powyzej 2 serwerow zaczyna byc juz zabawne... no i nie zapomnij miec zapasowe switche skonfigurowane na wszelki wypadek - mialem pad Cisco kiedys i cale szczescie mialem hot-standby - przepialem kable 1:1 i po sprawie - cala operacja zajela ok 1min (48 portow) i dodatkowe 15sek na ponowna propagacje STP aby znalezc optymalne trasy. Dzieki temu ze byl drugi switch downtime byl praktycznie 2-3 sekundy i to tylko na polowie serwerow - reszta chodzila bez zajakniecia

Zbudowanie takiej sieci to niezla zabawa (sporo pracy) ale efekt potrafi byc bardzo, bardzo pozytywny i daje duzo satysfakcji. Ten system zbudowalem tuz przed odejsciem z pracy na poczatku tego roku... gdy odchodzilem obslugiwal ponad 2mln wizyt dziennie i obciazenie procesorow nie przekraczalao 30% :-)

[error123]

Dzięki za pomoc po raz kolejny