Clustering

Clustering - Logiciels - Windows & Software

Marsh Posté le 05-12-2002 à 11:33:36    

Hello  :hello:  
 
Donc vouala, j'ai chez moi plusieurs PC, trop anciens pour les utiliser tel que, mais suffisemment récents pour à mon avis faire un bon cluster. J'ai également de koi les connecter en réseau (10 Mb, mais ça suffira hein !).
J'aimerais donc avoir des conseils pour monter mon cluster, sachant que j'aimerais :
 
* le faire sous linux (je sais installer nunux !)
* que le prog de clustering soit sous GPL
* obtenir ainsi une machine virtuelle qui émule 1 seul HDD, 1 seule capacité RAM, et un multi-proco
 
ensuite bien evidemment quels sont les logiciels qui accèptent le clustering ?
 
* Povray (par PVM)
* et...
 
Merci ;)
 
PS: le sous-cat est bonne ?

Reply

Marsh Posté le 05-12-2002 à 11:33:36   

Reply

Marsh Posté le 05-12-2002 à 11:38:27    


Whaou... bein si il existe un soft de clustering qui sait
faire ca sous linux, je serai vraiment sur le cul ! :)
Ca n'existe pas sur les unix "pro" alors franchement en libre
je doute...
 
Le clustering, ca n'a rien a voir avec le fait de faire une
grosse machine virtuelle... vraiment rien.
Le clustering, c'est pour avoir un service hautement securisé
(si une machine tombe pour un probleme x ou y, immediatement
l'autre reprend la main et poursuit le boulot)
 
Voir les deux comme une seule machine plus puissante, la je
pense que tu reve un peu :)

Reply

Marsh Posté le 05-12-2002 à 11:39:43    


PS : par contre il est possible d'utiliser des grappes de
machines pour du calcul distribué, mais pour moi c'est
pas du clustering, et la memoire "partagée" oubli.
 
PS 2 : Si je me plante, je veux le nom du soft qui fait ca !!  :D

Reply

Marsh Posté le 05-12-2002 à 11:58:02    

:cry:  
 
bon tant pis pour la mémoire partagée  :sweat:  
 
Pour le HDD t'es sûr ?
 
Ben sinon je vais me rabbattre sur le calcul distribué : y'a koi kom soft qui font ça ? Y'a des encodeur MP3 ?

Reply

Marsh Posté le 05-12-2002 à 12:36:56    

pour faire du cluster  
faut avoir d machines identiques je pense


---------------
...In A Few Moment On Fashion TV!
Reply

Marsh Posté le 05-12-2002 à 12:45:38    

Il esxiste 2 type de cluster :
Hautes diponobilité et haut rendemant.
 
Haut dispo = si un noeud tombe en panne alors l'autre prend le relais. On peut avoir un cluster dit actif/passif (dans ce cas le 1er tourne toujours et le second remplace le premier quand celui-ci tombe) ou ont peut aavoir un clusteur dit actif/actif ( dans ce cas la la charge est répartit sur les 2 noeud. Si l'un tombe l'autre prend la totalité de la charge).
Dans ce cas la ( haute dispo) on a un soft qui fait du load balancing pour gerer tous cela( ca peut etre fait de facon materiel avec un routeur par exemple).
 
Haut rendement = un processus s'execute sur plusieur procceseur. Pour cela il faut que le processus soit multi-thread afin que chaque processeur gerer un thread. Pour la partage de la memoire dans un cluster en reseaux il faut que l'appli soit coder pour cela, avec par exenple PVM, MPI....
Il existe aussi du materiel pour faciliter cela type reseaux myrinet, dolphin....
 
Enfin, si tu veut te faire un clusteur sous linux, essaye BEWOLF http://www.beowulf.org/ et MOSIX http://www.mosix.org/.
 
Pour alana : La mémoire partagée c'est possible avec du dolphin.
 


---------------
A Plus Donc...  [:jls]
Reply

Marsh Posté le 05-12-2002 à 13:06:06    

*PIKACHU* a écrit a écrit :

pour faire du cluster  
faut avoir d machines identiques je pense




Non, tu est pas obliger, cela depand tu type du cluster ( haut rendement ou hautes dispo) et de l'application que tu veut y mettre.


---------------
A Plus Donc...  [:jls]
Reply

Marsh Posté le 05-12-2002 à 13:21:26    

il faut que l applis gere le clustering en fait
windows 2000 adv serer ne gerent pas le clusetering  
comme il gere le bi proc ?
 
genre tu fais un jeu ou une appli et il utilise tt les procos ?


---------------
...In A Few Moment On Fashion TV!
Reply

Marsh Posté le 05-12-2002 à 13:56:30    

Pour 2k Advanced server et Datacenter je ne sait pas comment il gerer le clustering.


---------------
A Plus Donc...  [:jls]
Reply

Marsh Posté le 05-12-2002 à 14:08:03    

jls a écrit a écrit :

Pour 2k Advanced server et Datacenter je ne sait pas comment il gerer le clustering.




 
Clusters de serveurs  
 
Les clusters de serveurs apportent une disponibilité élevée des ressources et applications en regroupant au sein de clusters plusieurs serveurs Microsoft Windows 2000 Advanced Server. Si l'un des n?uds du cluster est indisponible suite à une panne ou en raison d'opérations de maintenance, un autre n?ud prend immédiatement le relais pour assurer le service (ce processus est appelé basculement). Les utilisateurs qui accèdent au cluster bénéficient ainsi d'un accès permanent aux ressources stockées sur les serveurs.

 
Actif / passif
 
Seul la ressource disk est "mutualisée" mais prise en charge par un seul noeud physique à la fois.


---------------
Donne invitations pour gmail - Je n'aime pas les cons et je n'ai pas envie de leur parler.
Reply

Marsh Posté le 05-12-2002 à 14:08:03   

Reply

Marsh Posté le 05-12-2002 à 14:08:31    

Citation :


Pour alana : La mémoire partagée c'est possible avec du dolphin.  


Whaou...
Ca commence a etre balaise a ce niveau la.
Concretement il doit y avoir pas mal de prerequis quand meme
non ? C'est gere dynamiquement ou c'est a toi d'affecter
des quantites de memoire etc ?
 

Citation :


Pour le HDD t'es sûr ?  


Au niveau physisque ca pose aucun problemes.  
tu peux tres facilement faire en sorte qu'un disque dur
soit vu par plusieurs machines. (grace a du san ou tout
simplement avec un chainage scsi avec un adpateur par machine).
Par contre le probleme il est plus au niveau software :)
Il se passe quoi si les deux machines essayent de modifier
simultanement le meme fichier ??
Pour l'instant tous les softs de cluster que j'ai vu
(c'etait a chaque fois pour faire de la haute dispo) ne gere
pas ce cas de figure, et le disque n'est utilisé a un instant t
que par une seule des deux machines.
 
Par contre si ce que tu veux faire c'est mutualisé l'espace
disque, il me semble bien qu'il y a des systemes de fichiers
reseau qui font ca (DFS ?) mais bon.. a mon avis c'est encore
un peu casse gueule comme truc... faut vraiment en avoir
l'utilité.... Mettre tous les diques dans la meme machine
c'est encore ce qu'il y a de plus simple :)

Reply

Marsh Posté le 05-12-2002 à 14:12:16    

jls a écrit a écrit :

Il esxiste 2 type de cluster :
Hautes diponobilité et haut rendemant.
 
Haut dispo = si un noeud tombe en panne alors l'autre prend le relais. On peut avoir un cluster dit actif/passif (dans ce cas le 1er tourne toujours et le second remplace le premier quand celui-ci tombe) ou ont peut aavoir un clusteur dit actif/actif ( dans ce cas la la charge est répartit sur les 2 noeud. Si l'un tombe l'autre prend la totalité de la charge).
Dans ce cas la ( haute dispo) on a un soft qui fait du load balancing pour gerer tous cela( ca peut etre fait de facon materiel avec un routeur par exemple).
 
Haut rendement = un processus s'execute sur plusieur procceseur. Pour cela il faut que le processus soit multi-thread afin que chaque processeur gerer un thread. Pour la partage de la memoire dans un cluster en reseaux il faut que l'appli soit coder pour cela, avec par exenple PVM, MPI....
Il existe aussi du materiel pour faciliter cela type reseaux myrinet, dolphin....
 
Enfin, si tu veut te faire un clusteur sous linux, essaye BEWOLF http://www.beowulf.org/ et MOSIX http://www.mosix.org/.
 
Pour alana : La mémoire partagée c'est possible avec du dolphin.
 
 




 
Merci beauocup pour cette réponse, je désire donc plutôt du haut rendement, je suis en train de voir les sites dont tu m'as parlé. :jap:
 
Pour les autres:  :non: pas du windows :o : il bouffe trop de ressources pour pas grand chose ;)
 
Edit: pour le HDD, pas grave, T au cas où  [:spamafote]


Message édité par Coethium le 05-12-2002 à 14:14:00
Reply

Marsh Posté le 06-12-2002 à 12:05:48    

alana a écrit :

Citation :


Pour alana : La mémoire partagée c'est possible avec du dolphin.  


Whaou...
Ca commence a etre balaise a ce niveau la.
Concretement il doit y avoir pas mal de prerequis quand meme
non ? C'est gere dynamiquement ou c'est a toi d'affecter
des quantites de memoire etc ?
 

Citation :


Pour le HDD t'es sûr ?  


Au niveau physisque ca pose aucun problemes.  
tu peux tres facilement faire en sorte qu'un disque dur
soit vu par plusieurs machines. (grace a du san ou tout
simplement avec un chainage scsi avec un adpateur par machine).
Par contre le probleme il est plus au niveau software :)
Il se passe quoi si les deux machines essayent de modifier
simultanement le meme fichier ??
Pour l'instant tous les softs de cluster que j'ai vu
(c'etait a chaque fois pour faire de la haute dispo) ne gere
pas ce cas de figure, et le disque n'est utilisé a un instant t
que par une seule des deux machines.
 
Par contre si ce que tu veux faire c'est mutualisé l'espace
disque, il me semble bien qu'il y a des systemes de fichiers
reseau qui font ca (DFS ?) mais bon.. a mon avis c'est encore
un peu casse gueule comme truc... faut vraiment en avoir
l'utilité.... Mettre tous les diques dans la meme machine
c'est encore ce qu'il y a de plus simple :)


 
DOLPHIN c'est une arte PCI ultra perfomantes a la fois en debit et a la fois en temp de latence. Tu code ton appli en multithread en utilisant MPI par exemple sauf que l'a tu utilise les lib MPI fournit avec les carte dolphin et ca fait tous tout seul. C'est comme si tu programmais une appli qui fonctionne sur un multi proc.
 


---------------
A Plus Donc...  [:jls]
Reply

Marsh Posté le 06-12-2002 à 12:17:36    

alana a écrit :


Whaou... bein si il existe un soft de clustering qui sait
faire ca sous linux, je serai vraiment sur le cul ! :)
Ca n'existe pas sur les unix "pro" alors franchement en libre
je doute...
 
Le clustering, ca n'a rien a voir avec le fait de faire une
grosse machine virtuelle... vraiment rien.
Le clustering, c'est pour avoir un service hautement securisé
(si une machine tombe pour un probleme x ou y, immediatement
l'autre reprend la main et poursuit le boulot)
 
Voir les deux comme une seule machine plus puissante, la je
pense que tu reve un peu :)


 
Hummm.. t'es sûr là ?  :whistle:


---------------
Z'avez des questions ? Non.... bon je recommence
Reply

Marsh Posté le 09-12-2002 à 10:14:16    


ndi76 :
J'ai pas la pretention de bien connaitre tous les systemes
de clustering sur les unix pro hein :) Mais :
- HACMP (AIX) ne permet pas ce genre de chose
- Sun Cluster / Cluster Veritas (SUN) non plus
- ASE (Digital) : pas mieux.
 
Bon cela dit je viens de verifier pour Digital...
Depuis le passage a la version 5, ca s'appelle plus ASE
mais True Cluster, et la c'est effectivement possible.
(mais c'est recent comme fonctionalité).
 
Pour les autres bein.. je sais pas.

Reply

Marsh Posté le 09-12-2002 à 10:16:14    

Citation :


DOLPHIN c'est une arte PCI ultra perfomantes a la fois en debit et a la fois en temp de latence. Tu code ton appli en multithread en utilisant MPI par exemple sauf que l'a tu utilise les lib MPI fournit avec les carte dolphin et ca fait tous tout seul. C'est comme si tu programmais une appli qui fonctionne sur un multi proc.  


A ouain.. une solution hartdware donc.
Mais bon la meme chose en pure software ??

Reply

Marsh Posté le 09-12-2002 à 10:25:18    

Sur win2k server (tt version), ya pas de haut rendement. C juste du load balancing. Normalement prevu pour du actif/passif, le actif/actif marches aussi. Enfin vu les perfs, ça change pas grand chose (il prends plus de temps à repartir qu'à bosser!)
Pour une sol hardware, ya 3com qui fait un switch avec load balancing sur 12 ports 100 mbps, mais à plus de 3000?.


---------------
#NetOp. T'as pas 10G ?
Reply

Marsh Posté le 09-12-2002 à 11:44:57    

Bon ce WE j'avais autre chose à faire que de l'informatique, mais pendant la semaine, je vais commencer à installer les machines... j'ai trouvé que MOSIX (merci jls) avait l'air pas mal... je vous tiendrais au courant  :hello:


Message édité par Coethium le 09-12-2002 à 11:45:12
Reply

Marsh Posté le 09-12-2002 à 14:53:58    

alana a écrit :

Citation :


DOLPHIN c'est une arte PCI ultra perfomantes a la fois en debit et a la fois en temp de latence. Tu code ton appli en multithread en utilisant MPI par exemple sauf que l'a tu utilise les lib MPI fournit avec les carte dolphin et ca fait tous tout seul. C'est comme si tu programmais une appli qui fonctionne sur un multi proc.  


A ouain.. une solution hartdware donc.
Mais bon la meme chose en pure software ??


Je suis pas sur mais regarde mosix. D'apres ce que j'avait vu a l'epoque cela permettait de balancer un threads (avec sa pile) dur n'importe quel proc, et cela dynamiquement.


---------------
A Plus Donc...  [:jls]
Reply

Marsh Posté le 11-12-2002 à 11:12:56    


Je jeterai un oeil. Merci pour l'info :)

Reply

Sujets relatifs:

Leave a Replay

Make sure you enter the(*)required information where indicate.HTML code is not allowed