[Projet] Cluster sous VMWARE.

Salut à tous,

Note : L'article est en cours de rédaction, je vais l'étoffer au fur et à mesure.

Bon bah je vous présente le projet sur lequel j'ai bossé ces dernières vacances : Monter un Cluster sous VMWARE 4 !
Pour ceux qui connaissent pas : cliquez ici!
Gros Projet qui demande beaucoup de patience... Et un matériel déjà conséquent.

Tout d'abords, petite présentation des machines qui vont me servir :
Hôte 1 :
- Dell Optiplex Gx620, c'est une version compacte (comme on trouve dans les lycées), le processeur à été changé ainsi que la mémoire. Processeur INTEL Pentium D930 CPU 3Ghz, ce dernier est un core duo, il supporte le 64 bits ainsi que la technologie VT (technologie qui permet d'obtenir de bonne performance dans la virtualisation). La mémoire vive est composé de deux barrettes de 1Go et de deux barrettes de 512Mo. Il est également doté d'un petit disque dur de 80Go
Hôte 2 et 3 :
- ce sont exactement les mêmes machines que le premier hôte, à l'exception que les deux autres ne possèdent que 2.5 Go de mémoire.
serveur FREENAS :
- c'est un DELL Optiplex Gx280 (non j'ai pas d'actions chez eux! ),Intel(R) Pentium(R) 4 CPU 3.00GHz (je ne sais plus la référence exacte du processeur, il est néanmoins compatible avec la version 64 bits de FREENAS (que j'ai installé), il possède une mémoire (plus que sur-dimensionnée) de 1.5Go. Deux disques dur : un système de 80Go et un stockage de 500Go dédié aux machines virtuelles.
Graphique qui montre la (plus que très faible) consommation en mémoire vive du FREENAS :



Mon but est donc de monter trois Hôtes sous ESX 4.0, et de mettre en place un "load Balancing", cela permet de répartir les machines virtuelles sur les différents hôtes selon les puissances de chaques hôtes.
A terme, cela permet d'éviter une surcharge d'un hôte alors qu'un autre est sous-exploité.

Les trois hôtes sont donc installé, mais il faut maintenant utiliser un logiciel pour faire "communiquer" ces hôtes entre eux : Vcenter.
j'ai choisi d'utiliser Vcenter sur une machine virtuelle et la mettre dans un des hotes, il sera alors DANS le cluster.

Petit schéma :


Avantages :
- le faible coût (pas besoin d'une machine dédié pour le Vcenter)
- le Vcenter est dans le Cluster, il dispose donc d'une grande puissance pour son fonctionnement.
- Si le Fault Tolérance (fonction permettant de récupérer une machine virtuelle sans qu'elle ne se coupe quand son hôte a une erreur tel un crash) est activé, le Vcenter sera récupéré sur un autre hôte en cas de crash de son hôte originel.

Inconvénients :
- si le Fault Tolérance n'est pas activé et si l'hôte du Vcenter à un problème, le load Balancing devient inopérant. Les hôtes se retrouvent alors isolés, mais continuent de faire fonctionner les machines virtuelles.

Vcenter n'est (malheureusement) qu'un logiciel (grosse amélioration à apporter : il faudrait qu'ils en fassent aussi un OS ), il a besoin d'un système d'exploitation pour fonctionner. Je crée donc une machine virtuelle sous windows XP 64bits.
Une fois l'OS et Vcenter Installé, Je n'ait plus qu'à me connecter avec le VSPHERE CLIENT. Depuis n'importe quel ordi sur mon réseau local (je n'ait pas ouvert les ports car je n'ait configuré que très peu de sécurités ).

Je possède donc 3 hôtes, ces 3 hôtes sont gérés par mon Vcenter qui est une machine virtuelle dans mon cluster.
Afin que le Load Balancing fonctionne, les disques virtuels des machines virtuelles doivent être stockés sur un disque partagé.
La meilleure solution que j'ai trouvé était de mettre un serveur Freenas, via la technologie ISCSI, je peut connecter un disque dur de mon NAS à mes hôtes, ce stockage est donc un disque partagé, les hôtes vont dorénavant chercher les machines virtuelles sur ce disque.

Voici un schéma de la structure de mon système aujourd'hui :


DATA-SAN : Il sagit du serveur NAS
192.168.1.71/72/73, ce sont mes trois hôtes, il constituent le cluster.
ESX1/2/3 : ce sont les DATACENTER des hôtes, ce sont les disques durs INTERNES aux hôtes, le système d'exploitation de l'hôte est stocké dessus.
Vcenter/Vpanorama/windows7 : vous l'aurez deviné, il s'agit des machines virtuelles.

Cependant, avec ce schéma, on peut voir que le serveur NAS est le point central de tout le système, il est indispensable au fonctionnement du cluster. Problème : le serveur Freenas n'est qu'un seul est même ordi, s'il plante, ou pire s'il grille, le cluster ne fonctionne plus ou pire, les VM peuvent être perdues.
J'en suis à ce point de mon projet : il faut que je trouve un moyen de rendre le Freenas plus fiable.
La solution que j'ai pour l'instant est de mettre en place un second cluster pour Freenas et de mettre en place un système de Fault Tolerance, mais je suis pas sur que Freenas le gère de façon native.

La question est: à quoi cela va te servir ?

En tout cas j'adore ton proj, y'a pas mal d'articles de mecs qui ont acheté des lots de vieux serveurs pour une misère et qui ont fait leur cluster dans leur cave :D

Vcenter tourne sur linux ? si oui je te recommande fortement ce dernier (et non, pas de débat, c'est juste mon avis, fais-en ce que tu veux ) sinon s'il tourne sur seven je te conseille ce dernier qui est plus stable (surtout dans le temps) que XP et permet de mieux exploiter le matériel récent (multicoeur, etc...)

Quel matos tu comptes utiliser ?

Seulement 3 serveurs ? c'est des gros trucs de bourrin ou tu comptes en ajouter plus tard ?

C'est intéressant, quand j'étais a l'école y avait un mec qui avait monté un cluster de 10 bécane a base de pentium 3 en slotA, c'est vraiment pour le défit de "l'avoir fait" pas-qu’au final la puissance n'étais pas vraiment exploitable pour le commun des mortels, j'ai encore des photos de l'époque fraudais que je retrouve, ça doit ce trouver a coté du répertoire de mon ex a la gorge profonde.

J'étais tombé sur un article a un moment sur un cluster Beowolf de plusieurs centaines de barebones shuttle;

http://space-simulator.lanl.gov/

Si tu veut faire du clustering et de la gestion de gros réseaux j'ai vu une news sur la NASA (oui, les ricains^^) qui ont posté en open-source plusieurs de leurs logiciels, notamment ceux de gestion de réseaux, clustering et IA (pour la gestion des vols spatiaux et plus^^)

http://ti.arc.nasa.gov/opensource/projects/
http://opensource.gsfc.nasa.gov/

J'ai pas testé les trucs les plus pointus mais ça peut être intéressant de jeter un œil...

Si j'ai bien pigé c'est un gros coup de pub de la Nasa qui veut montrer la qualité de ses formats et les faire valoir comme des formats uniques dans le brouhaha qu'on peut trouver à ce niveau...

Alors ça va me servir : A APPRENDRE (et j'ai beaucoup appris grâce à ça) Je pense pas qu'il me servira à quelque chose avec ma connexion internet de merde.
ensuite, Je fait cet article pour montrer ce que j'ai fait parce que la plupart des articles sont en anglais, j'ai pu trouver que très peu d'articles ou de discussions à ce sujet.

Mon cluster est monté avec des Bécane basiques, je ferais une description détaillé demain (pour un ordre d'idée, des core duo 3GHZ et 3Go de ram). j'aurais bien mit plus de 3 serveurs, mais je les aient pas et ESX exige des processeurs compatible 64 bits et c'est casi-obligé qu'ils supportent la technologie VT (je crois que c'est ça).

Jai pas essayé de le mettre sur linux (mais je pense qu'il le fait puisque ESX est fait à partir de Linux). et malheureusement, pour windows, il marche que sur winXP et serveur 2003/2008

Après si je trouve d'autres bécanes compatible, je les ajouterais (il va me falloir beaucoup de mémoire vive je peux mettre que 2 machines virtuelles par hôtes, la mémoire sature au delà...) je manque de disques durs aussi, car les machines virtuelles sont stockées sur un NAS, or cette machine est toute seule donc si elle pète : plus rien. il va en fait me faloir 2 clusters : le cluster qui fait tourner les VM (virtual machines) et le cluster de NAS qui hébergent les disques virtuels des VM.

EDIT : J'étais jamais allé sur le site de la NASA, y a des trucs intéressants.

Ok, dans ce cas c'est différent, oublie ce que j'ai dit

Bon je continue la rédaction de l'article ce soir, je vais ajouter des schémas, et je vais parler du NAS Et de la communication avec les Hôtes

PS : @Bidul, il marche plus ton Mumble ?

Si, je l'ai juste down pour le moment vu qu'il ne servait pas

Je peux le rallumer stu veux

Bah t'embête pas à le rallumer, c'était surtout pour savoir si tu avait changé d'adresse ou quoi... que si un jour je voulais passer.

Edit : j'ai rajouté quelques trucs à l'article, mais c'est pas facile de poser ce truc par écrit. c'est surtout avec des schéma en fait qu'on peut expliquer le projet

news ! NEWS ! NEWS !

Je récupère mercredi un autre PC donc je pourrait "clusteriser" mon Freenas pour essayer de mettre en place un système de tolérance aux pannes, mais je trouve rien sur cette technique, je commence à me demander si la chose est vraiment possible...


@Rx386 : Le lien que tu donne fait référence à un cluster HPC (High performance computing), toutes les machines ne forment qu'un seul OS, pour une puissance de folie. mon cluster est en load balancing, il héberge une multitude d'OS qui se transfère entre les machines pour équilibrer la charge de chaques serveurs.

je serais curieux de faire des rendus 3D sur un cluster bien monté (comme un gros black) histoire de voire si cela change beaucoup de mon i7 ...

Si c'est bien fait et qu'il y a suffisament de pc dans le cluster ça change carrément tout

FreeNAS te permet un tas de choses, y compris de la backup, ou mieux, du RAID :D

Dans ton cas un RAID 1 ou un RAID 5 (idéal avec 3 disques ou plus car plus économe en place mais un peu moins fiable) ira très bien (et un RAID 1 soft c'est super easy en plus)

Par contre pense à upper le topic car les edit sur le first post ça up pas le topic (à quand des edit qui uppent ? ...), j'ai vu les modifs par hasard en fait.