Armoire rack, vswitch et routeur

Salutations ! ça fait un moment que j'ai pas posté un truc.

Je me suis attaqué à un gros projet : monter une armoire rack 19"

J'ai déjà récupéré la cabine.
Elle sera composée de 3 HP proliant dl380, 1 Dell PowerEdge fs12-nv7, switch, alarme, PDU...


Plusieurs spécificités sur lesquelles je dois encore travailler :

- j'ai une interconnexion avec mon voisin, un cable RJ45 qui traverse les 2 maisons. On a chacun notre réseau local (routeur, DHCP...) et un pc serveur sert de bridge entre les deux réseaux locaux (chez moi 192.168.0.0/24, chez lui 192.168.1.0/24). Cela nous permet d'aller sur le réseau voisin récupérer des données (nas) mais ça sert aussi de redondance pour plusieurs service :
                                                   - si un de nos accès internet coupe, la connexion est redirigée chez le voisin
                                                   - Si un des nas plante, le nas du voisin prend le relais pour l'enregistrement des caméras de surveillance de la maison qui a perdu son nas.
ça a donc à l'heure actuelle une tronche dans ce genre :

Donc ce qui serait super c'est que je mette un bon routeur dans l'armoire pour me passer du serveur d'interconnexion. Ce qui m'amène au second point

- Acheter un bon routeur rackmount, ça m'enchante pas, c'est très cher et les routeurs d'entrée de gamme sont trop lents ou manquent de fonctionnalités.
La solution qui me venais à l'esprit serait de mettre le routeur dans une VM de l'armoire (openwrt me semble bien), comme ça j'ai un routeur gigabit. Pour que ça marche il faudrait que la liaison qui arrive de mon voisin soit encapsulé dans un Vlan et se propage jusqu'à mon routeur (via switch physique et vswitch).
au final ça aurait cette tronche :


J'en suis à peu près à ce point au niveau de la mise en réseau de l'armoire. Une fois que ce sera tout près je plancherais pour mettre mon serveur jeedom dans l'armoire également (j'en parlerais plus tard).

N'hésitez pas à me laisser vos avis/conseils

Mdr des caméra de sécurité!! T'as des féraries cachées dans le garage ??

Désolé pour ma part je ne connais rien en réseau informatique je ne peux pas aider.

Attention au bottleneck entre les deux switchs de gauche, à te place je me passerais de celui de 16 ports et je brancherais les machines directement sur celui de 24 ports (à moins que tu sois sûr que ça ne posera pas de pb d'avoir juste un lien gigabit entre les deux switchs).

Si tu veux un routeur qui ne soit pas hors de prix de ce que j'ai vu pfsense est plutôt bien foutu et il est gratuit, faut juste un serveur (pas besoin d'un gros serveur, un vieux serveur qui inutilisé ou que tu peux trouver sur ebay pour 50-100 € ira très bien) --> https://fr.wikipedia.org/wiki/Pfsense

Pour ce qui est du bottleneck, je n'ai pas vraiment le choix, les deux switchs sont dans des pièces différentes c'est pour ça que j'en ait mit 2. le schéma ne répertorie pas toutes les machines reliées au réseau, juste les principales. Dans le pire des cas si je sens que le lien est saturé je tirerais un second câble en trunk.
J'avais pas pensé a pfsense, j'avais jamais beaucoup vu de retour dessus, je le testerai pour voir

Et les caméras c'est parceque il y a eu quelques cambriolages dans le voisinage ça ajoute de la dissuasion, et c'est fun ! =)

Ok, je vois, c'est pas très grave, c'était juste pour que tu le remarque au cas où t'avais pas fait gaffe

Je ne l'utilise pas moi-même car je n'en ai pas l'utilité (quoique...) mais je vois régulièrement des topics qui en parlent sur le forum de FreeNAS et je n'ai jamais rien vu de négatif dessus, que du positif

Bonjour,

Oui, les Nas sont vraiment bien. On en a à mon lycée. En effet, tu ne devrais pas être embeté avec

Un peu de news,
Bon j'avance à petits pas, l'avancée du projet étant limité par la somme que je peut mettre de coté chaque mois.
J'ai monté les premiers éléments : Switch, baie de brassage, écran, KVM et multiprise.

j'ai passé pas mal de temps sur le brassage, ça a été une vrai galère ! mais c'est à peu près propre. Les ports correspondent bien.



Une vue du panneau de brassage.



Du coup j'ai 4 ports SFP sur mon switch donc je vais tirer un cable fibre jusque chez mon voisin, ça limitera les risques électriques lors des orages (50m en extérieur, l'effet selfique pourrais détériorer du matériel).

La multiprise : APC 7851 16A, administrable


Une plaie à mettre en service ! Je l'ai eu en occaz' et elle avait gardé les paramètre de son ancien datacenter... Donc impossible d'accéder à l'interface web (user et mdp changés). J'ai du acheter le cable série propriétaire (20€) pour la réinitialiser.

Pour finir l'interface du KVM :



Me reste a commander les serveurs (le plus cher) je devrais avoir réunis les fonds d'ici la mi-janvier.
Pour ce qui est du routeur, je vais suivre le conseil de biduleohm et utiliser PfSense. Je le collerais dans une VM dans les serveurs et ferais du VLAN Tagging au propre (faudrait pas créer une faille de sécu et pouvoir bypasser le firewall...) entre le switch et les vswitch de vmware.
Mon nas est ultra stable, c'est un xpenology qui tourne pour l'instant sur un chassis PICMG :


(on peut appercevoir a gauche les pc que j'avais utilisé pour mon premier cluster vmware ^^ : https://brigole.1fr1.net/t2339-projet-cluster-sous-vmware )
Uptime de 107 jours, date de mon déménagement. Je garderais seulement les disques durs que je transférerais dans le serveur nas de l'armoire (toujours sous xpenology).

Edit : Je sais pas pourquoi, cet abruti de servimg m'a retourné les images verticales... Désolé
Au passage, je trouve pas de forums qui traitent de home datacenter ou serveurs et réseau. Si vous en connaissez je suis preneur car je me sens un peu seul a faire ce projet en France et j'aimerais bien voir ce que les autres ont fait

Sympa

Par contre la multiprise administrable c'est un peu abusé les prix pour ce que c'est... un µC (arduino...) et quelques relais et roulezzz :D

Quand tu voudras un vrai NAS passe sur FreeNAS :D

Ben en même temps pourquoi utiliser servimg aussi ?

ça y est ! j'ai reçu les serveurs ! Le livreur de chronopost a cru mourir en voyant des cartons aussi énormes pour un particulier


ça fait un boucan terrible ! c'est énorme !

Donc pour récapituler j'ai, 3 serveurs ESX et 1 NAS :

(on peut voir l'ancien NAS qui s'est fait piller de ses disques durs à droite)

Le NAS possède 12 baies 3.5" et chaques ESX possèdent 8 baies 2.5"
J'ai pas encore reçu les tiroirs donc en attendant, c'est la méthode carton qui fera l'affaire !


Pour le NAS, vu que XPEnology passe pas sur ce serveur, je retourne sous FREENAS (ouai!), Pour l'instant j'ai 3 disques 3To en Raid5 matériel (c'est vraiment plus avantageux que du logiciel au passage) pour le DATA De la maison, et 2 disques de 500Go qui feront deux Datastores pour les VM (target iSCSI, me rappelle en avoir bavé à l'époque...)

Pour l'instant j'ai installé ESXi 6 et FREENAS sur les serveurs, j'ai mon Vcenter 6.0 qui est fonctionnel, les volumes sont créés sur le Nas, je dois encore configurer le lien iSCSI, je vais surement y passer la nuit.

Petite vue de l'arrière qui est en bordel :


Je dois encore monter les serveurs dans l'armoire, j'ai récupéré des rails de DL380 G1, j'espérais que ce soit les mêmes encoches que mes G5 mais malheureusement non, faut que je fasse un peu de découpe. Par ailleurs, pour monter les serveurs je dois tirer les rails a fond et enficher le serveur dessus. Du coup ça fait un porte-à-faux démentiel. Donc il va falloir que je trouve quelque chose pour empêcher l'armoire de basculer le temps de tout monter (je pense emprunter des roues remplies de béton qu'on trouve pour empêcher les grandes tentes de s'envoler).

Autre point que je soulève, pour l'instant, j'ai 2 connexions 1Gb/s par serveurs, mais comme j'ai l'accès disque des VM plus la communication des ESX entre eux ect... la bande passante sera limitée. Je pense à court terme ajouter une interface entre les ESX et le Nas plus rapide mas je sais pas trop vers quoi me tourner qui serais économiquement le plus abordable. Eth 10Gbe, Fibre, Infiniband ?

Ces serveurs sont vraiment super bien foutus ! Chaque serveur possède une carte iLO2 (infos) qui me permet de superviser tout les état de mon serveur (fan, disque, proc, températures, alim) et d'influer dessus, même si la machine est éteinte, ou en défaut ! Je trouve ça vraiment fort !

Pour l'instant les serveurs tournent à vide, je tire déjà 4 Ampères. Je verrais comment ça évolue au fur et a mesure de la montée en charge du cluster.

et juste pour la frime :


@Biduleohm : La multiprise, je l'ai eu pour pas cher, mais au moins j'ai un truc de qualité (APC) qui peut tenir autant de courant que ce que peut en fournir le disjoncteur en amont et ça me fait un truc propre. =)

Désolé du pavé en bordel, j'ai surtout posé mes idées qui me venaient en tête. Je suis comme un enfant à noël.

Wouh!
Ça faisait un moment que je n’étais pas passé par ici. Sympa ton petit parc informatique. Sinon c'est quoi l'objectif de tout ce matériel?

Sinon pour l'aparté FreeNAS, c'est quoi l’intérêt de faire du RAID matériel? Je croyais que FreeNAS était à font sur ZFS.

Oui, surtout pas de RAID matériel avec ZFS (et donc FreeNAS)... ZFS EST le contrôleur RAID, il s'attend à pouvoir causer aux disques directement, si tu rajoute une couche d'abstraction tu t'exposes potentiellement à la perte totale de tes données sans compter les autres pb du genre performances pourries (ZFS optimise les reads et les writes en les groupant (pour simplifier...) mais les contrôleurs RAID physique essaient généralement de faire plus ou moins la même chose et se font défoncer par les read/writes de ZFS qui sont trop massifs pour leur buffer...) et pas de tests SMART possibles...

ah merd! j'vais corriger ça. merci du conseil
Sinon je vais m'en servir pour y coller des vm diverses et variées ( routeur, jeedom, sarah, SAS, minecraft, mumble...).
après le truc en lui même est clairement sur dimensionné, l'intérêt majeur étant purement pour l'apprentissage.

Les VMs auront leur disques sur une pool ZFS ? si oui attention à bien te renseigner, les VMs sont une charge plutôt spéciale (writes synchrones, beaucoup d'IOPS, ...) et demandent d'utiliser des mirroirs plutôt que du RAID-Zx sans compter les autres détails...