Bonjour,
desole d ouvrir un nieme topic sur de multiples sujets abordes mais plus je fais des recherches et plus je lis de topic, plus je m y perds...
 
Voila, ma problematique est simple et identique a bon nombre de personnes ici c est a dire monter un serveur de fichiers (de stockage) pour nos donnees perso.
 
Ce qui m importe ici c est de comprendre certains principes.
 
Je me "fiche" qq part des perfs, je n ai pas besoin d une bete de course, je voudrais simplement acceder a mes donnees reseau (lecture majoritairement ue fois toutes les donnees uploades sur le serv) donc je presume qu un debit de 20-40Mo est tout a fait possible.
Je ne veux pas non plus un PC "fort knox" bardé de sauvegarde mais un systeme stable, et "safe" un minimum
 
Donc a priori je traduis de mes besoins qu un bon pc monté en serveur mis dans un coin (salon) sur mon réseau gigabyte par mon routeur serait tres bien. Du raid 5 a priori pour une certaine garantie des donnees au cas ou un disque aurait des secteurs defectueux ou craquerait totalement. Et un OS stable donc soit du windows server (2000, 2003) soit une distrib linux.
 
Pour resumer :  
  - un serveur sur reseau gigabyte
  - 6hdd de 320go SATA II (environ 290Go utile) en raid 5 je pense soit 1.49TO de donnees utiles pour gerer photos, xls, sources de developpement, etc
  - os stable (securise, ou reinstallable rapidement)
  - client sous windows xp qui veulent acceder aux fichiers
 
voila donc mes questions, je vais essayer de les structurer au maximum par theme et d exprimer ce que je pense avoir compris ou non :
 
 
1./ on va commencer par le raid 5 , deja entre logiciel ou hardware je n y comprends rien....le raid 5 a pour but d avoir n disques ou les donnees sont reparties sur chaque disque (presque comme du raid 0) mais avec un calcul de parité (xor) reparti sur les disques suivant d'ou un espace de stockage reel de n-1 disques avec 1 disque utile pour remonter les donnees en cas de perte de 1 disque (grossierement j entends).
 
a) Comment cela est il gere ? => un ou plusieurs controlleurs raid pour gerer les disques + un calcul XOR pour la parite et c est donc juste cette partie (xor) qu on modifie pour etre fait en hardware ou logiciellement ? en gros est ce cela ? cela sous entend il qu il faut TOUJOURS malgre tout avoir des controleurs RAID pour gerer ses disques ou est ce que j ai faux sur toute la ligne et que qd c est gere logiciellement on peut se passer de controleur RAID totalement ?
 
b) raid materiel : j ai lu que cela pouvait etre sensible du fait que si le matos grille, il faut retrouver le meme matos (meme marque ? meme modele de carte a la reference pres ? ) ce qui effectivement pourrait poser pb d autant plus pour des particuliers ( / au professionnel) où il ne nous reste generalement qu'ebay pour trouver notre bonheur. de plus ce matos coute tres cher pour ce que soit du vrai hardware et non du semi, d apres ce que j ai vu en gros pour 8 port sata ca va chercher dans les 400€ pour des cartes de qualite moyenne, c est bien cela ?
 
c) raid logiciel : ca bouffe des ressources cpu, ca kill les perfs...mais bon au final je m en fiche un peu, je veux surtout (a terme) ne faire que de la lecture. Pareillement j ai lu que c etait pas tres sur non plus en fonction de l'OS (genre windows ne le gere pas bien ou pas du tout, et en cas de plantage pourrait corrompre la table de parite, sous linux est ce vraiment mieux ? ).
 
Bref en fonction de b) et de c) le choix du cpu va changer (+ ou - performant) et c est aussi le cout qui varie. A priori pour un particulier qui ne veut pas vraiment s embeter, quelle est la solution la plus adequat d ordre general ?
 
2./ OS & Cle usb (sujet delicat aussi et qui va surement etre dependant du choix de la question 1./)
 
On m'a parle de FreeNAS , une distrib linux qui semble deja avoir tout pleins de fonctions sympathique. Est ce que cela serait une connerie que de vouloir installer cette distrib sur une cle usb pour booter dessus ? je n y connais rien a linux , et je ne sais pas si cela se fait facilement de booter sur une cle usb particulierement avec un os d installe dessus qui a souvent besoin d un espace pour swapper & co....
 
En fonction de la reponse au 1./, plusieurs choix semblent possible je pense :
  * raid logiciel => OS linux distrib ? (debian, fedora, autres ? ) ou OS FreeNAS (je ne sais pas quel distrib est ce....)
  * raid materiel => OS linux ou FreeNAS
  * raid materiel => OS windows 2003  
 
Et donc plutot une installation sur HDD avec eventuellement du raid 1 pour etre sur d avoir un os qui tourne en cas de defaillance d un disque pour le systeme, ou sur cle usb si possible car il est tres facile de refaire une cle si celle ci venait a avoir un pb ?
 
 
 
Bref voila, qq part j avais l idee de monter cette becane, j aimerai avoir vos avis, et bien entendu en fonction des questions ci dessus cela ira a evoluer...
 
- CM Asus P5ND2 deluxe (que jai deja )
- pross P4 3.2 (640J que j ai deja)
- carte controleur sata 2 8ports ou 2*4 ports (avec raid 5 ou non en fonction des reponses a mes questions ou alors carrement modification de la carte mere pour plus de port sata 2 si on peut tout faire directement avec (modele ???))
- 6 hdd seagate sata II  
- boitier Stacker ST01
- 2 hdd en raid 1 pour l os OU cle usb  
- FreeNAS, linux ou Windows 2003 (j ai une licence)
 
 
Merci a toute ame bienveillante qui prendra la patience de me donner des explications , des conseils, des infos, des references, des liens etc...      

Alors dans l'ordre :
1/
a)  
Raid 5 materiel => le controleur recoit une requête "logique" du CPU, il demande des données "physique" sur chaque disque, il controle la parité, et il renvoie le bloc de donnée "validé et reconstitué" au CPU
 
Raid 5 logiciel => le CPU demande les données "physique" sur chaque disque, il fait le test de parité et reconstitue lui même le bloc de donnée logique
 
b) c'est bien çà, la façon d'écrire sur la grappe raid 5 varient souvent d'un controleur à l'autre
 
c) c'est aussi bien sous windows que sous linux, c'est juste que sous linux, tu peux installer un OS plus "épuré" qui fait tourner que le strict nécessaire pour assurer son role de NAS. Certain troll te diront aussi que linux c'est plus stable etc... Cela a au moins le mérite d'être gratos niveau licence... Ce qui ne devrait pas être un argument vu que tu proposes Windows Serveur 2003 dans tes propositions (qui coutera aussi cher que le NAS en licence )
 
Franchement pour un particulier, si ton serveur ne fait que NAS, ton CPU suffit largement
 
2/ Franchement relie les deux topics majeur traitant la question, tu y trouveras ce genre d'information (et oui tu peux booster sur une CF ou une clef usb), contrairement à windows, pas forcement besoin de swap et un ramdisk peut suffire pour les datas temporaire

Dans mon cas, qu est ce qui est le plus facile a mettre en oeuvre ? raid logiciel ou hardware ?

 
Bah un raid hardware est toujours plus facile à mettre en oeuvre que des raid logiciel... Mais c'est pas le même prix
 
Mais il existe des tonnes de tutoriaux pour çà, moi par exemple j'ai craqué recemment pour en monter un.
Je suis parti sur la base d'un raid soft.... mais si cela ne me convient pas, j'ai toujours la place d'y mettre un raid hard (dépendra de la charge du serveur au final)

Merci pour ces explications.
 
Par contre, est ce que cela reste evolutif ? Peut on rajouter des disques supplementaires en cours de route ?  
 
Qd fait un tel fonctionnement on se retrouve bien avec une 1 seul disque logique de visible dans l explorateur, c est bien ca ?

 
oui et oui
Pour le 1 seul disque logique, c'est possible, mais pas obligatoire, pour le détail, va lire au moins le topic d'Adesfire1 et de WileECoyote

est ce que les cartes controleurs highpoint rocketraid sont des cartes avec des chip qui traitent tout en hardware ou est ce qu elle sont semi-hardware ??
 
Vous pensez quoi des cartes 3ware ? chere on dirait mais cela est il la garantie de qualite ?

 
Concernant les cartes HighPoint Rocketraid cela dépendra du modèle...
 
3ware est une référence dans le monde "RAID"
 
Par ailleurs, si tu souhaites rajouter un disque sur un contrôleur raid 5 (hardware) il doit supporter "Online Capacity Expansion (OCE)" sinon il faut sauvegarder l'array actuelle puis la détruire et en reconstruire une avec le nouveau disque.

desole j ai encore qq questions qui me viennent en tete au fur et a mesure.....
 
Peut on avoir 2 cartes controlleurs raid (qui gere en hardware donc avec par ex 2*4 ports sata) et faire un raid 5 pour obtenir une seule unite logique au final malgre le fait que le raid soit disperces sur 2 cartes ? ou doit on seulement se contenter de creer du raid 5 par carte et donc se retrouver finalement avec 2*4 HDD en RAID 5 ?
 
 
FreeNAS sur une cle USB, suffit il pour gerer un raid 5 (hardware ou meme software ) ? parce que ca semble hyper leger et facile a deployer

up

L'interet du RAID hard, c'est qu'on évite tout flux inutile vers le processeur (c'est surtout çà le gain de perf).
 
Avec deux controleurs RAID5 (et 4 disques chacun), on ne pourra pas avoir l'équivalent d'un seul raid 5 de 8 disques (c'est à dire perdre l'espace d'un seul disque) où alors, il ne faut pas utiliser les controleurs RAID et faire un RAID software (les deux controleurs devenant de bête controleur SATA)
 
Par contre on peut à priori creer une unité logique regroupant les deux grappes oui, en montant par exemple un raid 50 mis hard, mi soft (un RAID 0 logiciel sur deux grappes raid 5 matérielles   )
 
Pour FreeNAS, je dirais oui "à priori" pour tout raid soft, mais je ne l'ai pas tester donc pour le coté hard et reconnaissance des raid peu couteux (semi hardware), aucune idée.

Je pense que je vais basculer sur FreeNAS avec du raid materiel....
 
j ai vu que FreeNAS supporte les memes cartes controleurs que FreeBSD 6.0 et entre autre :
 
The twa(4) driver supports the following SATA RAID controllers:
    * AMCC's 3ware 9500S-4LP
    * AMCC's 3ware 9500S-8
    * AMCC's 3ware 9500S-8MI
    * AMCC's 3ware 9500S-12
    * AMCC's 3ware 9500S-12MI
 
je suis tente de prendre la carte 3ware 9590SE 8 ports ML, mais je ne sais pas si elle sera supportee(selon materiel.net elle l est). Cette carte semble etre une petite evolution de la 9500 ou une revision donc je presume que cela devrait passer.
Je n arrive pas a disserner les differences entre la 9500S et 9590SE ou meme 9550SX........sur materiel.net, le descript de la 9500S est light.
 
 
Je ne vois pas l interet de m embeter a mettre un HDD avec du linux a parametrer soit meme etc si FreeNAS semble si light, performant et avec les fonctionnalites qu il faut. A moins que cela ne soit bloquant / au systeme de fichier utilise (je ne vois que fat, ext2) ; peut on augmenter la taille de la grappe raid avec ces systemes de fichier ou faut il obligatoirement passer par ReiserFS ?
 
Qu en pensez vous ?

 
Donne moi le temps d'installer FreeNAS.

 
9500S => port PCI
9550SX => port PCI-X (disponible que sur les CM serveurs ou pro, rien à voir avec le PCI-Express)
9590SE => port PCI-E (souvent en 1x ou 4x)
 
"A priori" les drivers linux gèrent toutes ces versions...

 
pour ce qui est de l'augmentation de la matrice raid, il faut prendre un systeme costaud qui tienne ca comme il faut. je te recommande xfs ou jfs, ils ont ete teste et reteste depuis un certain temps par contre, c'qu'il faut que tu prennes en compte, c'est que tu peux pas vraiment augmenter la taille de la matrice. certains controlleurs ne supportent pas ca tout court, et d'autres, supportent ca "a moitie". pk a moitie? tout simplement parce que la parite n'a pas ete redistribuee. en gros, seuls les nouveaux fichiers seront proteges.
 
en ce qui concerne la securite des donnees, je ne suis pas tres au courant de la facon de laquelle windows gere le raid 5 (certains disent que c'pas terrible, d'autres en sont contents), mais, de toute facon, le probleme du raid5 est qu'il a certaines failles au niveau de la synchro. par exemple, si lee courant tombe pendant une resynchro, il se peut que toute la matrice se perde. peronnelement, je recommanderais solaris 10 + zfs (gratuit pour usage personnel, sinon opensolaris + zfs). ce systeme a ete fait a la base pour des serveurs de fichiers, donc niveau stabilite il doit pouvoir se defendre.
 
en ce qui concerne le controlleur de disque: 8 ports sata en pci, ca va etre un peu juste... pense au fait que le PCI ne peut deplacer que 133MB/s (33MHz*32bits). je sais que les perfs sont peu importants, mais un serveur de fichiers qui ramme, ca fait pas plaisir .
 
pour en revenir aux systemes de fichiers et a freenas, prends en compte que ce dernier est un FreeBSD et non pas un linux (c'pas pareil ), et que, a ma connaissance, le support xfs pour freebsd n'est pas encore stable. le ext2 et le vfat (fat32) sont supportes, mais ce serait suicidaire que de les utiliser sur un serveur de fichiers de 1,5TB    
deja, le fat32 te ferait perdre la moitie de la capacite "grace" aux blocs enormes, sans compter qu'il aura un mal fou a gerer cette capacite, et j'parle meme pas de tous les murs contre lesquels tu te tapperas la tete quand le systeme de fichiers aura ete demonte de facon brutale. faut savoir que la plupart des corruptions de donnees sont dues au systeme de fichiers et au controlleur, donc l'utilite du raid5+vfat serait negative
presque de meme pour le ext2...
 
en ce qui concerne le systeme natif de freebsd, ufs, c'pas tellement plus glorieux que l'ext2... quand tu demontes ca brusquement, tu vas devoir te payer de longues attentes pour qu'il verifie l'integrite du systeme de fichiers, et si jamais y'a qqch qui va pas (contrairement a c'qu'on pourrait croire, le jamais arrive assez souvent ) il s'met a gueuler, et, generalement, le contenu des blocs est paumme :s
 
bref, pour conclure, je recommanderais soit linux + xfs ou jfs, soit solaris + zfs.
en ce qui concerne le supporte materiel, pour linux il y aura surement pas de pb, par contre, pour solaris, faudra verifier.
 

pour le développement & l'argumentation.

Effectivement merci pour ces explications,
 
par contre je me dis qu il faut bien faire un choix un jour et que RIEN n jamais a l abri d une merde
Parce que je ne voudrais pas non plus en faire une usine a gaz pour la mise en oeuvre....mais tes remarques sont tres pertinentes et j en tiendrais compte.
 
Pour ce qui est de l augmentation de la grappe, a priori les cartes 3ware le gere d apres les spec techniques mais bon a tester. La version en PCI Express se trouve en allemagne assez facilement pour les frontaliers qui peuvent y faire un petit detour
 
De toute facon pour ce genre de sujet , la question primordiale je pense est : quel est le systeme de sauvegarde ? car a partir du moment ou y a un backup quotidien, apres ca laisse plus de souplesse....mais la encore niveau budget pas evident / taille

Pour un particulier et vu la taille de ton futur RAID 5, une sauvegarde sur disque dur externe me semble inévitable...