Bonjour,
 
dans le cadre d'un projet de sauvegarde massif (>1Po) avec un gros debit en entrée (~10Gb/s) et un tout petit en sortie (~1 Gb/s). je suis parti comme une balle sur une architecture nas typique (connectique FC, matos emc ou HP)
puis en prospectant un peu, je suis tombé sur un fournisseur (DDN pour pas le nommer), qui proposes des archi haute perf basé sur une connectique infiniband....
 
est ce que quelqu'un de plus expert que moi pourrai m'eclairer (expérience et/ou théorie) sur les diff majeures de ces deux techno.
 
merci d'avance

peux tu expliquer un peu plus tes besoins, que dois tu sauvegarder, des serveurs sur un SAN ou un/des NAS ... car les solutions a mettre en oeuvre divergeront.

Je ne connais pas plus que ça mais il me semble qu'il y a une limite point à point de 15m sur la techno infiniband... un peu court entre les données en prod et les données sauvegardées, non?

bon alors données tech...
comme je l'ai dit, j'ai en gros des flux permanents issus de serveurs de prod (qq centaines). un debit constant (à qq % pres) de l'ordre de 10 Gb/s.
Ces données doivent etre stockées pour une période relativement courte (en gros 10jours). Les mecanismes d'archivage de ces données sont hors propos. bref en 10j la totalité de la volumétrie, soit 1 Po, est renouvellée,
en parallèle, de ces flux entrant j'ai des utilisateurs qui tapent dans la masse de données, pour un débit d'environ 10% de ce qui entre, soit 1 Gb/s.
je pensais deployé une archi SAN classique (HP, EMC, Netapp, Sun et j'en passe).
mais j'ai découvert l'infiniband.
d'apres ce que j'ai saisi on a des débuts assez impressionnant (comparé au 4 gb/s de la fibre). mais je ne pige pas trop larchitecture, ni les impacts que cela a sur l'applicatif qui tourne sur les serveurs (doit elle etre spécifique infiniband ou est ce uniquement matériel ?), y a t il des filer spécifique et propriétaire ou est ce généralement open (sur Wiki j'ai un embryon de reponse)

bref je suis preneur de tous retours d'expérience sur cela (avantages, inconvénients, simple retour, sentiments argumentés etc etc).

voilo.

edit : pour la limitation de 15m pas trop grave, je pense généralisé l'utilisation de fibre, si cest bien du à l'utilisation cuivre. Pour la plateforme de test, je pense reservé une partie d ela volumétrie+serveurs pour realiser cela. en gros faire deux archis virtuelles sur la meme base physique.

un petit up ...

Faisant suite  aux info techniques a  moins de vouloir un volume par serveur accedant au stockage centrallisé  il semble + simple de choisir une solution de type NAS tres haute performance (liens en Gigabit). L'uitilisation d'un SAN meme tres rapide ( bande passante ) ne serait pas adaptée dans la mesure ou les SAN performants en bande passante ne la sont pas en IO du fait du nombre de serveurs les acces seront du type aleatoire et donc utilisateurs d'IO.
IL existe a ce jour 2 ou 3 solutions NAS qui puissent repondre a un debit de l'ordre de 10 GB/s en depot  ( ecriture ) + 1 Gb/s en lecture  pour c etype de volumetrie.

oki loki.
 
je n'ai pas tout suivi quand tu parles qu'un acces aléatoires du fait du nombre de serveurs...
tu peux m'expliquer stp ?
 
pour les deux trois types de solutions du penses aux acteurs majeurs ou a des solutions un peu moins connues ?

Je parle d'un acces aleatoire du fait que plusieurs serveurs vont acceder en  // au meme systeme de stockage, a moins de séparer logiquement les groupes de disques pour les affecter independament a chaque  serveur ( si 100 serveurs donc 100 volumes  1 volume etant un groupe de disque )  les acces disque seront des acces physiques differents de ce fait les '' tetes de disques'' seront en deplacement aleatoire et non pas sequentiel comme on peut le concevroir dans l'ecriture d'un fichier continu par exemple fichier video.  
Concernant le types de solution NAS haute performance il faut aller dans le haut de gamme avec des solutions cluster et systeme de fichier partagé distribué. En effet il existe des solutions moins genralistes que les  acteurs majeurs et + performantes dans les applications vertciales.
Par exemple des solutions  de type ISILON, ONstor, EXANET, ........ cetainement un peut moins evoluees dans les fonctionnalitees de Snapp shot, replication et certification avec les bases de donnees mais + perfoirmantes et moins chere .

 
 
dans les solution que tu cites, tu peux ajouter les produits de Blue Arc, distribué en france par HDS ... Par contre contrairement à Blue Arc, ISILON et ONstor, qui sont des solutions combinant hard+soft, Exanet est une solution logicielle uniquement, il me semble.

Exact Exanet est une solution soft qui se monte  sur des serveurs standard.

mais la solution exanet ne fleche pas vers du matos emc?
edit : pas que vers tu emc, je viens de voir qu'ils sont partner de pas mal de solution de stockage (sauf netapp tient...)

tu dois choisir toi meme le matos en fonction de tes contraintes budgetaires et fonctionnelles.

Pour info la solution exanet fonctione sur de serveurs Intel a ce jour des serverus IBM supermicro et Siemiens sont validés. Pour la la partie stockage disques le choix est + large a ce jour certifié ( donc deja installé)  quelques systemes des fabricants suivant : HP, IBM ( LSI), SUN storage tec (LSI) , Hitachi, Newnet, ..... certainement pas NEtapp qui est un concurrent  
Le choix des sytemes depend de la volumetrie et de la perfomance attendue

En fait j'ai peur que la couche applicative ne m'impose le socle CPU et par la meme l'architecture de stockage (meme si je pense que l'editeur à benchmarké au moins deux soluc de stockage...enfin j'espere)
en tout cas mici pour les infos.
sinon est ce que qq bosse dans le HPC ?

SGI est aussi partenaire de Exanet, ceci dit leurs têtes NAS sont basées sur des architectures x86 (et ils prennent leurs baies de disques chez des fournisseurs classiques, dont certains cités ci-dessus). L'avantage du bidule c'est que tu peux décider de changer de hardware sans soucis.

Bonsoir,

l'infiniband c'est :

10Gb/s (SDR 4X)
20Gb/s (DDR 4X)
30Gb/s (SDR 12X)
60Gb/s (DDR 12X)

en 2009 120 Gb/s (roadmap)

++++ La latence , +++ le multipathing de l'IB
l'inconvénient c'est la connectique en CX4 limité à 15m... (ceci devrait être levé dans les mois qui viennent avec la sortie de câbles 4X en fibre avec des convertisseurs CX4 -->> Fibre). Des câbles avec des convertisseurs existe déjà chez Netapp pour relier les cartes NVRAM des clusters, mais de type 4X SDR. Un autre inconvénient limité à quelques OS (VMWARE,Linux,Windows,...)

la marque incontournable au niveau des HBA ---> MELLANOX . Il en existe plusieurs versions ce qui les diffèrent c'est la latence. ((HBA entre 400 et 800$ en fonction de la latence de la carte)

aujourd'hui il existe des commutateurs Infiniband (qlogic,voltaire,mellanox) : pour moi le mieux : VOLTAIRE car il existe des cartes 20 port DDR IB + 2*10 Gbits et des cartes 4 ports Gbits (sfp) permettant au travers du protocole IPoIB (IP sur InfiniBand)  de configurer un réseau IP sur les ports InfiniBand et de sortir vers un réseau traditionnel. De plus le support est très bon.

soit le NAS gère nativement le protocole IB (un des protocoles permettant de faire du stockage ISER,...) soit il est possible d'utiliser chez voltaire les cartes avec des connexions réseaux (10 Gbit/s ou Gbit/S) pour connecter les têtes NAS

un avantage majeur des switches infiniband c'est la consommation par port qui est de l'ordre de 5W ( un port Gbits ou 10 Gbits sur un switch entre 75 et 135W par port). les plus gros 288 ports  x 20Gbps ~(en 2009) 600 ports x 40Gbps.

Aujourd'hui l'infiniband est TRES utilisé sur les clusters de calcul mais certaines sociétés commencent à les utiliser en DATACENTER (Enormes gains sous Oracle RAC,Vmware...)

par ailleurs il est possible de faire du IScsi sur de l'infiniband donc de dedier des volumes logiques à des serveurs.

si ton applicatif supporte de multiples volumes NFS CIFS (???) sur un NAS (pour ne pas le citer 2 ou 4  FAS6080A avec des disques 1TO SATA si tu ecris de gros fichiers sinon disque de 750 Go, des cartes 10 Gbits et un ou deux switchs voltaire avec des cartes (10 Gbit/s + IB) et 4 ports Gbit/s) des HCA de chez Mellanox (http://www.mellanox.com/products/connectx_ib_card.php).
edit modo: pas de spam, merci
Bonne nuit

Pour info les performances du genre de système de stockage necessaire à tes besoins dependent majoritairement d'un facteurs : le type d'I/O disques générés par les clients de la solution de stockage.
L'interface utilisée (FC4 / Infiniband et cie) n'est qu'une limite haute des perf que le système pourra atteindre dans des conditions optimales.

 
Je suis entièrement d'accord, quand je vois une réponse sur disque SATA 1To...ca me fait un peu peur ou alors il va en falloir un sacré nombre pour atteindre des niveau de performances escompté. La connectique et les niveau de RAID (ainsi que les IO forcement) feront que tonj système pour honnetement atteindre de gros niveau de perfs ou non.
 
 
Ensuite pour les technos si c'est pour du backup et que tu as des grosses problémtique regarde si la déduplication ne peut pas t'aider ca évitera d'acheter une solution de 1Po sur 10jours...soit pas mal de stockage en fonction des différentiels ou des full que tu fera en plus.

la dénomination 'I/O' n'est peut être pas la plus précise pour mon sujet. en fait il s'agit de flux de données avec des débits nominaux pas trop gros, traités par les serveurs et archivés post traitement sur la volumétrie de stockage.
Pour ce qui est de l'archivage ce n'est pas une fonctionnalité demandée, enfin par sur la volumétrie de base. De plus, ce n'est pas possible de faire de l'incrementale vu que les données sont effacé et remplacé au fil de l'eau. Pour la déduplication, la nature des données ne permet pas de faire cela (il y a déjà eu une passe LZW sur les données d'entrées et elles sont déjà, par définition, unique.
Pour la techno des disques, j'ai vu une solution qui permettait des débits en écriture assez important sur des SATA (parallélisation type raid mais optimisé sur n grappes, enfin un truc du genre). C'est ce type de techno qui est utilisé pour en gros site HPC  en France (suivez mon regard...)
[edit] : fôte monstrueuse !!!!

Le débit des archis SATA peut être excellent dans certaines conditions, plutôt restreintes.
Grosses I/O déjà (la taille des IO dépend de l'application qui demande ces IO, en général c'est la taille d'IO par défaut de l'OS soit 64Ko pour Windows et Linux classiques), ensuite pas trop d'accès concurents (nombre d'applications différentes /achines différentes demandant des IO au système disque).
Très important aussi, si t'as des lectures et des écritures en même temps, tu écrases ets perfs (quelque soit les disques utilisés, mais en SATA c'est pire qu'avec des disques 10K ou 15K).
Ceci dit certain systèmes SATA peuvent supporter de très bons débits / nombre d'IO pendant une courte période de temps, via des caches collossaux. Typiquement plusieurs dizaines de Go de cache tamponnent les données, qui sont ensuite écrites proprement, sequentiellement, sur les disques. Une fois que les caches sont pleins tes perfs s'écroulent.