10Gbps FC vs 10GBASE-T - Retour d'xpérience

10Gbps FC vs 10GBASE-T - Retour d'xpérience - Réseaux - Systèmes & Réseaux Pro

Marsh Posté le 16-09-2011 à 11:48:15    

Bonjour à tous
Je viens vers vous pour avoir des retours d’expérience  sur la mise en place de réseau en 10 Go FC ou Ethernet 10GBASE-T    
Qu'avez vous penser de l'ethernet en 10Go vis à vis de la fibre ?  
Instabilité ? perte de débit, problème avec les switch ? ou au contraire, très positif ?
 
Une petite question annexe, quelle marque de matériel réseau apprécier vous le plus et pourquoi ?


Message édité par butler le 16-09-2011 à 13:08:50
Reply

Marsh Posté le 16-09-2011 à 11:48:15   

Reply

Marsh Posté le 16-09-2011 à 12:17:28    

Qd tu dis Fibre c'est Fiber Channel ? Parce que de l'ethernet tu peux le mettre sur de la fibre aussi.
 
Je vois pas pourquoi il y aurait des pb de débit et ou avec les switchs. Quant aux marques bah les habituels gros du secteurs

Reply

Marsh Posté le 16-09-2011 à 13:07:46    

oui désoler, tu parle de FCoE ?
Moi c'est vraiment 10go FC vs 10GBASE-T  
 
Je recherche des informations la dessus en vue du choix de câblage pour notre rocade vertical (3 étages, salle serveur au RDC, étude sur la voip etc)

Reply

Marsh Posté le 16-09-2011 à 13:16:57    

Non je parle pas de FCoE. Juste d'ethernet.
 
Tu vas choisir de la fibre plutot que du cuivre si tu dois avoir des longues distances, si tu traverses des zones avec des perturbations électromagnétiques etc.

Reply

Marsh Posté le 16-09-2011 à 14:27:04    

Je pense qu'il y a des confusions dans l'esprit du créateur du topic :D
 
Soit tu fais du FC soit tu fais de l'ethernet mais comparer les 2....  
 
FC tu peux le comparer à FCoE ou iSCSI...


---------------
"Parceque toi tu fracasses du migrant à la batte de baseball, c'est ça ?" - Backbone-
Reply

Marsh Posté le 17-09-2011 à 19:40:22    

FC = Fiber channel (1, 2, 4, 8 Gb/s)
iSCSI = SCSI encapsulé dans de l'IP sur de l'Ethernet (100 Mb/s, 1 Gb/s, 10 Gb/s)
FCoE = Fiber Channel encapsulé sur de l'Ethernet (100 Mb/s, 1 Gb/s, 10 Gb/s)
Globalement  
le FC natif c'est une boucle arbitré (pas de collision, faible latence). En FC tu peux utiliser 100% de la bande passante.  
L'Ethernet c'est du bus avec collision (géré par le CSMA/CD en gros si ça passe pas tu attends et tu ré essaye). Tu peux difficilement dépasser 80% de la bande passante (sauf si les deux machines sont directement connectées via un câble croisé)
Franchement le FC c’est bien plus simple que de vouloir tout mélanger.  
L’utilité du iSCSI c’est pour les petits solutions pas trop cher (ou pour permettre simplement un accès à un serveur virtuel à la baie de stockage) mais il ne faut pas non plus attendre à des perfs miraculeuse.  
Le FCoE c’est bien pour les réplications entre des baies qui sont sur des sites distants ou pour étendre son SAN sur des sites distant sans devoir acheter de la fibre noire en ces sites.

Reply

Marsh Posté le 17-09-2011 à 22:41:10    

heu le FCoE c'est que sur du 10G, et ce n'est fait que pour du local (la distance max supportée dépend en fait de la taille des buffers).
 
Sinon le FC c'est plus de la boucle depuis longtemps je crois :D


---------------
"Parceque toi tu fracasses du migrant à la batte de baseball, c'est ça ?" - Backbone-
Reply

Marsh Posté le 17-09-2011 à 22:56:39    

MBerthe a écrit :


L'Ethernet c'est du bus avec collision (géré par le CSMA/CD en gros si ça passe pas tu attends et tu ré essaye). Tu peux difficilement dépasser 80% de la bande passante (sauf si les deux machines sont directement connectées via un câble croisé)


Ethernet a un soupçon évolué depuis ses origines.

 

Les collisions (et le CSMA/CD) n'ont un sens que si tu fonctionnes en semi-duplex.

 

Depuis le fonctionnement en full-duplex a été normalisé et les collisions n'existent plus dans ce mode (tout comme le CSMA/CD).

 

De plus si en Giga le fonctionnement semi-duplex a été normalisé, assez logiquement les fabricants ne l'implémentent généralement pas (d'ailleurs c'était franchement de la perte de temps de faire cette normalisation), en 10 Giga le fonctionnement en semi-duplex n''est tout simplement pas prévu par la norme.

 

En full-duplex, il est assez courant de tabler sur du 90 à 95 % de la bande passante (le reste étant pris par les entêtes de la trame Ethernet et du paquet IP).

 

Message cité 1 fois
Message édité par Zostere le 17-09-2011 à 22:57:26

---------------
Zostere
Reply

Marsh Posté le 18-09-2011 à 14:09:03    

Zostere a écrit :


Ethernet a un soupçon évolué depuis ses origines.
 
Les collisions (et le CSMA/CD) n'ont un sens que si tu fonctionnes en semi-duplex.
 
Depuis le fonctionnement en full-duplex a été normalisé et les collisions n'existent plus dans ce mode (tout comme le CSMA/CD).
 
De plus si en Giga le fonctionnement semi-duplex a été normalisé, assez logiquement les fabricants ne l'implémentent généralement pas (d'ailleurs c'était franchement de la perte de temps de faire cette normalisation), en 10 Giga le fonctionnement en semi-duplex n''est tout simplement pas prévu par la norme.
 
En full-duplex, il est assez courant de tabler sur du 90 à 95 % de la bande passante (le reste étant pris par les entêtes de la trame Ethernet et du paquet IP).
 


Ah non, pas du tout d'accord avec toi. Si le giga half avait pas existé Cisco n'aurait jamais pu inventer le "gigastack" et vendre ses 3550 :D
Cisco mauvais sur la périphérie depuis plus 6 ans et c'est toujours le cas...


---------------
Jujudu44
Reply

Marsh Posté le 18-09-2011 à 15:03:50    

Citation :

heu le FCoE c'est que sur du 10G, et ce n'est fait que pour du local (la distance max supportée dépend en fait de la taille des buffers).


L'Ethernet peut être transporté sur du cuivre et sur de la fibre donc les distances sont relativement grande. C'est donc plus du local mais du MAN.
http://fr.wikipedia.org/wiki/Ether [...] ar_seconde
 
En effet les collisions n'existent plus en mode Full-Duplex mais il faut gérer les congestions au niveau des switchs. C'est le gros problème de cette technologie ce qui amène de la latence qui a un impact significatif sur les performances.  
http://fr.wikipedia.org/wiki/Carri [...] _Detection
 
Pour avoir utilisé du iSCSI et du FC (pas de FCoE encore) sur plusieurs installations, je suis clairement pour le FC.
Le FC c'est plus simple contrairement à ce que certain constructeur laisse entendre. C'est super stable, je n'ai jamais eu d'incident.
Sur du iSCSI, ce n’est pas le même topo, j'ai rencontré des problèmes de performance. C'est bien plus compliqué à configurer (Jumbo frame, Flow control, plusieurs subnets pour gérer la redondance, choix de switch pas simple, ...). Et enfin j'ai eu des incidents graves à cause d'erreurs humaines (modification du câblage à la volée, modification de la configuration des switchs par un admin ne connaissant pas les besoins spécifiques) ce qui a amené la mise en place de switchs indépendants du réseau et donc un surcoût qui s'approche du prix de FC.
La convergence des réseaux c'est bien mais il y beaucoup de contrainte  :cry:  

Reply

Marsh Posté le 18-09-2011 à 15:03:50   

Reply

Marsh Posté le 18-09-2011 à 19:34:42    

MBerthe a écrit :

Citation :

heu le FCoE c'est que sur du 10G, et ce n'est fait que pour du local (la distance max supportée dépend en fait de la taille des buffers).


L'Ethernet peut être transporté sur du cuivre et sur de la fibre donc les distances sont relativement grande. C'est donc plus du local mais du MAN.
http://fr.wikipedia.org/wiki/Ether [...] ar_seconde

FCoE c'est 10G only parce qu'il faut ETS / PFC, pour les restrictions de distance c'est lié au temps de propagation et à la profondeur des buffers avant d'envoyer les trames pause PFC. Aujourd'hui on est sur du 300m max et avec les nouvelles générations de hardware on peut monter jusqu'à environs 2km (nexus 7000 / nexus 5500)


Message édité par dreamer18 le 18-09-2011 à 19:35:29

---------------
"Parceque toi tu fracasses du migrant à la batte de baseball, c'est ça ?" - Backbone-
Reply

Marsh Posté le 21-09-2011 à 09:52:32    

Vous oubliez 2 données importantes dans l'équation de butler
Le vrai besoin  et le cout
Quel besoin peut justifier du FC, cherchet t-il a construire un SAN ou veut il transporter des paquets IP ?
Un  switch ou un  directeurs SAN, reste des produits onéreux sans compter que les cartes modules FC pour les serveurs W2K ou AIX ou OS400 ne sont pas gratuites.
Coté LAN, une infra 10Gi aura aussi un cout, ce sera sans doute moins cher qu'un réseau FC, les performances intrinsèque de la techno sont moins performantes de base.  
 
SI tu as un gros budget et que tu veux te monter un réseau de fou, envisage des switchs INFINIBAND.

Reply

Marsh Posté le 21-09-2011 à 10:51:58    

Vous digressez pas mal vis à vis du sujet initial (même si il est confus)
 
Pour ce que j'en ai compris : butler veut un comparatif entre les médium 10G Ethernet. (=> comparaison entre une infra en cuivre ou en fibre et non pas entre 10GEthernet et FC)
 
Ca dépend surtout de la distance entre les équipements actifs:
- 10GBASE-T : 100m possible sur des câbles cuivre catégorie 6A.
- 10GBASE-SR : 300m possible sur des fibres de qualité OM3.
note : il vaudrait mieux à ce stade poser des fibres OM4 (à voir selon le différentiel de prix) pour se préparer au 40G et 100G.
- 10GBASE-LR : 10 km possibles avec des fibres monomode.
 
(bien sur, tout ceci concerne les moyens de véhiculer de l'ethernet, ne pas confondre avec FC (Fibre Channel)
 

butler a écrit :


Je recherche des informations la dessus en vue du choix de câblage pour notre rocade vertical (3 étages, salle serveur au RDC, étude sur la voip etc)


=> Quelles sont les distances impliquées?
Si les distances max sont de 50m et qu'il n'y a pas de courants forts dans les galeries, tu peux faire poser du cuivre cat 6A.
La différence de coût est mineure par rapport à la fibre mais elle sera à ton avantage.


Message édité par Jab Hounet le 21-09-2011 à 10:53:05
Reply

Marsh Posté le 21-09-2011 à 11:39:05    

l'OM2 et l'OM3 supportent le 40G à des distances plus que raisonnables.


---------------
"Parceque toi tu fracasses du migrant à la batte de baseball, c'est ça ?" - Backbone-
Reply

Marsh Posté le 21-09-2011 à 12:02:06    

Je ne savais pas que l'OM2 supportait 40G.
 
J'attends surtout le retour d'expérience pour vérifier à quelle distance réelle l'OM3 et l'OM4 supportent 100G.

Reply

Marsh Posté le 21-09-2011 à 13:49:20    

OK effectivement ce n'était pas franchement clair....
Par contre je confirme
Le budget sera un guide...  ce n'est pas la fibre ou le cuivre entre le local technique et la salle serveur  qui va couter de l'argent. une interco 10G cuivre sera moins onéreuse (SFP moins cher que les SFPs FO.  
Maintenant le 10 G est il nécessaire ?
 
 
 

Reply

Marsh Posté le 21-09-2011 à 14:25:49    

Jab Hounet a écrit :

Je ne savais pas que l'OM2 supportait 40G.
 
J'attends surtout le retour d'expérience pour vérifier à quelle distance réelle l'OM3 et l'OM4 supportent 100G.

C'est pas défini dans les standards mais il semble que les QSFP cisco supportent 30 mètres sur de l'OM2, 100m sur OM3, 150m sur OM4
 
Pour l'utilité du 10G, en entreprise c'est surtout pour les réseaux de sauvegarde ou les très gros datacenter avec plusieurs milliers de serveurs (stockage, bureautique, applis diverses...)


Message édité par dreamer18 le 21-09-2011 à 14:26:11

---------------
"Parceque toi tu fracasses du migrant à la batte de baseball, c'est ça ?" - Backbone-
Reply

Marsh Posté le 15-10-2011 à 01:50:46    

Si cela vous intéresse, j'avais commencé à faire le point sur l'Ethernet en 10Gb Fibre
=> http://smpfr.mesdiscussions.net/sm [...] 1450_1.htm
 
++


---------------
[VDS] HDD SAS 15k, GPU, 4u 24x Hot Swap
Reply

Marsh Posté le 15-10-2011 à 08:44:29    

Mets tes sources quand même :D
 
Sinon pour le 40G c'est là
 
http://www.cisco.com/en/US/prod/co [...] 60083.html


---------------
"Parceque toi tu fracasses du migrant à la batte de baseball, c'est ça ?" - Backbone-
Reply

Marsh Posté le 15-10-2011 à 15:32:25    

Mais m'sieur, cékeske géfé ! :D
 
Merci  :hello:

Message cité 1 fois
Message édité par augur1 le 15-10-2011 à 15:32:38

---------------
[VDS] HDD SAS 15k, GPU, 4u 24x Hot Swap
Reply

Marsh Posté le 15-10-2011 à 15:51:46    

dreamer18 a écrit :

FC tu peux le comparer à FCoE ou iSCSI...


 
Envie de me coucher moins bête... alors me lance :d
 
J'aurais comparé du FC au SCSI et FCoE au iSCSI, suis je à côté de la plaque ?
 
:jap:

Reply

Marsh Posté le 15-10-2011 à 15:55:05    

fievel a écrit :


 
Envie de me coucher moins bête... alors me lance :d
 
J'aurais comparé du FC au SCSI et FCoE au iSCSI, suis je à côté de la plaque ?
 
:jap:


 
C O R R E C T  :sol:  
 
http://image.jeuxvideo.com/images/pc/l/m/lmfapc0b.jpg
 
Sauf que :  

  • SCSI : 1 seule machine vers un stockage DAS
  • FC : plusieurs machine vers stockage SAN


++


Message édité par augur1 le 15-10-2011 à 15:57:58

---------------
[VDS] HDD SAS 15k, GPU, 4u 24x Hot Swap
Reply

Marsh Posté le 15-10-2011 à 15:58:30    

[:tozwarrior] du coup  [:abnocte invictus]  :jap:


---------------
StatsBOINC
Reply

Marsh Posté le 15-10-2011 à 16:42:20    

FC se compare pas à SCSI puisque FC sert à transporter du SCSI.


---------------
"Parceque toi tu fracasses du migrant à la batte de baseball, c'est ça ?" - Backbone-
Reply

Marsh Posté le 15-10-2011 à 16:43:48    

augur1 a écrit :

Mais m'sieur, cékeske géfé ! :D
 
Merci  :hello:

En cartes réseaux 10GE (CNA ou NIC) tu as aussi du Mellanox, Intel, Broadcom...


---------------
"Parceque toi tu fracasses du migrant à la batte de baseball, c'est ça ?" - Backbone-
Reply

Marsh Posté le 15-10-2011 à 16:52:45    

dreamer18 a écrit :

En cartes réseaux 10GE (CNA ou NIC) tu as aussi du Mellanox, Intel, Broadcom...


Dans le topic sur smpfr, j'ai préféré rester sur de l'Ethernet et ne pas aborder le FCoE.
 
A présent, je recherche la meilleure infrastructure pour 8, 12, 16 postes.
 
Je penche là sur des cartes 10Gb avec SFP+ en SR, mono ou dual port... si toi aussi tu as des réf de cartes & switch je suis preneur ! ;)
 
++

Message cité 1 fois
Message édité par augur1 le 15-10-2011 à 17:06:57

---------------
[VDS] HDD SAS 15k, GPU, 4u 24x Hot Swap
Reply

Marsh Posté le 15-10-2011 à 17:10:36    

dreamer18 a écrit :

FC se compare pas à SCSI puisque FC sert à transporter du SCSI.


 
Ah... pourtant à l'époque, l'on avait le choix entre baie FC ou SCSI... De nos jours, se serait FC au SAS.
 
Afin de savoir quoi acheter, il fallait comparer... non ?
 
 


Message édité par fievel le 15-10-2011 à 17:10:51

---------------
StatsBOINC
Reply

Marsh Posté le 15-10-2011 à 20:55:51    

Tu peux comparer FC et iSCSI puisque les deux servent à transporter du stockage, c'est à dire des commandes SCSI.


---------------
"Parceque toi tu fracasses du migrant à la batte de baseball, c'est ça ?" - Backbone-
Reply

Marsh Posté le 15-10-2011 à 20:57:33    

augur1 a écrit :


Dans le topic sur smpfr, j'ai préféré rester sur de l'Ethernet et ne pas aborder le FCoE.
 
A présent, je recherche la meilleure infrastructure pour 8, 12, 16 postes.
 
Je penche là sur des cartes 10Gb avec SFP+ en SR, mono ou dual port... si toi aussi tu as des réf de cartes & switch je suis preneur ! ;)
 
++

Toutes les CNAs sont des cartes 10GE, la seule chose c'est qu'en plus elles ont les chipsets pour traiter l'encapsulation Fiber Channel.
 
Sinon pour du local part plutôt sur du 10G base T plutôt que de la fibre, ça coutera beaucoup moins cher (surtout si FCoE tu t'en fous) et y a des produits 10 base T maintenant côté switchs (Cat6500, Nexus 2232)


Message édité par dreamer18 le 15-10-2011 à 20:58:43

---------------
"Parceque toi tu fracasses du migrant à la batte de baseball, c'est ça ?" - Backbone-
Reply

Marsh Posté le 15-10-2011 à 21:06:55    

Citation :

Sinon pour du local part plutôt sur du 10G base T plutôt que de la fibre, ça coutera beaucoup moins cher (surtout si FCoE tu t'en fous) et y a des produits 10 base T maintenant côté switchs (Cat6500, Nexus 2232)


Héhé ... ce serait trop simple !
 
Imagine toi au sous sol et les baies des switchs & serveur au 3eme = 4 étages, et trop d'interférence entre tout ce qui passe + ascenseurs.
Ok on pourrait se dire de mettre un 10G base T à proximité des stations qui en ont besoin et envoyer le tout via un switch équipé de 2 Gbic SFP+ SR... mais non ! :/
 
C'est un peu comme tenter de dire à un taliban APPLE que PC est mieux que Mac ; là j'ai du monde au dessus convaincu que la Fibre c'est le plus mieux du trop bien qui dit fibre dit que ça va plus vite que tout... (et encore, eux ne différencient pas Fiber Channel 2 Gb avec 10Gb fibre ...)
 
++


Message édité par augur1 le 15-10-2011 à 21:08:05

---------------
[VDS] HDD SAS 15k, GPU, 4u 24x Hot Swap
Reply

Marsh Posté le 15-10-2011 à 22:09:13    

En SR faut que la jarretière fasse au moins 2 mètres, sinon l'atténuation flingue l'optique.
 
Tu peux passer sur du twinax (beaucoup moins cher que le couple 2 SR + jarretière) mais :
 
- faut pas trop les plier
- faut bien vérifier que ce soit supporter par le driver de tes cartes


---------------
"Parceque toi tu fracasses du migrant à la batte de baseball, c'est ça ?" - Backbone-
Reply

Marsh Posté le 15-10-2011 à 22:13:33    

dreamer18 a écrit :

En SR faut que la jarretière fasse au moins 2 mètres, sinon l'atténuation flingue l'optique.


 
http://blog.monfairepart.com/wp-content/uploads/2008/07/cadd_1.jpg
 
c'est à dire ?


Message édité par augur1 le 15-10-2011 à 22:14:11

---------------
[VDS] HDD SAS 15k, GPU, 4u 24x Hot Swap
Reply

Marsh Posté le 15-10-2011 à 22:14:41    

http://www.socamont.com/boutique/l [...] _fr&num=22


---------------
"Parceque toi tu fracasses du migrant à la batte de baseball, c'est ça ?" - Backbone-
Reply

Marsh Posté le 15-10-2011 à 22:18:09    


ahhhh
 
http://www.socamont.com/boutique/images_produits/LC-LC-aqua-big.jpg
 
Ok merci  :sol:  
Dans ce cas pas de problème, on peut aller jusque 300 m en SR multimode 50/125 OM3
... en Simple port surement.
 
 
++


Message édité par augur1 le 15-10-2011 à 22:20:20

---------------
[VDS] HDD SAS 15k, GPU, 4u 24x Hot Swap
Reply

Marsh Posté le 15-10-2011 à 22:40:17    

Qu'en penses tu ?  
 
Dell 10GB XF PCIe Fiber Single Port Network Card RN219
=> http://www.ebay.com/itm/Dell-10GB- [...] 3f0e135156 234 € fdpin
 
 ;)
 
.... se termine à 00h20 ce 16.10.2011 ^^
++


Message édité par augur1 le 15-10-2011 à 22:40:24

---------------
[VDS] HDD SAS 15k, GPU, 4u 24x Hot Swap
Reply

Marsh Posté le 15-10-2011 à 22:49:09    

Dell en général c'est de la merde :D


---------------
"Parceque toi tu fracasses du migrant à la batte de baseball, c'est ça ?" - Backbone-
Reply

Marsh Posté le 15-10-2011 à 22:54:05    

Ça va ... y a pas non plus le logo AMD dessus xD


---------------
[VDS] HDD SAS 15k, GPU, 4u 24x Hot Swap
Reply

Marsh Posté le 15-10-2011 à 22:59:28    

dreamer18 a écrit :

Dell en général c'est de la merde :D


 
... j'en ai pris une ; on verra bien  :wahoo:


---------------
[VDS] HDD SAS 15k, GPU, 4u 24x Hot Swap
Reply

Marsh Posté le 16-10-2011 à 02:04:10    

hmmm :)
 
moi je veux des test comparo Infiniband VS FC en IP, Iscsi ...
 
 Need de tester plus en détail IPoIB avec mes controleur IB (mais vu qu il merde .... erf)


---------------
DU LOURD, TOUJOURS !
Reply

Marsh Posté le    

Reply

Sujets relatifs:

Leave a Replay

Make sure you enter the(*)required information where indicate.HTML code is not allowed