Gros traitements : quel OS choisir pour sa rapidité?

Gros traitements : quel OS choisir pour sa rapidité? - Débats - Linux et OS Alternatifs

Marsh Posté le 07-06-2014 à 14:53:01    

Hello,
 
Je suis entrain de monter un nouveau PC (I7 4770 / SSD / 16Go ram) afin de traiter des images astronomiques.
Mon PC actuel (Seven / Core 2 Quad / 8Go ram ) est complètement à la ramasse et une opération de traitement peut durer 2/3 heures.
 
Le logiciel que j'utilise a été porté sur plusieurs plateformes : FreeBSD, Linux, Apple Mac OS X et Windows  
http://pixinsight.com/sysreq/index.html
 
Je ne sais pas quel OS choisir en fait  :??:  
Je ne trouve aucun bench qui va démontrer que Seven est moins rapide sur une application 64-Bits que FreeBSD ou linux par exemple (ou inversement)
 
Qu'en pensez vous, connaissez vous un site qui a testé de manière objective les différents OS sur différentes applications?
 
merci


Message édité par Clark_foam le 07-06-2014 à 15:08:18
Reply

Marsh Posté le 07-06-2014 à 14:53:01   

Reply

Marsh Posté le 07-06-2014 à 15:12:09    

Le plus important, c'est de charger en ram ton fichier, soit via le logiciel soit via un ramdisk.

 

Après tu auras besoin d'une version 64 bits pour profiter au mieux de la ram dispo.

 

le site indique que l'application est développée sur pcbsd et fedora, donc plutôt une bsd ou une distribution linux généraliste qu'un windows pour exécuter, c'est toujours mieux pour le suivi des bugs et des perfs.

 

Regarde la taille de tes fichiers et des calculs nécessaires, probablement que la ram sera plus importante que le SSD. si tu charges tout en ram, mieux vaut avoir 32 Go de ram et un hd classique.


Message édité par Magicpanda le 07-06-2014 à 15:13:18

---------------
" Quel est le but du capital ? Le but du capital c'est produire pour le capital. L'objectif, lui, est illimité. L'objectif du capital c'est produire pour produire." - Deleuze || André Gorz - Vers la société libérée
Reply

Marsh Posté le 07-06-2014 à 16:46:39    

Merci pour ta réponse :)
En fait ce logiciel n'existe plus qu'en 64bits donc un OS 64 est obligatoire.
J'ai aussi pensé à ramdisk mais ce n'est pas le traitement d'une image qui pose problème. En astro pour faire une image il en faut plusieurs.
Par exemple pour faire cette image il en a fallu 150 et chaque images font 32mo.
Tous les composants sont sollicités et je cherche donc le meilleur OS niveau gestion I/O, ram et éventuellement CPU  
 
Après peut être qu'ils se valent tous et que cela ne sert à rien de batailler là dessus ;)
 
 
 
 
 

Reply

Marsh Posté le 08-06-2014 à 00:56:36    

Je n'ai pas trop regardé (étant sur tablette là), mais il ne serait pas possible de faire justement un "découpage" des opérations sur un cluster de plusieurs machines, ou d'utiliser du GPGPU ?
Là en se renseignant auprès des dévs et utilisateurs de ce logiciel (forum officiel ?) tu auras probablement une meilleure réponse.


---------------
Grippe ? Coronavirus ? Portez votre masque correctement ! :D
Reply

Marsh Posté le 08-06-2014 à 11:36:10    

le gpcpu est en cours de dev sur ce soft


---------------
" Quel est le but du capital ? Le but du capital c'est produire pour le capital. L'objectif, lui, est illimité. L'objectif du capital c'est produire pour produire." - Deleuze || André Gorz - Vers la société libérée
Reply

Marsh Posté le 08-06-2014 à 13:16:57    

Malgré ce que disent les fanboys Windows est pour la plupart du temps plus rapide, plus stable etc. que Linux pour un usage donné. Les drivers sont de meilleure qualité et il y a moins de bugs.

 

C'est sûr que pour installer l'OS j'ai plus vite fait sous linux (20 minutes pour installation + updates, contre environ 3 heures sous Windows 7)

 


sinon, voir de ce côté ci
Apparemment il faut du stockage, du stockage et du stockage. Ou juste blinder la RAM. Ou un gros n' SSD.

  


Citation :

Parallel Swap File Storage

 

Starting from version 1.4, PixInsight uses parallel disk I/O operations to generate and maintain temporary swap disk files. When two or more physical disk drives are available, PixInsight can be configured to spread swap files on all disks (no specific limit), and read/write them through parallel execution threads running concurrently.

 

The performance gain that can be achieved thanks to parallel disk I/O in PixInsight can be spectacular. For example, with just two Serial ATA 300 disks (not particularly fast drives), PixInsight can easily achieve data transfer rates above 500 and 200 MB/s, respectively for read and write operations. This allows working with huge images in PixInsight. For example, with four fast drives configured for parallel swap file storage, you can work with a 32-bit RGB image of 12000×12000 pixels and perform undo/redo operations virtually in real time. Note that parallel disk access is as fast as RAID 0 storage, although much easier to configure and maintain.

Message cité 1 fois
Message édité par blazkowicz le 08-06-2014 à 13:18:59
Reply

Marsh Posté le 08-06-2014 à 15:58:37    

blazkowicz a écrit :

Malgré ce que disent les fanboys Windows est pour la plupart du temps plus rapide, plus stable etc. que Linux pour un usage donné. Les drivers sont de meilleure qualité et il y a moins de bugs.
(...)


 
juste pour que la discussion ne dégénère pas, tu as des arguments autres que ton ressenti pour ces assertions ?


---------------
Celui qui pose une question est idiot 5 minutes. Celui qui n'en pose pas le reste toute sa vie. |  Membre du grand complot pharmaceutico-médico-scientifico-judéo-maçonnique.
Reply

Marsh Posté le 08-06-2014 à 16:43:31    

A propos de windows c'est vrai pour (a) les drivers propriétaires (b) les applications développées principalement sous windows.

 

maintenant pour des applis qui utilisent des machines virtuelles ou des langages de haut niveau, ca fait une différence négligeable.

 

ce qui est vrai c'est que sur l'utilisation du SSD et la gestion de la ram, que l'on soit sur n'importe quelle platerforme, c'est le paramétrage de la machine est le plus important.

 

Sur l'utilisation des ssd, pour des process de traitement avec beaucoup d'écriture, je pense qu'un ramdisk est préférable, sauf si on a besoin d'aller au dessus de 32 Go. Je fais régulièrement des ramdisk de 8/10 Go pour des traitements statistiques et c'est vraiment plus bénéfique qu'un ssd.

 

Le mieux c'est sans doutes ramdisk avec sauvegarde automatique par rsync et un raid HDD pour la fiabilité.
Un tuto ici pour le cas d'un serveur web, ca marche de la meme façon pour d'autres softs :

 

http://www.octetmalin.net/linux/tutoriels/ramdisk.php


Message édité par Magicpanda le 08-06-2014 à 16:46:53

---------------
" Quel est le but du capital ? Le but du capital c'est produire pour le capital. L'objectif, lui, est illimité. L'objectif du capital c'est produire pour produire." - Deleuze || André Gorz - Vers la société libérée
Reply

Marsh Posté le 08-06-2014 à 16:48:37    

Un thread pour la configuration des ramdisk sous pixinsight
http://pixinsight.com/forum/index.php?topic=2839.0


---------------
" Quel est le but du capital ? Le but du capital c'est produire pour le capital. L'objectif, lui, est illimité. L'objectif du capital c'est produire pour produire." - Deleuze || André Gorz - Vers la société libérée
Reply

Marsh Posté le 08-06-2014 à 17:24:58    

Merci pour vos réponses et remarques.
Effectivement le GP-GPU c'est normalement pour 2014, cela pourrait bien changer la vie de pas mal d'astram qui désespèrent à attendre devant leur PC que les traitements se finissent.
J'ai bien noté l'utilisation des I/O parallélisés sur plusieurs disques. C'est aussi ce que j'utilise à date sur deux grappes de RAID0 (non SSD)
Sur ma nouvelle conf je vais supprimer une grappe et passer le stockage principal sur un SSD Samsung 840Pro et le swap de PixInsight sur le RAID0 restant ou ramdisk (merci Magicpanda pour le lien)
 
Niveau OS les dev recommandent FreeBSD (PcBSD) sans forcément le justifier par de meilleures perf. Peut être qu'ils n'ont tout simplement pas le temps de benchmarker les différents OS, ce n'est pas leur job.
 
Pour revenir à la perf des différents OS j'ai regardé un peu plus sur le net et la tendance serait de dire que les I/O sont plus rapides sous FreeBSD/Linux, les calculs très légèrement plus rapides sur Seven (meilleure prise en charge des nvx jeu d'instruction) et la 3D (jeux) plus rapide sous Seven mais ça  je m'en fou un peu  :D  
 
Donc le seul moyen d'en avoir le cœur net c'est de tester avec un multiboot !
PcBSB n'a pas l'air du tout compliqué à installer et le logiciel sur cette plateforme non plus :)
 
 
 
 

Reply

Marsh Posté le 08-06-2014 à 17:24:58   

Reply

Marsh Posté le 08-06-2014 à 18:08:05    

drap (ton problème est intéressant)

Reply

Marsh Posté le 08-06-2014 à 21:54:16    

je dit ca naivement, mais Berkeley c'est à la fois l'origine des BSD et un des principaux sites de recherche en astrophysique aux usa (seti & co)
donc peut etre bien qu'ils bossent sur des bsd assez souvent.


---------------
" Quel est le but du capital ? Le but du capital c'est produire pour le capital. L'objectif, lui, est illimité. L'objectif du capital c'est produire pour produire." - Deleuze || André Gorz - Vers la société libérée
Reply

Marsh Posté le 08-06-2014 à 21:59:39    

Par contre je n'arrive pas à savoir si CUDA est supporté par BSD. Je trouve des infos contradictoires...


Message édité par Clark_foam le 09-06-2014 à 09:06:40
Reply

Marsh Posté le 08-06-2014 à 23:47:19    

Magicpanda a écrit :

le gpcpu est en cours de dev sur ce soft


Je viens de voir, effectivement... prévu pour cette année [:the geddons]  
 
Après quand au choix de BSD, il peut s'expliquer par le fait qu'il est relativement bien utilisé dans la communauté scientifique américaine dès qu'il s'agit de station de travail ou de serveur [:spamatounet]


---------------
Grippe ? Coronavirus ? Portez votre masque correctement ! :D
Reply

Marsh Posté le 09-06-2014 à 01:11:49    

cuda c'est en cours pour freebsd et ça dépend des cartes


---------------
" Quel est le but du capital ? Le but du capital c'est produire pour le capital. L'objectif, lui, est illimité. L'objectif du capital c'est produire pour produire." - Deleuze || André Gorz - Vers la société libérée
Reply

Marsh Posté le 09-06-2014 à 01:54:21    

Mjules a écrit :


 
juste pour que la discussion ne dégénère pas, tu as des arguments autres que ton ressenti pour ces assertions ?


 
Je ne voulais pas tellement troller mais pour un usage type jeux vidéo déjà, ou certains usages multimédia Windows peut être pas mal devant.
Bon, clark_foam répond mieux que moi :D
 
 
Pour l'usage considéré c'est peut-être du côté RAM et I/O disque et système de fichiers qu'il y a vraiment de gros besoins et donc là c'est sûr, ça peut être soit indépendant de l'OS soit favoriser linux ou BSD. Il y a aussi des effets d'échelle. Sur tous les OS : on peut utiliser ramdisk, ou SSD, ou multiples HDD..
Sous BSD : on peut avoir un énorme système de fichiers ZFS avec éventuellement un gros SSD en cache. (ou juste un ZFS sur un gros SSD)
Sous linux : on peut avoir plein de systèmes de fichiers custom dont des systèmes de fichiers distribués : Glusterfs, Lustre et autres (pour des péta-octets sur plein de bécanes, peut-être). Ou simplement un XFS (si c'est adapté à la charge).
 
Je pense qu'il faut avoir une vague idée de l'échelle où l'on se situe : stockage total, et stockage mis à l'épreuve pour une opération.
 
Si montage d'un PC neuf : je pense qu'il faut vraiment faire avec une carte-mère à chipset H97 ou Z97, possédant un port M2 (pour SSD PCI express) et/ou SATA express, pouvant supporter un SSD à la norme "NVMe". Si cette phrase ressemble à des injures de bande dessinée, il y a de quoi comprendre un peu à quoi ça sert ici
http://www.hardware.fr/news/13759/ [...] intel.html
 
Pouvoir ajouter un SSD au format M2 (jusqu'à 1Go/s théorique) interfacé en NVMe ça "pérennise" la config.

Reply

Marsh Posté le 09-06-2014 à 10:33:40    

Ah c'est rapé pour le Z97, j'ai pris une Z87 d'occase (comme tout le reste d'ailleurs).
Quand les disques SATA express NVMe seront plus accessibles, je verrai pour l'upgrade du 840 Pro (qui déjà va booster pas mal normalement)
 
Je vais finir de recevoir la quincaillerie cette semaine et après je monte tout ce bazar avec un dual boot. Les OS seront sur un petit SSD dédié.


Message édité par Clark_foam le 09-06-2014 à 10:34:02
Reply

Marsh Posté le 09-06-2014 à 12:53:01    

ca ne sert à rien de prendre des chipsets hyper récents, ils sont souvent mal supportés par les versions stables des OS


---------------
" Quel est le but du capital ? Le but du capital c'est produire pour le capital. L'objectif, lui, est illimité. L'objectif du capital c'est produire pour produire." - Deleuze || André Gorz - Vers la société libérée
Reply

Marsh Posté le 15-06-2014 à 15:27:52    

Ca y est j'ai fini de monter les composants et ils sont optimisés (4770k@4.5Ghz, 16Go DDR2133cas10, SSD 840Pro 512 le tout dans un boitier mini ITX). J'ai fini par choisir Fédora comme distrib vu que le support de CUDA sur BSD me parrait assez flou.
Et bien que ça soit dans linux ou windows c'est la grosse claque. Quelle upgrade pour rapport à mon ancien pc !
Bref, les chiffres :
 
Benchmark Pixinsight (traitement essentiellement basé sur les I/O)
Windows : CPU=>7634 I/O=>4554 Total=>4554
Fédora :    CPU=>8571 I/O=>25338 Total=>9840
Y'a pas match. Le score est quasiment au niveau des Hexacore et pas loin des serveurs Xéon E5-2695  
Résultats globaux => http://pixinsight.com/benchmark/
Le test réalisé ce matin => http://pixinsight.com/benchmark/be [...] THW3B6B0I2
 
 
 
Maintenant quelques mesures lors de traitements divers...
 
Assemblage mosaique (traitement qui solicite la ram et le cpu)
Windows : 295,7s
Fédora : 290,3s
 
Alignement d'images stéllaires (traitement qui solicite CPU et à moindre mesure I/O)
Windows : 48.6s
Fédora : 41.4s
 
Stacking des images alignées (traitement qui solicite I/O, CPU et ram)
Windows : 32.5s
Fédora : 25.7s
 
Test du Parallel Swap File Storage avec un autre SSD (Vertex2) => cela dégrade la perf. Il y a trop d'écart de génération entre les deux SSD à mon avis.
 
Donc voila j'ai la réponse à ma question  :)  
Prochain essai sur Fédora, modif dans le sysctl.conf pour optimiser les i/o Vs l'utiliation de la ram.
http://www.sysxperts.com/home/anno [...] roundratio


Message édité par Clark_foam le 15-06-2014 à 15:30:08
Reply

Marsh Posté le 15-06-2014 à 16:09:18    

merci pour ces benchs, c'est intéressant !


---------------
" Quel est le but du capital ? Le but du capital c'est produire pour le capital. L'objectif, lui, est illimité. L'objectif du capital c'est produire pour produire." - Deleuze || André Gorz - Vers la société libérée
Reply

Sujets relatifs:

Leave a Replay

Make sure you enter the(*)required information where indicate.HTML code is not allowed