Hello World,
 
J'ai besoin d'aide pour compresser des pti fichiers    
je m'explique:
 
Je dois pouvoir backuper toutes les nuits les spectres (composé de pleins de petits fichiers) produit par les RMN du labo.
 
 
Pour donner un ordre de grandeur 200 Go représente 2500000 fichiers et 85000 répertoires à sauvegarder !
actuellement je fais cette sauvegarde la nuit, sur un Dell R510 (mono Xeon à 2.13 Ghz, 4 Go ram, et 2*300 Go 15K/min) à l'aide de pbzip2,
ça fonctionne bien, mais ça commence à être trop lent !
j'ai également à disposition deux R410 et deux R310.
 
j'aimerais donc les utiliser à l'aide de mpibzip2 (du même auteur que pbzip2), seulement je n'ai jamais utilisé de systèmes MPI (donc forcément pour compiler mpibzip2, je rame !)
j'ai bien jeter un oeil à un cluster du type beowulf ou condor, mais c'est un peu surdimensionner pour mes besoins (surtout qu'au final ça revient à utiliser une solution MPI).
 
donc si vous avez fait des essais, ou avez des retours, je suis preneur !
 
merci    
 

Il faudrait déjà savoir ce que tu fais comme backup... tu fais une sauvegarde complète de tous les fichiers ? différentielle ? incrémentielle ?
Sur quel OS ?
 
En exemple à mon (actuel) boulot :

Il s'agit d'une sauvegarde complète !
et ce qui manque c'est le temps processeur (le stockage suit très largement), la machine oscille entre 80 et 100% pendant 6h !
 
Je cherche donc à diviser ce temps, en utilisant la puissance de calcul de mes 4 autres serveurs

un petit up