Manière optimale de lire un fichier

Manière optimale de lire un fichier - Shell/Batch - Programmation

Marsh Posté le 06-12-2015 à 18:36:08    

Salut'
 
Je lis un fichier de 25000 lignes en faisant un  
while read ligne  
do  
   commande  
done < fichier
 
Je ne trouve pas cela super rapide, plus le fichier est gros plus c'est lent.
Existe il une façon plus optimale?
 
Merci

Reply

Marsh Posté le 06-12-2015 à 18:36:08   

Reply

Marsh Posté le 07-12-2015 à 09:57:42    

Pas la peine de faire 2 sujets là-dessus. Merci d'en fermer un.


---------------
Astres, outil de help-desk GPL : http://sourceforge.net/projects/astres, ICARE, gestion de conf : http://sourceforge.net/projects/icare, Outil Planeta Calandreta : https://framalibre.org/content/planeta-calandreta
Reply

Marsh Posté le 07-12-2015 à 18:15:28    

Salut,
 
à titre perso, j'ai eu le cas d'un gros fichier à lire  pour recodifier certaines lignes, je suis vite passé sur base de données => temps de traitement quasi instantané.
 
après ça dépend de ce que tu as à faire

Reply

Marsh Posté le 08-12-2015 à 10:14:27    

Pas forcément besoin d'une BD. Des outils comme Sed ou Awk, voire du Perl, PHP, Python... peuvent être très efficaces bien employés. Du genre, si le traitement peut se faire ligne par ligne, pas besoin de charger en 1 coup tout le fichier en mémoire; une lecture séquentielle par petits blocs fera l'affaire ;)


---------------
Astres, outil de help-desk GPL : http://sourceforge.net/projects/astres, ICARE, gestion de conf : http://sourceforge.net/projects/icare, Outil Planeta Calandreta : https://framalibre.org/content/planeta-calandreta
Reply

Marsh Posté le 08-12-2015 à 11:54:27    

C'est d'ailleurs pas pour rien que pendant longtemps, les traitements de fichiers d'ADN (donc gros fichiers textuels ou BDD) ont été faits en Perl.
 
A+,


---------------
There's more than what can be linked! --    Iyashikei Anime Forever!    --  AngularJS c'est un framework d'engulé!  --
Reply

Marsh Posté le 08-12-2015 à 13:22:25    

Je l'ignorais, merci pour ma culture G (geek :D) :jap:


---------------
Astres, outil de help-desk GPL : http://sourceforge.net/projects/astres, ICARE, gestion de conf : http://sourceforge.net/projects/icare, Outil Planeta Calandreta : https://framalibre.org/content/planeta-calandreta
Reply

Sujets relatifs:

Leave a Replay

Make sure you enter the(*)required information where indicate.HTML code is not allowed