[debutant] Probleme d'allocation memoire pour de grands tableaux

Probleme d'allocation memoire pour de grands tableaux [debutant] - C - Programmation

Marsh Posté le 09-08-2004 à 08:13:08    

Salut,
 
Mon probleme est le suivant: je dois pouvoir manipuler des tableaux de plusieurs dimensions (5 au max) contenant un grand nombre de reels longs (plusieurs dizaines de millions :pt1cable: ).
Pour cela, et en m'inspirant allegrement de numerical species, j'ai ecrit une routine me permettant d'allouer de la memoire et d'initialiser les tableaux.
Quand je teste le code avec des tableaux simples, tout marche impec, que ce soit au moment de l'allocation memoire ou des manipulations ulterieures.
Par contre, quand je dois allouer de la memoire pour disons 7 tableaux de 35 millions de reels chacun, j'ai le message d'erreur "allocation failure..." (voir code cidessous)
 
Questions: Combien de place prend un reel long?
           Est-ce lie a la memoire vive ou a une limitation de compilateur?
 
Y a t'il des solutions envisageables?
merci :hello:  
 
 
Le code d'allocation est poste ci dessous:

Code :
  1. #include <math.h>
  2. #include <stdio.h>
  3. #include <stddef.h>
  4. #include <stdlib.h>
  5. #include <string.h>
  7. #define NR_END 1
  8. #define FREE_ARG char*
  10. double *****f5tensor(long n1l,long n1h,long n2l,long n2h,long n3l,long n3h,long n4l,long n4h,long n5l,long n5h)
  11. //allocate a double 5Dtensor with range t[n1l,n1h][n2l,n2h][n3l,n3h][n4l,n4h][n5l,n5h]
  12. {
  13. long i,j,k,l,n1=n1h-n1l+1,n2=n2h-n2l+1,n3=n3h-n3l+1,n4=n4h-n4l+1,n5=n5h-n5l+1;
  14. double *****t;
  16. //allocate pointers to pointers to pointers to pointers (!!) to rows
  17. t=(double *****)malloc((size_t)((n1+NR_END)*sizeof(double ****)));
  18. if(!t) rterror("allocation failure 1 in f5tensor()","f5tensor.txt" );
  19. t +=NR_END;
  20. t -=n1l;
  21. //allocate pointers to pointers to pointers to rows
  22. t[n1l]=(double ****)malloc((size_t)((n1*n2+NR_END)*sizeof(double ***)));
  23. if(!t[n1l]) rterror("allocation failure 2 in f5tensor()","f5tensor.txt" );
  24. t[n1l] +=NR_END;
  25. t[n1l] -=n2l;
  26. //allocate pointers to pointers to rows
  27. t[n1l][n2l]=(double ***) malloc((size_t)((n1*n2*n3+NR_END)*sizeof(double **)));
  28. if (!t[n1l][n2l]) rterror("allocation failure 3 in f5tensor()","f5tensor.txt" );
  29. t[n1l][n2l] += NR_END;
  30. t[n1l][n2l] -= n3l;
  31. /* allocate pointers to rows and set pointers to them */
  32. t[n1l][n2l][n3l]=(double **) malloc((size_t)((n1*n2*n3*n4+NR_END)*sizeof(double*)));
  33. if (!t[n1l][n2l][n3l]) rterror("allocation failure 4 in f5tensor()","f5tensor.txt" );
  34. t[n1l][n2l][n3l] += NR_END;
  35. t[n1l][n2l][n3l] -= n4l;
  36. /* allocate rows and set pointers to them */
  37. t[n1l][n2l][n3l][n4l]=(double *) malloc((size_t)((n1*n2*n3*n4*n5+NR_END)*sizeof(double)));
  38. if (!t[n1l][n2l][n3l][n4l]) rterror("allocation failure 5 in f5tensor()","f5tensor.txt" );
  39. t[n1l][n2l][n3l][n4l] += NR_END;
  40. t[n1l][n2l][n3l][n4l] -= n5l;

Reply

Marsh Posté le 09-08-2004 à 08:13:08   

Reply

Marsh Posté le 09-08-2004 à 08:34:23    

bon allez, on va dire que tu es sous x86
 
sizeof(long) == sizeof(pointer) == 4 (octets)
sizeof(double) == 8 (octets)
 
donc déjà, tu peux voir que tes poineurs occupent un place non négligeable.
 
cela dit 35millions, c'est pas étonnant, t'es complètement tarré.
1) utilise des float
2) utilise des matrices creuses (ou exploite tout autre propriété de ton espace 5d)
3) je comprends pas ton allocation, y a pas une seule boucle, ça me parait pas correct. à chaque fois, tu n'alloue s que 1 élément parmi n. commence par savoir correctement allouer une matrice 2D (et sans ces NR_END monstrueux)

Reply

Marsh Posté le 09-08-2004 à 08:40:36    

Pour moi c'est lié à la mémoire vive, et puis je ne sais pas si tu te rends compte de ce que ça fait 7*35 millions de réels, mais c'est clair que ça doit exploser la mémoire vive ça fait déjà 245 millions, et un réel ne fait pas un seul octet, c'est 4 et 8 pour le double, donc là ça fait pas loin de 2 Go de mémoire je pense ...

Reply

Marsh Posté le 09-08-2004 à 08:48:34    

J'ai oublie de preciser que j'ai pas poste le code en entier desole
Enfin bon ca marche avec des petits tableaux.
Une matrice creuse c'est quoi?
Je vais passer tout ca en float
merci :jap:  
 
 
La suite du code pour information:
 

Code :
  1. for(l=n4l+1;l<=n4h;l++) t[n1l][n2l][n3l][l]=t[n1l][n2l][n3l][l-1]+n5;
  2. for(k=n3l+1;k<=n3h;k++){
  3.  t[n1l][n2l][k]=t[n1l][n2l][k-1]+n4;
  4.  t[n1l][n2l][k][n4l]=t[n1l][n2l][k-1][n4l]+n4*n5;
  5.  for(l=n4l+1;l<=n4h;l++) t[n1l][n2l][k][l]= t[n1l][n2l][k][l-1]+n5;
  6. }
  7. for(j=n2l+1;j<=n2h;j++){
  8.  t[n1l][j]=t[n1l][j-1]+n3;
  9.  t[n1l][j][n3l]=t[n1l][j-1][n3l]+n3*n4;
  10.  t[n1l][j][n3l][n4l]=t[n1l][j-1][n3l][n4l]+n3*n4*n5;
  11.  for(k=n3l+1;k<=n3h;k++){
  12.   t[n1l][j][k]= t[n1l][j][k-1]+n4;
  13.   t[n1l][j][k][n4l]=t[n1l][j][k-1][n4l]+n4*n5;
  14.   for(l=n4l+1;l<=n4h;l++){
  15.    t[n1l][j][k][l]=t[n1l][j][k][l-1]+n5;
  16.   }
  17.  for(l=n4l+1;l<=n4h;l++) t[n1l][j][n3l][l]=t[n1l][j][n3l][l-1]+n5;
  18.  }
  19. }
  20. for(i=n1l+1;i<=n1h;i++){
  21.  t[i]=t[i-1]+n2;
  22.  t[i][n2l]=t[i-1][n2l]+n2*n3;
  23.  t[i][n2l][n3l]=t[i-1][n2l][n3l]+n2*n3*n4;
  24.  t[i][n2l][n3l][n4l]=t[i-1][n2l][n3l][n4l]+n2*n3*n4*n5;
  25.  for(j=n2l+1;j<=n2h;j++){
  26.   t[i][j]=t[i][j-1]+n3;
  27.   t[i][j][n3l]=t[i][j-1][n3l]+n3*n4;
  28.   t[i][j][n3l][n4l]=t[i][j-1][n3l][n4l]+n3*n4*n5;
  29.   for(k=n3l+1;k<=n3h;k++){
  30.    t[i][j][k]=t[i][j][k-1]+n4;
  31.    t[i][j][k][n4l]=t[i][j][k-1][n4l]+n4*n5;
  32.    for(l=n4l+1;l<=n4h;l++) t[i][j][k][l]=t[i][j][k][l-1]+n5;
  33.   for(l=n4l+1;l<=n4h;l++) t[i][j][n3l][l]=t[i][j][n3l][l-1]+n5;
  34.   }
  35.  }
  36.  for(k=n3l+1;k<=n3h;k++){
  37.      t[i][n2l][k]=t[i][n2l][k-1]+n4;
  38.      t[i][n2l][k][n4l]=t[i][n2l][k-1][n4l]+n4*n5;
  39.   for(l=n4l+1;l<=n4h;l++) t[i][n2l][k][l]=t[i][n2l][k][l-1]+n5;
  40.  }
  41.  for(l=n4l+1;l<=n4h;l++) t[i][n2l][n3l][l]=t[i][n2l][n3l][l-1]+n5;
  42. }
  43. return t;

Reply

Marsh Posté le 09-08-2004 à 09:44:29    

ben ça n'on plus c'est pas bon, tu vas segfaulter à coup sur. ton allocation est mauvaise.

Reply

Marsh Posté le 10-08-2004 à 23:16:30    

Stoffinator a écrit :

J'ai oublie de preciser que j'ai pas poste le code en entier desole
Enfin bon ca marche avec des petits tableaux.
Une matrice creuse c'est quoi?
Je vais passer tout ca en float
merci :jap:  


 
Je te préviens tout de suite, tu vas au-devant de grosses difficultés.
Une matrice creuse est une matrice dont la majorité des éléments sont nuls. Ce que te suggère Taz, c'est d'employer des méthodes de stockage qui consistent à n'allouer que l'espace nécessaire aux éléments non nuls. Autrement dit, c'est pas simple, mais vu ton problème, tu n'as pas le choix. Les algorithmes seront forcément compliqués par cette contrainte d'espace. De toute façon, il n'est absolument pas question de faire le moindre calcul en RAM sur des centaines de millions de float dont 95 à 99% sont vraisemblablement nuls.
Donc ce n'est pas la peine de continuer ainsi, les algos de Numerical Recipes ne t'aideront pas. Il te faut commencer par te documenter un maximum sur les méthodes numériques avancées en algèbre et les librairies existantes (BLAS, LAPACK, etc), parce que ce genre d'algos, c'est plutôt l'affaire de spécialistes. Chap. 2.7 "Sparse linear systems" dans Numerical Recipes.


Message édité par el muchacho le 10-08-2004 à 23:19:49

---------------
Les aéroports où il fait bon attendre, voila un topic qu'il est bien
Reply

Marsh Posté le 12-08-2004 à 09:54:36    

Merci de ta reponse.
La j'ai tout passe en float et ca passe.  
Dans les tableaux que j'utilise, c'est plutot 99% des resultats qui sont pas nuls, et du plus, je ne fais aucune operation algebrique dessus.
En fait, je dois transferer les donnes calculees a l'aide d'un programme vers un autre logiciel qui doit utiliser ces donnees.
POur les transferer, je les ecris dans des fichiers qui contient donc les millions de nombres.
Ensuite le logociel reprend ces donnees pour s'en servir dans ces calculs.
voila koi.
 

Reply

Sujets relatifs:

Leave a Replay

Make sure you enter the(*)required information where indicate.HTML code is not allowed