Encoder en divx ou autre sur plusieur pc en partageant la charge ...

Encoder en divx ou autre sur plusieur pc en partageant la charge ... - Video & Son

Marsh Posté le 09-05-2002 à 16:27:02    

Serait t-il possible d'encoder en divx ou autre format des DVD ou autres medias sur plusieurs pc en partageant la charge ?
 
Cela permetrai de faire des encodages ultra rapide ...
 
Dans la théorie c'est facile nimporte qui ayant plusiseur pc peuvent le faire, mais le problème revient surtout a pouvoir automatiser tout ca, et a partager equitablement les charges ( celon la puissance de chaque pc )
 
Voila si quelqun connait un moyen de réaliser ce dont je parle merci de nous en faire part ...
 
Si vous etes bon en prog et que vous sentez motiver pour nous pondre un programme de ce type gooooooooooooo !!!!
 
THX


---------------
Tu sais, faut pas avoir peur... Google est ton ami. :)
Reply

Marsh Posté le 09-05-2002 à 16:27:02   

Reply

Marsh Posté le 09-05-2002 à 16:34:53    

le hic C la taille des fichiers
 
à moins de faire faire la compression d'un vob / machine et après de faire le multiplexage

Reply

Marsh Posté le 09-05-2002 à 16:38:54    

Bien sur, ce que tu dis s'appelle du clustering.
 
C'est particulèrement utilisé sous linux.
 
Il faut prendre en compte la puissance de tes procs, le nombre de machines, la vitesse de ton réseau local. Une machine est chargée de distribuée le calcul des infos aux autres machines.
 
 
On peut faire des clusters (grappes) de plusieurs milliers de machines, cette architecture concurrence de plus en plus les supercalculateurs.

Reply

Marsh Posté le 09-05-2002 à 16:41:31    

c'est super mais bon je voudrait savoir comment faire


---------------
Tu sais, faut pas avoir peur... Google est ton ami. :)
Reply

Marsh Posté le 09-05-2002 à 16:51:34    

J'ai jamais testé donc à partir des infos qe je t'ai filé, tu fais une recherche sur google du style clustering + linux

Reply

Marsh Posté le 09-05-2002 à 16:55:45    

Y'a deja eu des travaux sur le sujet me ya des problemes.
 
- pour encoder une frame, tu as en general besoin de celle qiu precede. Donc un meme ordi doit encoder une serie de frame à partir d'une keyframe .Seulement les keyframes ne sont pas connues à l'avance d'ou problemes.
 
- pour remedier à cela, soit tu fais une premiere passe pour placer les keyframes mais ca doit se faire sur un seul ordi, soit tu envoie separement à chaque ordi la frame à encoder avec la frame precedente, mais la la bande passante du reseau te fait perdre tout l'avantage de la distribution.


---------------
Au royaume des sourds, les borgnes sont sourds.
Reply

Marsh Posté le 09-05-2002 à 16:58:41    

C'est vrai que je sias pas m'expliquer. Vas donc voir là : http://www.xvid.org/forum/viewtopi [...] forum=2&20


---------------
Au royaume des sourds, les borgnes sont sourds.
Reply

Marsh Posté le 09-05-2002 à 17:21:19    

je vais encore soulever un pb mais il faudra en tenir compte lors du developpement:
 
lors de l'encodage en 2 passes, il faut d'abord savoir comment repartir les quantités données en fonction des differents bitrates tout au long du film
 
je m'explique:
si on reparti le calcul d'un film de 2h sur 2 machines, chaque machine calculera 1h du film, OK?
si la premiere moitier du film il se passe rien, l'encodage produira un fichier de 200Mo sur 700Mo alors que la deuxieme moitier produira un fichier de 500Mo d'ou désequilibre et saturationb du réseau.
 
par contre, je crois que sur un réseau à 100MBit/s (donc 12Mo/s ce que j'ai chez moi) on peux largement faire passer plusieurs flux DVD (à 1500Ko/s) vers plusieurs machines, qui plus est si on encode à 10-12fps au lieu de 25 pour le film
 
voila, sinon, ca m'intérresse bien, j'ai 4 PC en réseau et aucun dépasse 800MHz (donc 7fps chez moi max) si je pouvais additionner le tout, ca me ferais 2,4GHz.
ce projet en fait n'interresse pas les personnes qui n'ont qu'un ordi ou qui rippent 10 DVD sur 10 PC séparrément.

Reply

Marsh Posté le 09-05-2002 à 17:24:09    

ça m'interesse  les méthode de compression par "cluster" ( groupe de pcs  )   UP!!!

Reply

Marsh Posté le 09-05-2002 à 18:07:43    

R3g a écrit a écrit :

Y'a deja eu des travaux sur le sujet me ya des problemes.
 
- pour encoder une frame, tu as en general besoin de celle qiu precede. Donc un meme ordi doit encoder une serie de frame à partir d'une keyframe .Seulement les keyframes ne sont pas connues à l'avance d'ou problemes.
 
- pour remedier à cela, soit tu fais une premiere passe pour placer les keyframes mais ca doit se faire sur un seul ordi, soit tu envoie separement à chaque ordi la frame à encoder avec la frame precedente, mais la la bande passante du reseau te fait perdre tout l'avantage de la distribution.  




j'ai compris ce ke tu as dis en gros c'est pas posible c'est ca ...
La seul solution résdrai dans la compression de chaque vob par un pc different ou plusieur vob par pc en partageant mais la ce n'est plus du clustering ...


---------------
Tu sais, faut pas avoir peur... Google est ton ami. :)
Reply

Marsh Posté le 09-05-2002 à 18:07:43   

Reply

Marsh Posté le 09-05-2002 à 18:47:45    

la seule solution c linux  ( voir plusieur pcs autour d'une station SUN )

Reply

Marsh Posté le 09-05-2002 à 19:03:39    

tonyjub a écrit a écrit :

la seule solution c linux  ( voir plusieur pcs autour d'une station SUN )  



developpe


---------------
Tu sais, faut pas avoir peur... Google est ton ami. :)
Reply

Marsh Posté le 09-05-2002 à 19:20:17    

chui pas un linuxien mais je suis certain rien qu'en cherchant bien sur le net tu trouvera des gens qui ont réussi a faire ce que tu veux

Reply

Marsh Posté le 09-05-2002 à 20:17:23    

"transcode" sous linux fonctionne en mode clustering...
voir http://www.exit1.org/dvdrip/doc/cluster.cipp pour une gui de "transcode" qui s'appelle dvd::rip...

 

[jfdsdjhfuetppo]--Message édité par jotenakis le 09-05-2002 à 20:19:53--[/jfdsdjhfuetppo]

Reply

Marsh Posté le 09-05-2002 à 20:50:19    

jotenakis a écrit a écrit :

"transcode" sous linux fonctionne en mode clustering...
voir http://www.exit1.org/dvdrip/doc/cluster.cipp pour une gui de "transcode" qui s'appelle dvd::rip...  
 
 




c'est genial ca fo ke jessaye de comprendre


---------------
Tu sais, faut pas avoir peur... Google est ton ami. :)
Reply

Marsh Posté le 09-05-2002 à 20:52:40    

jotenakis a écrit a écrit :

"transcode" sous linux fonctionne en mode clustering...
voir http://www.exit1.org/dvdrip/doc/cluster.cipp pour une gui de "transcode" qui s'appelle dvd::rip...  
 
 




 
j'avais raison fallait aller chercher bien loin  :hello:   jvais jeter un coup d'oeil

Reply

Marsh Posté le 09-05-2002 à 20:54:54    

ça vous interesserai pas de faire un bon topic la dessus ?  ( comment faire un cluster sous linux et comment utiliser transcode ... )  à suivre ...

Reply

Marsh Posté le 09-05-2002 à 21:38:20    

tonyjub a écrit a écrit :

ça vous interesserai pas de faire un bon topic la dessus ?  ( comment faire un cluster sous linux et comment utiliser transcode ... )  à suivre ...  



ouai faudrait le faire je pense que cele interessera beaucoup de monde si les performances sont au RDV


---------------
Tu sais, faut pas avoir peur... Google est ton ami. :)
Reply

Marsh Posté le 09-05-2002 à 23:24:07    

c'est clair que le clustering est un sujet intéressant mais faut se mettre à linux. :)

Reply

Marsh Posté le 09-05-2002 à 23:26:06    

ba c'est pas grave il y a beaucoup de monde qui utilise linux ..


---------------
Tu sais, faut pas avoir peur... Google est ton ami. :)
Reply

Marsh Posté le 10-05-2002 à 01:29:08    

tient un chtit up si qq est capable de nous pondre une tuto ...


---------------
Tu sais, faut pas avoir peur... Google est ton ami. :)
Reply

Marsh Posté le 10-05-2002 à 04:17:36    

;)

Reply

Marsh Posté le 10-05-2002 à 13:30:02    

pour avoir des infos sur le clustering il faut poster dans "os alternatif linux" du forum    je compte sur toi scott  :hello:

Reply

Marsh Posté le 10-05-2002 à 13:33:36    

ouai je vais faire un post laba ...


---------------
Tu sais, faut pas avoir peur... Google est ton ami. :)
Reply

Marsh Posté le 10-05-2002 à 13:35:07    

t'es un comique! :pt1cable:  
 va faire un cluster, on va rigoler, vu les branchements qu'il faut faire!!! :eek2:  
bon courage!!


---------------
* Le Gros Connard, youtubeur moto* *RIP Brains et Grojulius * Chignolement votre, le blog de la haine et de la rageance
Reply

Marsh Posté le 10-05-2002 à 14:40:33    

cguignol a écrit a écrit :

t'es un comique! :pt1cable:  
 va faire un cluster, on va rigoler, vu les branchements qu'il faut faire!!! :eek2:  
bon courage!!  




 
 :heink:  
Je vois pas ce qui parait difficile ds le câblage, c'est tout con, pour une typologie bus, t'as un câble qui sort de chaque PC et qui va se connecter à un hub. Tu trouves ca compliqué ?  
 
On parle ici de petits clusters, on va pas connecter des centaines de machines mais même ds ce cas, t'as des baies de brassages qui te permettent d'organiser tous tes câbles ... .

Reply

Marsh Posté le 10-05-2002 à 15:45:38    

la difficulté du clustering est software et pas hardware ( y'a juste besoin que les pc soit en réseau )   sinon son principe est simple  , enfin .. :hello:

Reply

Marsh Posté le 10-05-2002 à 16:33:43    

j'ai une amie qui en a fait un pour ft !!
je me renseigne mais je ne garantie rien !

Reply

Marsh Posté le 10-05-2002 à 16:53:01    

ok merci bc  :hello:

Reply

Marsh Posté le 10-05-2002 à 18:33:13    

Vidomi (www.vidomi.com) gère l'encodage en reseau si ma memoire est bonne mais je n'ai jamais eut l'occasion de tester.

Reply

Marsh Posté le 10-05-2002 à 18:45:01    

je vais tester histoire de voir leur emulation clustering sur windows

Reply

Marsh Posté le 10-05-2002 à 18:49:48    

Reply

Marsh Posté le 10-05-2002 à 19:36:26    

c assez simple   à vs de jouer  :hello:

Reply

Marsh Posté le 10-05-2002 à 21:04:41    

vidomi c nul... le landscape de jc doit faire qqchose bien mais bon... j y vois pas d interet... sur un athlon 700 on est a 12 fps (en utilisant un script avisynth qui en supporte pas le bi-cpu :( ).
 
.. donc l investissement que vous faites en cable, en hub et en temps faites le dans une carte mere et un cpu....  
 
( pour info en sbc mes perfs sont les suivantes : 30 fps sur XP 1800 / 34 sur p4 northwood 1.8 ... l utilisation d un codec + rapide type divx 4 /5 doit ameliorer encore ces chiffres ....)
 
 je ne veux pas paraitre rabat-joie mais ca vaut pas le coup avec les vitesses atteinte par un proc a meme pas 1000 balles....  
 
le defi technique est interessant... mais pour la perf passez votre chemin

Reply

Marsh Posté le 10-05-2002 à 21:33:10    

Bon je viens de tester vidomi, et ça ne partage pas du tout le calcul d'un encodage sur plusieurs PC ... Ses fonctionnalités réseau, c'est juste de répartir les différents jobs d'encodage que l'on a prévu de faire.
 
Par exemple, on crée 3 projets d'encodage, et il les répartit automatiquement sur 3 PC. Par contre si on ne veut encoder qu'un seul film, ça ne sert à rien, il ne sera pas partagé sur les 3 PC.

Reply

Marsh Posté le 11-05-2002 à 12:07:11    

up

Reply

Marsh Posté le 11-05-2002 à 12:13:45    

Vidomi est capable de faire cela...

Reply

Marsh Posté le 14-05-2002 à 21:03:16    

up

Reply

Marsh Posté le 14-05-2002 à 21:25:41    

Sujet deja discuter y a longtemps...  :sarcastic:  
 
 
encore un bouton recherche qui n'a pas ete cliqué


---------------
Oui aux titres de topic clair et precis...
Reply

Marsh Posté le 15-05-2002 à 19:24:21    

ou ?

Reply

Marsh Posté le    

Reply

Sujets relatifs:

Leave a Replay

Make sure you enter the(*)required information where indicate.HTML code is not allowed