[Cluster] Aide à l'instalation de Hadoop

Aide à l'instalation de Hadoop [Cluster] - Logiciels - Linux et OS Alternatifs

Marsh Posté le 06-03-2016 à 01:47:23    

:hello:

 

Souhaitant mettre en place un petit cluster (à base de SBC), j'ai lu deux-trois trucs sur le net et il semblerait que la solution la plus simple soit d'utiliser Hadoop.

 

Un petit coup de Qwant plus tard, me voici en train de lire ce tutoriel, mais évidemment comme tout nouveau venu dans l'univers manchot je bloque sur une étape :o

 

C'est celle de la configuration de hadoop-env.sh : je n'arrive pas à trouver le fichier, ni à utiliser les commandes pour le localiser.  [:etahos:1]

 

Infos utiles :

 

Hardware : Orange Pi PC (SoC Allwinner H3 (CPU quad-core ARMv7), 1GB RAM)
OS : Dietpi (basée sur Debian Jessie)
Version de java : 1.7.0_95
Version de Hadoop : 2.7.2

 


HALP :(


Message édité par Kyjja le 06-03-2016 à 01:53:07

---------------
HWBot | Conso GPU | Who's who PSU | Mes BD \o/ | GReads | MSpaint
Reply

Marsh Posté le 06-03-2016 à 01:47:23   

Reply

Marsh Posté le 07-03-2016 à 09:26:03    

Hello!
 
Pour trouver un fichier, tu as la commande find:
 
find <chemin> -name <nom_du_fichier>
 
Par exemple, si tu supposes que ton fichier est dans /usr:
 
find /usr -name hadoop-env.sh
 
Ou si tu ne sais pas du tout ou il est:  
find / -name hadoop-env.sh -local
 

Reply

Marsh Posté le 07-03-2016 à 13:46:35    

La dernière ligne ne marche pas, j'obtiens un

Code :
  1. find: unknown predicate `-local'


 
Par contre j'ai trouvé ce fichier (et d'autres que je cherchais) grâce à la première ligne. :jap:
 
Là j'en suis à chercher /conf/mapred-site.xml ... qui n'est donc pas dans /usr a priori.


---------------
HWBot | Conso GPU | Who's who PSU | Mes BD \o/ | GReads | MSpaint
Reply

Marsh Posté le 07-03-2016 à 14:30:00    

Kyjja a écrit :

La dernière ligne ne marche pas, j'obtiens un

Code :
  1. find: unknown predicate `-local'


 
Par contre j'ai trouvé ce fichier (et d'autres que je cherchais) grâce à la première ligne. :jap:
 
Là j'en suis à chercher /conf/mapred-site.xml ... qui n'est donc pas dans /usr a priori.


 
Oui apres ca depends de ton os, certains find ont plus d'options que d'autres  ;)  le -local limite la recherche aux disques locaux sur un SunOS (Solaris). J'ai pas de Linux sous la main...

Reply

Marsh Posté le 10-03-2016 à 18:10:37    

hello
 
sinon tu as locate <nom de ton fichier ou repertoire>
 


---------------
------------------------------------------
Reply

Marsh Posté le 11-03-2016 à 18:54:51    

Dietpi (qui est basé sur debian) connait pas locate :o
 
(au passage je suis de nouveau bloqué à hadoop-env.sh [:dawa].
 
Faut vraiment que je déniche un script qui m'auto-install cette merde.  [:dakans]

Message cité 1 fois
Message édité par Kyjja le 11-03-2016 à 18:58:11

---------------
HWBot | Conso GPU | Who's who PSU | Mes BD \o/ | GReads | MSpaint
Reply

Marsh Posté le 12-03-2016 à 17:44:47    

Kyjja a écrit :

Dietpi (qui est basé sur debian) connait pas locate :o
 
(au passage je suis de nouveau bloqué à hadoop-env.sh [:dawa].
 
Faut vraiment que je déniche un script qui m'auto-install cette merde.  [:dakans]


 
 
 
apt-get install locate :d


---------------
------------------------------------------
Reply

Marsh Posté le 12-03-2016 à 17:52:07    

Mais lolz, pourquoi c'est pas d'office dans les distros ça ? :o
 
Bon, de toute je tente d'utiliser un script de fainéant pour faire l'installation à ma place parce que j'en ai marre => https://github.com/zubayr/single_node_hadoop_cluster
 
Et là il me balance du permission denied en root, sisi.
 

Code :
  1. root@DietPi:~# ./single_node_hadoop_cluster.sh --help
  2. -bash: ./single_node_hadoop_cluster.sh: Permission denied
  3. root@DietPi:~# sudo ./single_node_hadoop_cluster.sh -i
  4. sudo: ./single_node_hadoop_cluster.sh: command not found


 
 [:dakans]


Message édité par Kyjja le 12-03-2016 à 17:52:54

---------------
HWBot | Conso GPU | Who's who PSU | Mes BD \o/ | GReads | MSpaint
Reply

Marsh Posté le 12-03-2016 à 18:18:27    

c'est normal, faut changer le mode du fichier, il ne doit pas etre executable :o


---------------
------------------------------------------
Reply

Marsh Posté le 12-03-2016 à 18:48:37    

Fichtre, et comment on "change un mode" de fichier ? :o
 
(ouais ouais, moi j'ai été élevé au biberon point'n click Windows, ok ? :o)


---------------
HWBot | Conso GPU | Who's who PSU | Mes BD \o/ | GReads | MSpaint
Reply

Marsh Posté le 12-03-2016 à 18:48:37   

Reply

Marsh Posté le 12-03-2016 à 21:23:28    

chmod 755 ton fichier :o


---------------
------------------------------------------
Reply

Marsh Posté le 12-03-2016 à 22:49:53    

Haaaaaa ok :o

 

Bon, ça marche (au passage j’apprends qu'il faut prendre le fichier sur raw.github... et pas sur github.com, sinon on se tape le code html :o), mais le script déconne (problème pour installer java apparemment).

 

Je note les étapes ici pour pas oublier  [:theorie des lavabos]

 
Code :
  1. root@DietPi:~# wget https://raw.githubusercontent.com/z [...] cluster.sh
  2. root@DietPi:~# chmod 755 single_node_hadoop_cluster.sh
  3. root@DietPi:~# sudo ./single_node_hadoop_cluster.sh -i


Message édité par Kyjja le 12-03-2016 à 22:59:46

---------------
HWBot | Conso GPU | Who's who PSU | Mes BD \o/ | GReads | MSpaint
Reply

Marsh Posté le 14-03-2016 à 11:35:11    

avant l'installation d'hadoop, il faut vérifier que tu es open-jdk (java quoi) d'installé sur ton serveur et aussi savoir ou il se trouve :)


---------------
------------------------------------------
Reply

Marsh Posté le 14-03-2016 à 12:30:29    

Le script tente d'installer sun-java, mais tourne que sur x86 il me semble, or je suis en ARM.
 
Faut que je le modifie pour qu'il aille automatiquement chercher open-jdk à la place.


---------------
HWBot | Conso GPU | Who's who PSU | Mes BD \o/ | GReads | MSpaint
Reply

Sujets relatifs:

Leave a Replay

Make sure you enter the(*)required information where indicate.HTML code is not allowed