Instalação da Distribuição Yahoo! do Hadoop

Preparação

Instale os pré-requisitos: ssh (servidor e cliente), rsync, java 1.6.x, ant. Faça o download da distribuição Yahoo do Hadoop e extraia em, por exemplo, /home/hadoop/yahoo, de maneira que ele contenha o subdiretório bin.

Instalação

$ cd /home/hadoop/yahoo
$ ant
$ ant examples

Modo Pseudo-Distribuído

Processos diferentes podem simular diferentes nós em um só computador. Muito útil para desenvolver aplicações. Siga os passos da documentação da Apache.

Configure seu JAVA_HOME em conf/hadoop-env.sh (echo $JAVA_HOME pode te ajudar).

Inicialização

Apenas uma única vez, execute:

$ bin/hadoop namenode -format

Sempre que for usar o Hadoop, inicie-o com:

$ bin/start-all.sh

Teste

$ echo 'Olá, mundo! Tchau, mundo!' >/tmp/wordcount.txt
$ cd /home/hadoop/yahoo
$ bin/hadoop dfs -put /tmp/wordcount.txt /user/seu_login/
$ bin/hadoop jar build/hadoop-*-examples.jar wordcount wordcount.txt output
$ bin/hadoop dfs -cat output/*
Olá,    1
Tchau,  1
mundo!  2
cat: Source must be a file.

Finalizando

bin/stop-all.sh