スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

Hadoopインストール その3

ようやくサンプルの実行が成功!

 ・/opt/hadoop/hadoop-0.20.2から

  入力ファイルを分散ファイルシステムにコピー
  $ bin/hadoop fs -put conf input  ←このコマンドの理由が?

  あらかじめ用意されているサンプルを実行
  $ bin/hadoop jar hadoop-0.20.2-examples.jar grep input output 'dfs[a-z.]+'

  でも実行エラー
   java.net.UnknownHostException: unknown host: master
  
   masterをhostsに追加することで解決

  またまた実行エラー
  java.net.ConnectException: Call to master/192.168.1.9:54311 failed on connection exception:    
  java.net.ConnectException: 接続を拒否されました
  ????

  hdfs-site.xmlのconfiguration->property->valueが2になっていた為、1に変更
  レプリケーション数は1の為 1が正しい


で実行、何か無事に実行できたぽい
[hadoop@linux hadoop-0.20.2]$ bin/hadoop jar hadoop-0.20.2-examples.jar grep input output 'dfs[a-z.]+'
12/04/01 19:14:57 INFO mapred.FileInputFormat: Total input paths to process : 13
12/04/01 19:14:58 INFO mapred.JobClient: Running job: job_201204011910_0001
12/04/01 19:14:59 INFO mapred.JobClient: map 0% reduce 0%
12/04/01 19:15:11 INFO mapred.JobClient: map 15% reduce 0%
12/04/01 19:15:20 INFO mapred.JobClient: map 30% reduce 0%
12/04/01 19:15:26 INFO mapred.JobClient: map 46% reduce 0%
12/04/01 19:15:29 INFO mapred.JobClient: map 46% reduce 10%
12/04/01 19:15:32 INFO mapred.JobClient: map 61% reduce 10%
12/04/01 19:15:38 INFO mapred.JobClient: map 76% reduce 15%
12/04/01 19:15:44 INFO mapred.JobClient: map 92% reduce 25%
12/04/01 19:15:47 INFO mapred.JobClient: map 100% reduce 25%
12/04/01 19:15:53 INFO mapred.JobClient: map 100% reduce 30%
12/04/01 19:15:59 INFO mapred.JobClient: map 100% reduce 100%
12/04/01 19:16:01 INFO mapred.JobClient: Job complete: job_201204011910_0001
12/04/01 19:16:01 INFO mapred.JobClient: Counters: 18
12/04/01 19:16:01 INFO mapred.JobClient: Job Counters
12/04/01 19:16:01 INFO mapred.JobClient: Launched reduce tasks=1
12/04/01 19:16:01 INFO mapred.JobClient: Launched map tasks=13
12/04/01 19:16:01 INFO mapred.JobClient: Data-local map tasks=13
12/04/01 19:16:01 INFO mapred.JobClient: FileSystemCounters
12/04/01 19:16:01 INFO mapred.JobClient: FILE_BYTES_READ=158
12/04/01 19:16:01 INFO mapred.JobClient: HDFS_BYTES_READ=18375
12/04/01 19:16:01 INFO mapred.JobClient: FILE_BYTES_WRITTEN=804
12/04/01 19:16:01 INFO mapred.JobClient: HDFS_BYTES_WRITTEN=280
12/04/01 19:16:01 INFO mapred.JobClient: Map-Reduce Framework
12/04/01 19:16:01 INFO mapred.JobClient: Reduce input groups=7
12/04/01 19:16:01 INFO mapred.JobClient: Combine output records=7
12/04/01 19:16:01 INFO mapred.JobClient: Map input records=554
12/04/01 19:16:01 INFO mapred.JobClient: Reduce shuffle bytes=230
12/04/01 19:16:01 INFO mapred.JobClient: Reduce output records=7
12/04/01 19:16:01 INFO mapred.JobClient: Spilled Records=14
12/04/01 19:16:01 INFO mapred.JobClient: Map output bytes=193
12/04/01 19:16:01 INFO mapred.JobClient: Map input bytes=18375
12/04/01 19:16:01 INFO mapred.JobClient: Combine input records=10
12/04/01 19:16:01 INFO mapred.JobClient: Map output records=10
12/04/01 19:16:01 INFO mapred.JobClient: Reduce input records=7
12/04/01 19:16:01 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
12/04/01 19:16:01 INFO mapred.FileInputFormat: Total input paths to process : 1
12/04/01 19:16:01 INFO mapred.JobClient: Running job: job_201204011910_0002
12/04/01 19:16:02 INFO mapred.JobClient: map 0% reduce 0%
12/04/01 19:16:12 INFO mapred.JobClient: map 100% reduce 0%
12/04/01 19:16:24 INFO mapred.JobClient: map 100% reduce 100%
12/04/01 19:16:26 INFO mapred.JobClient: Job complete: job_201204011910_0002
12/04/01 19:16:26 INFO mapred.JobClient: Counters: 18
12/04/01 19:16:26 INFO mapred.JobClient: Job Counters
12/04/01 19:16:26 INFO mapred.JobClient: Launched reduce tasks=1
12/04/01 19:16:26 INFO mapred.JobClient: Launched map tasks=1
12/04/01 19:16:26 INFO mapred.JobClient: Data-local map tasks=1
12/04/01 19:16:26 INFO mapred.JobClient: FileSystemCounters
12/04/01 19:16:26 INFO mapred.JobClient: FILE_BYTES_READ=158
12/04/01 19:16:26 INFO mapred.JobClient: HDFS_BYTES_READ=280
12/04/01 19:16:26 INFO mapred.JobClient: FILE_BYTES_WRITTEN=348
12/04/01 19:16:26 INFO mapred.JobClient: HDFS_BYTES_WRITTEN=96
12/04/01 19:16:26 INFO mapred.JobClient: Map-Reduce Framework
12/04/01 19:16:26 INFO mapred.JobClient: Reduce input groups=3
12/04/01 19:16:26 INFO mapred.JobClient: Combine output records=0
12/04/01 19:16:26 INFO mapred.JobClient: Map input records=7
12/04/01 19:16:26 INFO mapred.JobClient: Reduce shuffle bytes=0
12/04/01 19:16:26 INFO mapred.JobClient: Reduce output records=7
12/04/01 19:16:26 INFO mapred.JobClient: Spilled Records=14
12/04/01 19:16:26 INFO mapred.JobClient: Map output bytes=138
12/04/01 19:16:26 INFO mapred.JobClient: Map input bytes=194
12/04/01 19:16:26 INFO mapred.JobClient: Combine input records=0
12/04/01 19:16:26 INFO mapred.JobClient: Map output records=7
12/04/01 19:16:26 INFO mapred.JobClient: Reduce input records=7

でも出力確認は変化無し
bin/hadoop fs -cat output/*

何かまだ手順がたりない??

実行時、以下U}RLでHadoopの実行状態が確認でけた
http://192.168.1.9:50030/
http://192.168.1.9:50070/


スポンサーサイト

Hadoopインストール その2

 引き続きインストールにチャレンジ 

 /usr/local/hadoop/conf/core-site.xml
 /usr/local/hadoop/conf/hdfs-site.xml
 /usr/local/hadoop/conf/mapred-site.xml の設定を行い
擬似分散モードを設定
  ここを設定することでモードの変更ができるとのこと

 HDFSの初期化
 $ hadoop namenode -formatを行ったが

 以下エラー発生
 
 SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: ○○.○○: ○○.○○:
 名前またはサービスが不明です

 DNSに登録が必要らしい
 DNSがない場合、hostsに設定実施

 hostsに
 192.168.1.9 ○○.○○ をやると無事成功!
  ※DHCPの場合、IPが変更になる可能性があるけどそのばあいどうするんだろう?

 $ start-all.sh で以下が起動することを確認
 「starting namenode」
 「starting datanode」
 「starting secondarynamenode」
 「starting jobtracker」
 「starting tasktracker」

 でもpsコマンドはjavaプロセスが4つあと1個はどこ?

 終了は
 $ stop-all.sh 

 何も動かせないが、立ち上げ終了ができること確認!!




Hadoopインストール

今回の目標であるHadoopのインストール
 Hadoopには、3モードある
   スタンドアローン、擬似分散モード、完全分散モード
 今回は、疑似体験したいので擬似分散モードを目標

 まずは準備として以下を実施
  ①hadoopユーザの作成
  ②/opt/hadoopの作成
 
 hadoopは、サーバ間の通信をssh通信で実施するらしい
 ただしパスフレーズ無しでのログインする設定でないとダメらしい(パスワード無し?)
 パスワードなしであるが、秘密鍵をもってないとログインできない為、
 同様のセキュリティが保てるとのこと

 パスフレーズ無しでのログイン設定
  ①hadoopユーザでログイン
   /home/hadoopの場所のままで。。
  ②ssh-keygen -t dsa
save the keyは、/home/hadoop 何も入力せずEnterでOK
   passphraseは、なし 何も入力せずEnterでOK
  ③ls -l ./.sshで確認
   /home/hadoop/.sshに「id_dsa」:秘密鍵「id_dsa.pub」:公開鍵が作成される
  ④authorized_keysファイルを作成
   cat ./.ssh/id_dsa.pub >> ./.ssh/authorized_keys
chmod 600 ./.ssh/authorized_keys ←自分以外は書き込み不可にする
  ⑤ssh localhostでパスワードなしでログインできることが確認できる

   authorized_keysを他のサーバに配布するとサーバ間でパスフレーズ無しssh通信が可能とのこと





CentOS設定②

NTPの設定
 NTP設定を仕様としたら名前解決ができないとエラー
 DHCPにするとDNSの設定が自分自身になるのが原因みたい

 いろいろ設定試したがDNS設定がうまくいかない
 DefaltGateWayの設定がうまくいっていないように気づく。。。

 2,3日格闘後・・・
  setupコマンドでネットワークを再設定後
  /etc/rc.d/init.d/network restartコマンドを実行で解決
  各種設定ファイルの構成がだめだったみたい。。。。(DHCPの設定が中途半端だった?)

  DNSが繋がったので時刻同期しようと思ったが
  ntpdateがうまく動かない。。
  これはエラーメッセージ内容で解決
  the NTP socket is in use, exiting
  ntpサーバを動かしていたことが原因
  サービスのストップとアンインストールを実施後
  ntpdate ntp.nict.jp で時刻同期完了




CentOS設定①

インストールしてしばらくほっておいたCentOS
久しぶりに起動したらパスワードがわからない

しかたがないのでもう一回再インストール
今回は前回のDVDがあるので楽勝でセットアップ!!

ネットワークの設定と更新ファイル適用(yumコマンド?)を実施

作業で困ったこと、覚えたこと
 ①ネットワークに繋がらん
  DHCPで繋げたかったけどDHCPがインストールされていない・・
  DHCPのインストールはyumで外部に繋げる必要あり?
  手動でネットワーク設定
  /etc/sysconfig/network-scripts/ifcfg-eth0を変更
  IP,サブネット、ゲートウェイ、DNS全てを設定することで接続できた
  これでyumコマンドが使用可能に

 ②システムの最適化(バッチ当て?)は yumコマンド
  yum -y update
  インストールパッケージの更新ファイルを全て適用してくれる
  ただ最初のアップデートながすぎーー 367パッケージの更新って・・1hぐらいかかる?







上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。