2011-07-14から1日間の記事一覧

PerlでHadoopのMap-Reduceを書く

Hadoop Streaming - naoyaのはてなダイアリー 最初Rubyで書いたけど、なれないことで悩みたくなかったのでとりあえずPerlで 例示は、ありがちな「単語の数を数える」 サンプル 処理対象のデータ $ cat data aaa bbb ccc ddd eee fff ggg hhh aaa bbb ccc ddd…

hadoopをインストールする

とりあえず、サーバのクラスタ化など難しいことは考えずに一台のみで運用する ・hadoop インストールメモ - cuspos diary ・Apache Hadoop のインストール 追記:一旦この方法でうまく行ったのだが、hBaseと組み合わせた場合バージョンが合わずに後日やり直…

java SDKのバージョンを1.4から1.6にアップデートする

環境はCentOS。Javaはrpmで初期インストールされていた 1.Javaがインストールされているかどうかを確認 $ java -version java version "1.4.2" gcj (GCC) 3.4.6 20060404 (Red Hat 3.4.6-11) Copyright (C) 2006 Free Software Foundation, Inc. This is f…

phpの中からPerlのプログラムを記述して実行する

いったいなぜこう言うことになったのか、色々と混ぜるな危険な感じですがとりあえず。 まだ、簡単なプログラムでしか試してないので色々とエスケープとか足りてない気がするし、ステータスコードをみて強制終了するのではなくちゃんと結果を返したほうがいい…