perl

Apacheのcombined形式のアクセスログから必要なフィールドを抽出するためのPerlのワンライナー

Apacheのログをざっと見ていきたいときや、後で適当に使いまわせるような形式に変換したいとき用のPerlのワンライナー。

Fukuoka Perl Workshop #20

基本情報 項目 内容 *日程 11月26日 (土) 14:00〜18:30 *主催 Fukuoka.pm *会場 株式会社ヌーラボ *公式サイト http://fukuoka.pm.org/2011/11/fukuoka-perl-workshop-20.html *ハッシュタグ #fukuokapm 全体の印象 前日は、大分でコアラナイトと飲み会で結…

YAPC

会場 : 株式会社ヌーラボ 登壇者: @kiwanami 氏 まとめ : [2011-12-06-6] YAPC::ASIAについて ・おもてなしのある会 ・参加者層も幅広く、初心者からまで幅広い感じ ・既に広く使われているPerlの余裕、大人感の感じられる会 ・LTが特に面白かった @kiwanami…

YAPC

会場 : 株式会社ヌーラボ 登壇者: @debility 氏 まとめ : [2011-12-06-6] ・AnyEventは普通に使われている ・DevOps ・「ぼくのかんがえたさいきょうの~」が流行ってた 面白かったセッション ・Webアプリケーション高速化 ・Perlで構築された中規模サイトの…

fukuoka.pm.orgサイトを可愛くするよ - Fukuoka Perl Workshop #20

会場 : 株式会社ヌーラボ 登壇者: @d_tsuru 氏 まとめ : [2011-12-06-6] 現在のFukuoka.pmを可愛くしたい ・デザインを変えたい ・MarkDownで管理する ・テキストファイルベースにして、Gitで管理したい メインの人がこの日来てなかったようで、概要のみ紹介

その他みんなでがやがやと1 - Fukuoka Perl Workshop #20

会場 : 株式会社ヌーラボ まとめ : [2011-12-06-6] いろんなモノがあるけど、どれを使ってる? ORマッピングの話 Perlで何を使うか? ・DBI?Teng? ・ResultセットがないDBI::C? 色いろあるよ ・DBI ・CDB (使わないよ) ・DBC (使わないよ) ・DBIx ・DBIx:…

その他みんなでがやがやと2 - Fukuoka Perl Workshop #20

会場 : 株式会社ヌーラボ まとめ : [2011-12-06-6] YAPC::Asiaで興味のある話題 ・フレームワークの話 ・Dancer(RubyのSinatraみたいな感じ) ・地方の話が面白い ・福岡から参加した人が多く、福岡押しだった ・福岡は、コミュニティー間の横の繋がりが多…

PerlでHadoopのMap-Reduceを書く

Hadoop Streaming - naoyaのはてなダイアリー 最初Rubyで書いたけど、なれないことで悩みたくなかったのでとりあえずPerlで 例示は、ありがちな「単語の数を数える」 サンプル 処理対象のデータ $ cat data aaa bbb ccc ddd eee fff ggg hhh aaa bbb ccc ddd…

phpの中からPerlのプログラムを記述して実行する

いったいなぜこう言うことになったのか、色々と混ぜるな危険な感じですがとりあえず。 まだ、簡単なプログラムでしか試してないので色々とエスケープとか足りてない気がするし、ステータスコードをみて強制終了するのではなくちゃんと結果を返したほうがいい…

更新Pingを発行できるように修正する

先日、このブログがGoogleのブログ検索で引っかからないとぼやいたところ、藤野 氏より「いや、更新pingが打てないのはブログじゃないよね」的なごく当たり前の指摘を受けたので対応してみた。 このブログについて このブログ自体はChalowというツールを使っ…

XMLRPC

XMLRPC::LiteをインストールしようとするとXML::Parserで怒られ、XML::ParserをインストールしようとするとNet::SSLeayのバージョンが低すぎると怒られる なんやかよく分からないので、ひと通り入れなおしてみる Error: Missing Dependency: perl(Net::SSLea…

Mecabに住所用の辞書を追加する

PHPで都道府県、市区町村、町域名以降の住所分割を高速に行う方法 - 理想未来はどうなった?を参考に ただし、辞書の生成のところのスクリプトをうまく動かすことができなかったのでPerlで書いて無理やり対応。 それに合わせて処理全体が手作業っぽくなって…

ブログから本文抽出するためにHTML

http://d.hatena.nh.jp/dkfj/20081205/1228441267を参考に インストール $ perl -MCPAN -e shell install HTML::ExtractContent << サンプル 上記参考サイトのものをそのまま流用 |perl| use strict; use warnings; use HTML::ExtractContent; use LWP::User…

専門用語自動抽出用Perlモジュール TermExtractをインストールする

http://gensen.dl.itc.u-tokyo.ac.jp/termextract.html http://d.hatena.nh.jp/dkfj/20080804/1217819879 予めPerlとMecabがインストールされていること $cd /usr/local/src $ wget http://gensen.dl.itc.u-tokyo.ac.jp/soft/TermExtract-4_08.tar.gz $ tar …

mecabのユーザ辞書にWikipediaの用語を追加する

http://fukushimu.blog.shinobi.jp/Entry/76/ を参考に $ wget http://download.wikimedia.org/jawiki/latest/jawiki-latest-all-titles-in-ns0.gz $ perl conv.pl $ ls $ conv.pl jawiki-latest-all-titles-in-ns0 wikipedia.csv $ /usr/local/libexec/meca…

HTML

普通にHTML::TemplateでUTF8の外部ファイルを使うとテンプレート内の日本語が文字化けしてしまうので、その解決策 http://logic.moo.jp/memo.php/archive/146> 文字コードをUTF8にするフィルターをかます場合 |perl| use strict; use HTML::Template; use Jc…

perl用開発環境EPICをEclipseにインストールする

http://www.epic-idh.org/guide/ch01s02.php Eclipseのヘルプ→新規ソフトウェアのインストール 作業対象に「http://e-p-i-c.sf.net/updates」を入力する フィルター入力に、EPICを入力する

Hatena.pmを修正してシンタックスハイライトにgoogle-code-prettifyを使うように変更する

Text::VimColorだと記事中の日本語が文字化けしたので、差し替え 設置 http://codh.googlh.com/p/google-code-prettify/ Text::Hatenaを修正する $ diff Hatena.pm Hatena.pm.2011-05-31 217,220c217,219 < # $texts = Text::VimColor->new(string => $texts…

Dropbox-apiの動作環境を整備する

結局使わなかった cpanm のインストール http://www.omakash.org/perl/cpanm.html Dropbox-apiに必要なライブラリをインストールする % sudo cpanm DateTimh.pm % sudo cpanm JSON Path::Class Net::Dropbox::API DateTime::Format::Strptime % sudo cpanm N…

CPANでモジュールをインストールするときに「サーバの応答にエラーがあるので接続を終了します」と表示されてしまうときの対処

http://linuxserver.jp/%E3%83%97%E3%83%AD%E3%82%B0%E3%83%A9%E3%83%9F%E3%83%B3%E3%82%B0/Perl/CPAN/%E3%82%B5%E3%83%BC%E3%83%90%E3%81%AE%E5%BF%9C%E7%AD%94%E3%81%AB%E3%82%A8%E3%83%A9%E3%83%BC.php http://tomo.ac/goodstream/perl/tips/cpanerr.html

chalowをインストール

標準的なインストール % sudo perl -MCPAN -e shell % install Jcode % install HTML::Template はてな記法を使えるように修正 seh. http://diary.overlasting.net/2006-05-26-2.html % install Text::Hatena % install HTML::Entities % install Text::VimC…

PerlのWeb

今更ながらにPerlのWeb::Scraperを触っていてなにか目的意識がほしいと言うことでTwitterのボットを作ってみました。 ネタとしては「福岡市の新型インフルエンザに関する情報をポストするボット」と言うことで、http://www.city.fukuoka.lg.jp/pflu/から「福…

OperaのコンタクトリストをThunderbirdのアドレス帳にインポートするためのCSVに変換する

先日、OperaのM2からPortable Thunderbirdに乗り換えた。 メールのデータ自体はGmailにまとめていたものをダウンロードしただけなので問題なかったのだけど、アドレス帳の移行がうまくいかなかった。http://d.hatena.nh.jp/goking/20041224で公開されているs…

MecabとPerlを無理やり使った漢字の読み取得

本来はMecabのPerlバインディングとかを使ってスマートにやるべきなんだろうけど、手っ取り早く結果を得るための無理矢理版 まじめにやる場合は、http://mecab.sourceforgh.net/bindings.htmlを参照のこと |perl| foreach $addr () { chomp($addr); print ec…