Plaggerの最近のブログ記事

retlet.net - OpenFL + Store::Fastladderで広告エントリーの削除と全文取得をするのブクマコメントでotsuneさんに

SITEINFOはwedata版に書き換えたほうがよさそう

と言われて直そう、として挫折したところに速攻fubaさんが対応してくれたので適用した。

WebService::Wedataをダウンロードしてインストール。

$ perl MakeFile.PL
$ sudo make
$ sudo make test
$ sudo make install

yamlのPlugin名を修正。

-  - module: Filter::EntryFullText::SiteInfo
+  - module: Filter::EntryFullText::LDRFullFeed

crontabではほとんどの環境変数が設定されていないらしいので、そのままTerminalと同じコマンドを打っても動作しないことがある。

crontab で実行されるときには、ほとんどの環境変数が設定されていないので注意が必要。~/.cshrc・~/.login で設定している環境変数は設定されていないし、PATH も /bin:/usr/bin くらいにしか通っていない。そのため、command の部分に指定するのはシェルスクリプトにしておいて、シェルスクリプトの先頭で環境変数の設定を行い、その後いろいろなコマンドを実行するようにしておくのがよいだろう。

でもPlaggerとかをいくつも実行してる場合、いちいちシェルスクリプト用意するのも面倒だよなー。ということで、crontabに環境変数を指定してみた。
参考: suVeneのあれ: crontab 設定の小話

$ crontab -e

行頭に以下を追加。

PERL5LIB=~/Sites/plagger/plagger:~/Sites/plagger/plagger/lib:$PERL5LIB

すると以下の表示。ファイルの保存が出来てない？

crontab: temp file must be edited in place

どうもvimでファイルのバックアップを取る設定になっているのがまずいみたい。
参考: OSXでcrontabの編集が反映されない « ku

普段の設定はCronniX経由でやっているので、根本的な解決はせず一時的に.vimrcの該当行をコメントアウトして回避した。

$ vim .vimrc
":set backup

で、設定してOK。なはずなんだけど、なぜか

/opt/local/bin/perl plagger -c ~/Sites/plagger/fastladder-crawler.yaml

では動かず。

/opt/local/bin/perl ~/Sites/plagger/plagger/plagger -c ~/Sites/plagger/fastladder-crawler.yaml

としてやる必要があった。
なんでだろう。plaggerのパスは通ってるはずなんだけど。

あと /opt/loca/bin/perl も書きたくないなと思って

PATH=/opt/loca/bin:$PATH

とかしても書かないと動かない。せつなさサクレツ。

メモ

cronの設定ファイル直接編集してみたところ、CronniXから変更を加えた際にその部分が消えてしまった。
あちこちの説明を読むと、cronttab -e したり、crontab ~/.crontab したりしているし、直接編集は思想的にNGなのかな？

一応、cronの設定ファイルは(Mac OS X 10.4.11の場合)以下にあるけどいじらない方が良さそう。

$ vim /var/cron/tabs/USERNAME

Web Service版のFastladderがTumblrのFeedに占領されたので追加のアカウント取ったんだけど切り替えが面倒くさい。
今あるLDRのFeedをOpenFLで読むようにすればLDRも画像関連に振れるんじゃね？ということで、インストールしたまま放ったらかしだったOpenFLがついに日の目を見る。

アジェンダ

1. MySQLのインストール
2. OpenFLのDB設定
3. DBD::mysqlのインストール
4. Store::Fastladderのインストール
5. Plaggerでクローラーを動かす

4までほぼしゅにたんの記事をなぞっただけ。

参考

• shunirr.org - OpenFLのクローラにPlagger::Plugin::Store::Fastladder使ってみた
• Plagger最新版をSVNで入手する。 - 適宜覚書はてな異本