rider.withgod.jp - blog

MacBook Pro (15-inch Early 2011) geekbench

withgod — Mon, 21 Nov 2011 02:38:09 +0000

職場で2011 MBP15(メモリ8G、SSD256)買ったので、何時ものごとく？geekbenchやってみた。

geekbench結果

Summary

Section	Description	Score	Geekbench Score
Integer	Processor integer performance	7229	8801
Floating Point	Processor floating point performance	13087
Memory	Memory performance	5476
Stream	Memory bandwidth performance	5954
Geekbench 2.2.3 for Mac OS X x86 (32-bit)

System Information

Operating System	Mac OS X 10.7.2 (Build 11C74)
Model	MCJ Co.,Ltd. P55-SD	Motherboard	MacBook Pro (15-inch Early 2011)
Processor	Intel Core i7-2635QM
Processor	GenuineIntel Family 6 Model 42 Stepping 7
Processors	4	Threads 8
Cores	4	Memory	8.00 GB 1333 MHz DDR3
Processor Frequency	2.00 GHz	Bus Frequency	100 MHz
L1 Instruction	32.0 KB x 4	L1 Data Cache	32.0 KB x 4
L2 Cache	256 KB x 4	L3 Cache	6.00 MB
BIOS	Apple Inc. MBP81.88Z.0047.B24.1110141131

less/lvでソースコードに色をつける on OSX

withgod — Thu, 10 Nov 2011 02:47:49 +0000

lessでソースコードに色をつける

筆者は試していないが、GNU Source-highlightはMacでも利用できるんじゃないかと思うので、Mac方面の人もぜひ試して頂きたいと思う。

これは便利そうだってことで、osxで試す。

brewでinstall

$ brew install source-highlight

自分はlessじゃなくてlvを常用しているけど、とりあえずlessでお試し

$ LESSOPEN='| /usr/local/bin/src-hilite-lesspipe.sh %s' less -R ./server.js

問題なく色づけされてる

俺はlv常用なのでこんな感じに起動して確認。

/usr/local/bin/src-hilite-lesspipe.sh ./server.js | lv -c

んー、LESSOPEN相当が見当たらない、、

幸いにして俺もvimでwombat使ってるのでcolor schemeも使わせて貰おう。(人-)

Services_Twitter_Uploader

withgod — Wed, 19 Oct 2011 15:13:47 +0000

10ヶ月ぐらい掛けてついにリリースｗ
kiddyに絡まれてうざかったのと、途中いろいろ忙しかったので馬鹿みたいに期間が空いてしまった。
まぁプライベートで適当にやってるとこんなもんさ(俺は)

http://pear.php.net/package/Services_Twitter_Uploader/

git submoduleを一括更新

withgod — Fri, 23 Sep 2011 09:22:07 +0000

忘れそうなのでメモ。

git submodule update

は間違い。

git submodule foreach 'git pull origin master'
git commit -a

foreachで全部更新してから、~~update~~。
updateは嘘でした、updateしたら戻ってまう。

debian unstableでgccの切り替え

debian unstableでgccの切り替え

withgod — Thu, 01 Sep 2011 09:35:36 +0000

意外なことに、 gcc が alternativesに登録されてなかったので、手動で登録して切り替え。

sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-4.3 43 --slave /usr/bin/g++ g++ /usr/bin/g++-4.3 --slave /usr/bin/gcov gcov /usr/bin/gcov-4.3
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-4.4 44 --slave /usr/bin/g++ g++ /usr/bin/g++-4.4 --slave /usr/bin/gcov gcov /usr/bin/gcov-4.4
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-4.5 45 --slave /usr/bin/g++ g++ /usr/bin/g++-4.5 --slave /usr/bin/gcov gcov /usr/bin/gcov-4.5
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-4.6 46 --slave /usr/bin/g++ g++ /usr/bin/g++-4.6 --slave /usr/bin/gcov gcov /usr/bin/gcov-4.6

–slaveで連動して g++, gcovとかも切り替える。

これで後は

update-alternatives --config gcc
alternative gcc (/usr/bin/gcc を提供) には 4 個の選択肢があります。

  選択肢    パス            優先度  状態
------------------------------------------------------------
  0            /usr/bin/gcc-4.6   46        自動モード
  1            /usr/bin/gcc-4.3   43        手動モード
  2            /usr/bin/gcc-4.4   44        手動モード
* 3            /usr/bin/gcc-4.5   45        手動モード
  4            /usr/bin/gcc-4.6   46        手動モード

現在の選択 [*] を保持するには Enter、さもなければ選択肢の番号のキーを押してください: 3

でおｋ

snow leopard 64bit で gpyp

withgod — Tue, 29 Mar 2011 09:18:51 +0000

cocoaypが更新止まってて残念だなーって所でgpypがよさげ、~~って事で動かそうとするも断念~~

mac portsは使うのやめたので、homebrewにてトライ。

試した環境:

% uname -ar
Darwin crowbar.withgood.net 10.7.0 Darwin Kernel Version 10.7.0: Sat Jan 29 15:16:10 PST 2011; root:xnu-1504.9.37~1/RELEASE_X86_64 x86_64
~% gcc -v
Using built-in specs.
Target: i686-apple-darwin10
Configured with: /var/tmp/gcc/gcc-5666.3~123/src/configure --disable-checking --enable-werror --prefix=/usr --mandir=/share/man --enable-languages=c,objc,c++,obj-c++ --program-transform-name=/^[cg][^.-]*$/s/$/-4.2/ --with-slibdir=/usr/lib --build=i686-apple-darwin10 --program-prefix=i686-apple-darwin10- --host=x86_64-apple-darwin10 --target=i686-apple-darwin10 --with-gxx-include-dir=/include/c++/4.2.1
Thread model: posix
gcc version 4.2.1 (Apple Inc. build 5666) (dot 3)
~%brew info boost gtk+ gtkmm libiconv
boost 1.46.1

http://www.boost.org

/usr/local/Cellar/boost/1.46.1 (7731 files, 192M)

http://github.com/mxcl/homebrew/commits/master/Library/Formula/boost.rb

gtk+ 2.24.3

http://www.gtk.org/

Depends on: pkg-config, glib, jpeg, libtiff, gdk-pixbuf, pango, jasper, atk
/usr/local/Cellar/gtk+/2.24.3 (975 files, 33M)

http://github.com/mxcl/homebrew/commits/master/Library/Formula/gtk+.rb

gtkmm 2.18.2

http://www.gtkmm.org/

Depends on: pkg-config, glibmm, gtk+, libsigc++, pangomm
/usr/local/Cellar/gtkmm/2.18.2 (1705 files, 60M)

http://github.com/mxcl/homebrew/commits/master/Library/Formula/gtkmm.rb

libiconv 1.13.1

http://www.gnu.org/software/libiconv/

/usr/local/Cellar/libiconv/1.13.1 (58 files, 2.7M)

http://github.com/mxcl/homebrew/commits/master/Library/Formula/libiconv.rb

とりあえずxpとかypmとかのすでにサービス終了している奴らを抜く patch。

*** ./gpyp-3.8.1.org/src/icons/favicon/Makefile.am	2010-02-27 10:25:34.000000000 +0900
--- ./gpyp-3.8.1/src/icons/favicon/Makefile.am	2011-03-29 13:41:44.000000000 +0900
***************
*** 12,19 ****
  	wget "http://www.google.com/favicon.ico" -O $@ || rm $@
  #kp.ico:
  #	wget "http://kp.podzone.net/favicon.ico" -O $@ || rm $@
! xp.ico:
! 	wget "http://extremeyp.ath.cx/favicon.ico" -O $@ || rm $@
  cp.ico:
  	wget "http://cp.webhop.net/favicon.ico" -O $@ || rm $@
  rp.ico:
--- 12,19 ----
  	wget "http://www.google.com/favicon.ico" -O $@ || rm $@
  #kp.ico:
  #	wget "http://kp.podzone.net/favicon.ico" -O $@ || rm $@
! #xp.ico:
! #	wget "http://extremeyp.ath.cx/favicon.ico" -O $@ || rm $@
  cp.ico:
  	wget "http://cp.webhop.net/favicon.ico" -O $@ || rm $@
  rp.ico:
***************
*** 23,30 ****
  	convert $< $@ || rm $<
  #kp.png: kp.ico
  #	convert $< -delete 0 $@ || rm $<
! xp.png: xp.ico
! 	convert $< -delete 1 $@ || rm $<
  cp.png: cp.ico
  	convert $< -delete 0 $@ || rm $<
  rp.png: rp.ico
--- 23,30 ----
  	convert $< $@ || rm $<
  #kp.png: kp.ico
  #	convert $< -delete 0 $@ || rm $<
! #xp.png: xp.ico
! #	convert $< -delete 1 $@ || rm $<
  cp.png: cp.ico
  	convert $< -delete 0 $@ || rm $<
  rp.png: rp.ico
diff -cr ./gpyp-3.8.1.org/src/icons/favicon/Makefile.in ./gpyp-3.8.1/src/icons/favicon/Makefile.in
*** ./gpyp-3.8.1.org/src/icons/favicon/Makefile.in	2010-03-09 21:59:17.000000000 +0900
--- ./gpyp-3.8.1/src/icons/favicon/Makefile.in	2011-03-29 13:41:53.000000000 +0900
***************
*** 421,428 ****
  	wget "http://www.google.com/favicon.ico" -O $@ || rm $@
  #kp.ico:
  #	wget "http://kp.podzone.net/favicon.ico" -O $@ || rm $@
! xp.ico:
! 	wget "http://extremeyp.ath.cx/favicon.ico" -O $@ || rm $@
  cp.ico:
  	wget "http://cp.webhop.net/favicon.ico" -O $@ || rm $@
  rp.ico:
--- 421,428 ----
  	wget "http://www.google.com/favicon.ico" -O $@ || rm $@
  #kp.ico:
  #	wget "http://kp.podzone.net/favicon.ico" -O $@ || rm $@
! #xp.ico:
! #	wget "http://extremeyp.ath.cx/favicon.ico" -O $@ || rm $@
  cp.ico:
  	wget "http://cp.webhop.net/favicon.ico" -O $@ || rm $@
  rp.ico:
***************
*** 432,439 ****
  	convert $< $@ || rm $<
  #kp.png: kp.ico
  #	convert $< -delete 0 $@ || rm $<
! xp.png: xp.ico
! 	convert $< -delete 1 $@ || rm $<
  cp.png: cp.ico
  	convert $< -delete 0 $@ || rm $<
  rp.png: rp.ico
--- 432,439 ----
  	convert $< $@ || rm $<
  #kp.png: kp.ico
  #	convert $< -delete 0 $@ || rm $<
! #xp.png: xp.ico
! #	convert $< -delete 1 $@ || rm $<
  cp.png: cp.ico
  	convert $< -delete 0 $@ || rm $<
  rp.png: rp.ico
diff -cr ./gpyp-3.8.1.org/src/yellowpage.cpp ./gpyp-3.8.1/src/yellowpage.cpp
*** ./gpyp-3.8.1.org/src/yellowpage.cpp	2010-03-02 13:36:29.000000000 +0900
--- ./gpyp-3.8.1/src/yellowpage.cpp	2011-03-29 14:04:12.000000000 +0900
***************
*** 656,666 ****
  void YPCollection::on_load_default() {
    conf::Collection::on_load_default();
    add_item(IconManager::CP,       "CP",  "http://cp.webhop.net/");
!   add_item(IconManager::XP,       "XP",  "http://extremeyp.ath.cx/");
    add_item(IconManager::YP4G,     "TP",  "http://temp.orz.hm/yp/");
    add_item(IconManager::RP,       "RP",  "http://retro.servegame.org/");
!   add_item(IconManager::YP4G,     "SP",  "http://bayonet.aa0.netvolante.jp/sp/");
!   add_item(IconManager::CP,       "YPM", "http://cp.webhop.net/ypm/");
    add_item(IconManager::PEERCAST, "YP",  "http://yp.peercast.org/", YPTYPE_XML, false);
  }

--- 656,666 ----
  void YPCollection::on_load_default() {
    conf::Collection::on_load_default();
    add_item(IconManager::CP,       "CP",  "http://cp.webhop.net/");
!   //add_item(IconManager::XP,       "XP",  "http://extremeyp.ath.cx/");
    add_item(IconManager::YP4G,     "TP",  "http://temp.orz.hm/yp/");
    add_item(IconManager::RP,       "RP",  "http://retro.servegame.org/");
!   //add_item(IconManager::YP4G,     "SP",  "http://bayonet.aa0.netvolante.jp/sp/");
!   //add_item(IconManager::CP,       "YPM", "http://cp.webhop.net/ypm/");
    add_item(IconManager::PEERCAST, "YP",  "http://yp.peercast.org/", YPTYPE_XML, false);
  }

上記patchを当てて、次で一応buildは出来た。

LIBS="-L/usr/local/Cellar/libiconv/1.13.1/lib -liconv " ./configure --disable-ss-xss --disable-dbus
LIBS="-L/usr/local/Cellar/libiconv/1.13.1/lib -liconv " make

が、実行するとエラーはいて segfault.
簡単なgtk使ったアプリを試したら一応動いてる。

とここまで記事を書いて、エラーログを書こうと再度実行したら動いた謎。
NSZombieEnabledとかするのって gcc(非xcode環境で)でするのってどうするんじゃーとか色々謎だったのでもう諦めようと思ってたんだが・・・・

で、かなり必死こいて入れてみたけど使ってません。
X11を起動する分には良いんだけど、gtkは(何が悪いんだろうね、まぁフォント綺麗にするとかは後回しでしょう・・・)いくら何でも文字汚すぎ・・・linuxとかでなら良いんじゃないかな、ちょっと見た感じだと機能豊富そう。

一応SS追加

snow leopard 64bit + homebrew で gettext, readline のメモ

snow leopard 64bit + homebrew で gettext, readline のメモ

withgod — Tue, 29 Mar 2011 06:30:36 +0000

何も考えずに brew install readline gettext だけだと不味かったのでメモ。

brew install readline
brew link readline

まず readline は入れただけだと libedit と競合するから brew link readline する。

そのまま brew install gettext だと問題が出るので次のようにして universal binary にしておく(readlineはデフォでuniversal binary)

brew edit gettext

して、systemの前に

ENV.universal_binary

を追加する、こんな感じ

    ENV.universal_binary
    system "./configure", "--disable-dependency-tracking", "--disable-debug",
                          "--prefix=#{prefix}",

後はgettext同様に

brew install gettext
brew link gettext

これって readline だけの問題じゃなくて、homebrewで作ると大抵のものが universal binaryで出来ないっぽくて、その辺に転がってるソースをbuildすると刺さる、刺さる。
1個か2個ぐらいだろって思ってたけど、結構な数をし直さないと駄目かも・・・

snow leopard 64bit で gpyp

Services_OAuthUploader改めServices_Twitter_Uploader

withgod — Thu, 03 Mar 2011 05:33:09 +0000

以前書いたServices_OAuthUploaderっていうパッケージ。
Pearにproposalして色々やりとりした結果、名前も改めてやっと出せそうな感じ。
途中でいわゆるkiddyに絡まれてやる気無くしたりもしたけど、tillってメンテナがsupportしてくれたおかげでやっとリリースにこぎつけられそう。

No related posts.

google data api で google calendar でカレンダーの新規作成が出来ない

withgod — Sun, 02 Jan 2011 07:23:07 +0000

ircでkaepapaがgoogle calendarの新規作成がどうの言ってたので、試してみたら色々はまったのでメモ。

とりあえずprotocol仕様書を眺めながら、自分でphpでcurlを使って実装してみたけど、カレンダーの一覧の取得は出来るけど、新規作成は出来ない(zfの実装も一緒)
ちなみにgoogle data apiはv1、v2が有り、zfの実装はv1。
動かした観想的にv1は色々動かない部分が出てきてるっぽい(新規作成周りとか)。

ドキュメント見ながらやってても限界を感じたので、googleのjava clientを落としてきて、リファレンスをコピペして作って実行=>問題なく毎回作れる。
実行時には google collectionsが必要になるけど、jar無いみたいなので作ったのを置いておきます。 google-collect-snapshot_20110101.jar

仕方ないので、ncを nc -l -p 8080 とかして、リクエスト先を変えてrequestをdumpしてみる。
dumpした結果を見ると、xmlのフォーマットがprotocol仕様書に書いているのと若干違う(仕様書は2005の所がリクエストは2007とか。
取りあえずリクエスト内容とか、cache周りのヘッダとかも全部揃えて送ってみると、返事待つ状態になって無応答で、curlが * Empty reply from server と吐いてプログラムが終了する。(パラメータが不正な場合はエラー画面が帰ってきてました、Content-lengthが無いとか、認証が不正とかはちゃんとエラー画面が返る)

この状態でCookie送るようにしたりとか、色々試しても動作しなかったので、picasaのアルバム作成を作って試してみると問題なく作成完了。

この辺からhttp clientの実装を疑いだして、HTTP_Request2で実装しなおしてみると、無応答では無くカレンダー一覧が帰ってきて終了するようになる(Endpointが一緒なので、リクエストが不正か何かで処理が一覧取得になっちゃうような気がする)

ここで試しに commons-httpclient3を使ってためしに実装してみると、新規作成完了・・・
Location周りが上手く動作してくれないので、自分でレスポンス解析してリクエスト投げてます。

って事で最終的にphpで動いてませんが、まとめ。

クライアントの実装の問題っぽい(サーバが一度Location返してくるからそのfollowとか、partical response,request辺りとか？)
v2を使った方が良いです
ドキュメントは信用しない方が良さそう
phpで動かせてません(picasaは動いてるんだけど、同じ実装でcalendarは動かない)

コード一覧

jquery使ってcallback関数を利用時のthisへのアクセス

withgod — Wed, 29 Dec 2010 12:26:50 +0000

文章にするのは難しかったので、とりあえずソース


	
		
		
	
	
		sample

do1で上手くいかなくて、$.ajaxの場合はcontextで指定、$.getの場合はjQuery.proxyで指定出来るらしいのでdo2で実現。
ってかこんな面倒なの？って思うんだけど、どーなんだろ、javascriptに詳しい人ヘルプ。

他に思いつくのは、無名関数でラップして引数として渡すとか、ダサイ。

@mumoshu からの助言で do3 を追加、何か適当な予約変数に突っ込んでくれりゃいいのに・・・

これ、jqueryに限ったわけじゃなく、クロージャ使ったときのthisの参照先の問題か。
まぁタイトルはそのままで。

javaのjsonライブラリのデコーダのベンチマーク

withgod — Thu, 23 Dec 2010 09:46:47 +0000

メジャーそうなライブラリのベンチマークを取ってみました。

jsonorg(twitter4j.internal 2.1.9 snapshot)
jsonic
gson
jackson

maven経由で取れる最新版で試してます(jsonicは無いので、1.2.5を突っ込んで動かしてます)

対象となるデータはTwitterのpublictimelineから拾ってきたデータ(20件の配列で中身連想配列)
コードはgithubに置きました。
jsonorgはPOJOに変換とか便利な機能は付いてなかったです(json-libは付いてるみたいだけど)。
JSONエンコーダのインスタンスを作るものに関しては、一度生成した物を使いまわしています。
自分のマシンだと結構早い方だと思うので、sakuraのvpsで動かしました。

計測結果サマリ

ライブラリ	1回目	1000のアベレージ
jsonic	440	2.1835
gson	184	4.2541
jackson	313	0.7926
jsonorg	37	1.7359

@shin1ogawa経由で見つけた計測同様、jacksonがぶっちぎり。
jsonorgの1回目がやたら早いけど、内部実装がどうなってるかまでは追いかけて無いからgetHogeしたときに具体的な事してるとかだったらどうしよ・・・ｗ

計測結果ベタ

bench start [jsonic]
first
         start [1293096329073]
         end   [1293096329513]
         diff  [440]
--
10000 loop
         start   [1293096329515]
         end     [1293096351350]
         diff    [21835]
         average [2.1835]
bench end [jsonic]
----
bench start [gson]
first
         start [1293096351352]
         end   [1293096351536]
         diff  [184]
--
10000 loop
         start   [1293096351540]
         end     [1293096394081]
         diff    [42541]
         average [4.2541]
bench end [gson]
----
bench start [jackson]
first
         start [1293096394082]
         end   [1293096394395]
         diff  [313]
--
10000 loop
         start   [1293096394396]
         end     [1293096402322]
         diff    [7926]
         average [0.7926]
bench end [jackson]
----
bench start [jsonorg]
first
         start [1293096402324]
         end   [1293096402361]
         diff  [37]
--
10000 loop
         start   [1293096402362]
         end     [1293096419721]
         diff    [17359]
         average [1.7359]
bench end [jsonorg]
----

mod_proxyでHTTP_HOSTの値がローカルアドレス(バランシング先に設定したURL)で困る件

withgod — Wed, 22 Dec 2010 18:04:17 +0000

よく巷で見かける設定だとこんな感じで

ProxyRequests Off
ProxyPass        /fizzbuzz http://192.168.0.10
ProxyPassReverse /fizzbuzz http://192.168.0.10

これだと $_SERVER['HTTP_HOST'] が 192.168.0.10 になっちゃうので、場合によっては困っちゃう。
自作の場合は気をつければいいんだけど、他人のを動かすと結構はまる(xoops, wordpress)どーすっかなーと思ったらコレを追加するだけでよかった。

ProxyPreserveHost On

No related posts.

各種PHPのWebFramework上でhello worldベンチ(apcもあるよ)。

withgod — Sun, 19 Dec 2010 12:20:38 +0000

表題のまんま。

対象フレームワーク

CodeIgniter 1.7.3
ZendFramework 1.11.1
CakePHP 1.3.6
KohanaPHP 3.0.8

って取り終えてからsymfony抜けてるのに気付いた・・・まぁいいや。

ソース

とりあえずgithubにおいてみた
https://github.com/withgod/php_framework_benchmark

cakephpはやたらファイルが多いのでいったん保留。
git add したときに空のフォルダがすっ飛んでるのでそのままじゃ動かないかも。

実行環境

vmware上のdebian lenny(2.6.26-2-amd64)
多すぎても実際に動かすサーバとの差異が出そうなので、コア2個、メモリ2G(ホストはCorei7,Mem8G)
PHP 5.2.16-0.dotdeb.0
Apache 2.2.9-10+lenny8

計測側は別マシン(GigaBaseLan経由)のdebian sidからabでポチっと。
~~計測に使ったコードも一応晒すかと思ったんだけど、CakePHPがappsだけうまく切り離すのが面倒で良く解らなかったので止めた。~~
テンプレートは全部で使ってません。
#zfはzf createして出来たコードに iniでresources.frontController.noViewRenderer = 1 して Controllerで echo ‘helloworld’みたいな感じ。

計測方法

こんなシェル回すだけ、、、つって最初はかなり適当にやってたんだけど、値がおかしいので設定をもう少しつめました。

具体的には下記のような感じ。

apache


    StartServers        100
    MinSpareServers     100
    MaxSpareServers     100
    MaxClients          410
    MaxRequestsPerChild   0

ServerLimit 410

接続数が足りてなくてスループット出ないので変更、評価アプリが単純なのと相まって凄いスループット出てる・・・ｗ
最初から全部400とか立ち上げるとSwapOut発生しまくりだったのでとりあえずこんな感じで。
再起動時にワーニング出るんだけど(gracefullだと駄目です、ちゃんとstop/start出来るコマンドで。してもWarningで照るんだけどね・・・)、ps axf | grep -c ‘apache2′するとちゃんと立ち上がってるみたいなので気にしない。

ulimit file descriptors

上限から変更。
/etc/security/limits.conf に次を追加

www-data hard nofile 10240
www-data soft nofile 10240
noname hard nofile 10240
noname soft nofile 10240

/etc/pam.d/login に次を追加

session required pam_limits.so

再ログインすれば有効になります、面倒なら再起動で。
上だけでも連続してテストを行うとクライアント側でTIME_WAIT、サーバ側でSYN_SENTとか溜まるので、計測取るスクリプトで sleep 90 してお茶を濁してます(確かdebian？の初期値は60秒、変更したいとなるとKernel再構築だったはず。)

計測用スクリプト

#!/bin/sh

ts=`date "+%Y%m%d%H%M%S"`
prefix='apc_'
doRun() {
	ab -c  10 -n 1000 $1 > ./out/$prefix$ts-$2-010-1000.txt
	sleep 90;
	ab -c  30 -n 1000 $1 > ./out/$prefix$ts-$2-030-1000.txt
	sleep 90;
	ab -c  50 -n 1000 $1 > ./out/$prefix$ts-$2-050-1000.txt
	sleep 90;
	ab -c 100 -n 1000 $1 > ./out/$prefix$ts-$2-100-1000.txt
	sleep 90;
	ab -c 200 -n 2000 $1 > ./out/$prefix$ts-$2-200-2000.txt
	sleep 90;
	ab -c 300 -n 3000 $1 > ./out/$prefix$ts-$2-300-3000.txt
	sleep 90;
	ab -c 400 -n 4000 $1 > ./out/$prefix$ts-$2-400-4000.txt
}

doRun 'http://192.168.0.155/apps/cakephp/hello_world/' cake;
doRun 'http://192.168.0.155/apps/kohana/' kohana;
doRun 'http://192.168.0.155/apps/codeigniter/index.php/hello' ci;
doRun 'http://192.168.0.155/apps/zf/helloworld/public' zf;
doRun 'http://192.168.0.155/phpinfo' phpinfo;

何度か回してみたところ、apcなしだとcakeで300多重以上、ciで400多重以上の時にabが異常終了するので取れて無いです(サーバTAT遅延でタイムアウトするとab自体が落ちる？よーわからん)

集計用スクリプト(ログ集計+gnuplot用のスクリプト吐き出し)

ついでに↓で出してる集計につかったperlスクリプトはこんな感じ。
perlでログざーっと漁ってgnuplotへ食わすファイルに落とす、ついでにココに貼り付ける用のデータも生成。

#!/usr/bin/perl

use strict;
use Data::Dumper;
use File::Basename;
use IO::File;
use POSIX;

my $now = strftime "%Y%m%d%H%M%S", localtime;

my %data = ('apc' => {}, 'noapc' => {});
for my $f (glob './out/*.txt') {
	my $b = basename($f);
	my ($prefix, $target, $con, $num) = ($1, $2, $3, $4) if ($b =~ /([a-z]+)?_?\d+\-([a-z]+)\-(\d+)-(\d+)\.txt$/);
	$prefix = 'noapc' unless $prefix;
	$data{"$prefix"}->{$target} = {} unless (exists $data{"$prefix"}->{$target});
	my $val = `grep "Requests per second" $f | awk '{print \$4}'`;
	$val =~ s/[\r\n]//;
	$data{"$prefix"}->{$target}->{$con} = $val;
}

for my $j (keys %data) {
	print "$j\t010\t030\t050\t100\t200\t300\t400\n";
	my $plot = <<"_EOT_";
set term png
set output './${now}_$j.png'
set title '$j graph'
set xlabel 'concurrency'
set ylabel 'request/per second'
set grid
plot \\
_EOT_
	for my $k (keys %{$data{$j}}) {
		print "$k";
		my $fname = "${j}_${k}.txt";
		my $fh = IO::File->new("> ./graph/${now}_$fname");
		for my $l (sort keys %{$data{$j}->{$k}}) {
			print "\t" . $data{$j}->{$k}->{$l} ;
			print $fh $l . " " . $data{$j}->{$k}->{$l} . "\n";
		}
		$fh->close;
		$plot .= "\"./${now}_$fname\" using 1:2 title \"$k\" with lines, \\\n";
		print "\n"
	}
	$plot =~ s/, \\$//;
	my $graph_fh = IO::File->new("> ./graph/${now}_graph_$j.plot");
	print $graph_fh $plot;
	$graph_fh->close;
}

計測結果

without apc

noapc	010	030	050	100	200	300	400
kohana	117.09	237.91	231.50	234.80	143.91	197.61
ci	137.77	203.66	201.19	201.80	138.70
phpinfo	137.11	926.16	932.02	924.78	489.71	438.99	342.95
cake	59.10	69.85	75.89	76.27	74.55
zf	134.77	907.97	919.69	931.49	588.52	435.18	345.51

with apc

apc	010	030	050	100	200	300	400
kohana	137.00	798.51	825.87	813.94	566.84	314.40	332.66
ci	146.27	807.87	797.76	803.79	567.05	381.62	247.43
phpinfo	131.24	929.17	915.39	933.95	588.15	436.91	342.84
cake	212.97	287.25	287.27	290.76	293.66	200.77	193.22
zf	135.00	900.23	937.48	937.20	597.30	437.12	344.20

所感

接続数が足りなくて最初は全然スループット出て無い。
APC入れない状態で出来てるすげー差は恐らく有効になってるモジュールの差なのかな、cakeは詰め込みまくった状態で、他は全然入ってない状態と予想。
APC入れたらその辺の差がぐっと詰まるっぽいのもそんな感じ？
入れてるapacheとかphpの設定とかはデフォルトだし、その辺を詰めてみると面白いかもしれない(ビジネスロジック部分と違ってこの辺の値は一般的に適応出来るし。　ってことでちょっと詰めてみたんだけど、凄いスループット出てる、まぁ仕方ない。)
ほんとはFrameworkの性能差が見たくてベンチ取ったんだけど、どっちかっつーとapcスゲーになった気が・・・ｗ
あと結果に若干？な部分があるのは、他で負荷掛かってたのかなあ・・それ以外には使わない状態でやったんだけどー・・・
何度か繰り返したアベレージにしないと駄目かも(つっても接続開放とかの絡みで、1回集計に50分ぐらい掛かるからしんどい・・・ｗ)
気が向いたらついでにvmの割り当ても変えてベンチとって見てもいいかもしれない。
zfが鬼のような値出してるけど、phpinfoと変わらない辺りを見るとなーんも入ってないに近いんだろうなあ・・・その辺は中身まで追いかけないと解らんけど、他のFWに比べてすげー緩いから具体的な部品を詰め込まないと値取れない気がする。
apc無しだと性能差が激しいけど、逆にapc入れると殆ど性能差が無いから好きなの使えって感じかなぁ(cakephpはモデル生成が走る、とかって見かけたからその辺改めて見ないと駄目かも (‘A`)

No related posts.

debian unstable上のhudsonでnetwork unreachable

withgod — Fri, 17 Dec 2010 07:40:49 +0000

mavenのレポジトリにアクセス出来なくてプラグインが落ちてこなかったり、テスト中のソケット生成に失敗しまくる件について解決。
何故か手では動くんだけど・・・

/etc/sysctl.d/bindv6only.conf

の1を0に変更↓

net.ipv6.bindv6only = 0

再起動できない場合は次も。

echo 0 > /proc/sys/net/ipv6/bindv6only

Services_Twitter_Uploaderを使って簡単Post

withgod — Thu, 16 Dec 2010 10:33:53 +0000

自作自演エントリをでっちあげてみる。

Basic認証が廃止されたせいで、Twitpicやyfrogへのポストが凄く面倒になってる人にお勧めのライブラリ。
javaだと twitter4j.media のお陰で簡単にアップロード出来るのに、お手軽なはずのphpだと出来無いじゃん！って事でt4j.mediaのリファクタ後の勢いに任せて作ってみました。
PHPからOAuth Echoを使って、画像投稿サイト(yfrogは動画も投稿出来るけど)に簡単にPHPから投稿出来るライブラリです。

対応サイトはこんな感じ

imgly
plixi
twipple
twitgoo
twitpic
yfrog
mobypicture
twipl
posterous

使い方

Services_Twitter_Uploader から最新版を落としてきて、適当なフォルダに突っ込む。

必要なモジュール

HTTP_OAuthとHTTP_Request2。

pear install -f HTTP_OAuth
pear install -f HTTP_Request2

で入ってくれるはず。

コード

require_once "Services/Twitter/Uploader.php";

$oauth = new HTTP_OAuth_Consumer('APP KEY', 'APP SECRET', 'TOKEN', 'SECRET');

$uploader = Services_Twitter_Uploader::factory('yfrog', $oauth);
//twitpicはAPI KEYが必要 http://dev.twitpic.com/apps/new
//$uploader = Services_Twitter_Uploader::factory('twitpic', $this->oauth, 'apiKey');
//proxy経由はこう
//$req = new HTTP_Request2();
//$req->setConfig(array( 'proxy_host' => 'HOST', 'proxy_port' => 'PORT'));
//$uploader = Services_OAuthUploader::factory('yfrog', $oauth,  null, $req);

try {
	$url = $uploader->upload('/path/to/upload.jpg', 'from Services_Twitter_Uploader');
	var_dump($url); // upload後のURL
} catch(Services_Twitter_Uploader_Exception $e) {
	var_dump($e);
}

JSONObjectのgetLongの挙動がおかしい

withgod — Sun, 12 Dec 2010 16:59:40 +0000

せっかくあるんだし、って事で使わせて貰ってるんだけど動作がおかしいところを見つけたので、@yusukeyに共有するためにポスト。

こんな感じのコードを用意して

import twitter4j.internal.org.json.JSONObject;

public class JSonTest {
    public static void main(String[] args) throws Exception {
        //http://api.twitter.com/1/statuses/show/00.xml
        String jsonStr1 = "{" +
                "\"k1\":\"13857270119014401\"," +
                "\"k2\":\"13958500480716800\"," +
                "\"k3\":\"13958500480716801\"," + //sonzai sinai
                "\"k4\":\"13995264494796800\"," +
                "\"k5\":\"13117320041865216\"," +
                "\"k6\":\"13996071046881280\"" +
                "}";
        JSONObject json1 = new JSONObject(jsonStr1);
        System.out.println(json1.getLong("k1"));
        System.out.println(json1.getLong("k2"));
        System.out.println(json1.getLong("k3"));
        System.out.println(json1.getLong("k4"));
        System.out.println(json1.getLong("k5"));
        System.out.println(json1.getLong("k6"));
    }
}

実行するとこんな感じに、末尾が1だった場合に落ちてる。

13857270119014400
13958500480716800
13958500480716800
13995264494796800
13117320041865216
13996071046881280

再現環境
windows 7 64bit jdk 1.6.0_23
twitter4j 2.1.4で発生して、2.1.8でも確認。
mac slでも確認。

追記

取りあえず問題点は解った、文字列(“”で囲ってる)に対して getLong してるせいで落ちてるみたい。
#全然追ってないけど、getDoubleとか呼び出されてる
jsonがおかしいというか、getLongがおかしいというか・・・
getLongが失敗するか、適切に変換した上で返してほしいなあ、と思って試しに文字列を入れるとnot numberつってExceptionが出るので、コード書いた人的には数値文字列ならちゃんと値返すよ！って思って書いてるような気がする。

t4jでは問題が無い

もしかしたら影響有るかも、ってことで@yusukeyに報告上げたけど、特に問題は無いらしい。

@withgod json.orgのライブラリの問題？ですね。Twitter4Jでは JSONObject#getLong() は使っていないです。 twitter4j.internal.util.ParseUtil#getLong(name,json) 使うといいかも。
15分前 YoruFukurouから withgod宛

http://twitter.com/yusukey/status/14317321774432256
こんな動作に対応するためにそういう実装になってるらしい。

@withgod そうですそうです。Twitter API は “100+” とか返してくることもあるので文字としていったんとっていたんだと思います。
6分前 YoruFukurouから withgod宛

http://twitter.com/yusukey/status/14321262973157377
そういやそんな動作あったなあ・・・

makegood を試す

withgod — Thu, 09 Dec 2010 06:57:45 +0000

俺は基本vim+zsh+screenなんだけど、他の要員の事も考えてよさげな makegoodを試してみる。

環境

win 7 64bit
php 5.2.14, xdebug 2.1.0, phpunit 3.5.5
makegod 1.1.0(update site install)

動かしてみたのはこないだから書いてる Services_OAuthUploaderを動かしてみた

取りあえず何も考えずmakegodの設定をこうして全てのテスト実行
テスティングフレームワーク PHPUnit
XML設定ファイル /Services_OAuthUploader/tests/phpunit.xml
プリロードスクリプト空
この状態で動かすと、include_pathの問題で次のエラー


Fatal error: require_once(): Failed opening required 'PHPUnit/Runner/Version.php'  (include_path='.;C:\eclipse_path\plugins\com.piece_framework.makegood.stagehand_testrunner_1.1.0.v201011141637\resources\php\PEAR') in C:\eclipse_path\plugins\com.piece_framework.makegood.stagehand_testrunner_1.1.0.v201011141637\resources\php\PEAR\Stagehand\TestRunner\Preparator\PHPUnitPreparator.php on line 38

PHP executableでphp.ini指定してあって、include_pathも設定してるんだけどその設定は出てきてない・・・
eclipse経由で php -i とか出来たら確実なんだろうけど、PDT普段から使って無いので解らず。

仕方ないので makegod 側で prepare.php を次のように置いてmakegodの設定を変更

プリロードスクリプト /Services_OAuthUploader/tests/prepare.php

この状態で実行すると次のエラー

Services_OAuthUploaderTest::testFactory

RuntimeException: PHP Fatal error:  Class 'Stagehand_CLIController' not found in C:\eclipse_path\plugins\com.piece_framework.makegood.stagehand_testrunner_1.1.0.v201011141637\resources\php\PEAR\Stagehand\TestRunner\TestRunnerCLIController.php on line 47
PHP Stack trace:
PHP   1. {main}() -:0
PHP   2. require_once() -:162

C:\eclipse_path\plugins\com.piece_framework.makegood.stagehand_testrunner_1.1.0.v201011141637\resources\php\PEAR\Stagehand\TestRunner\Runner\PHPUnitRunner.php:115
C:\eclipse_path\plugins\com.piece_framework.makegood.stagehand_testrunner_1.1.0.v201011141637\resources\php\PEAR\Stagehand\TestRunner\TestRunner.php:70
C:\eclipse_path\plugins\com.piece_framework.makegood.stagehand_testrunner_1.1.0.v201011141637\resources\php\PEAR\Stagehand\TestRunner\TestRunnerCLIController.php:380
C:\eclipse_path\plugins\com.piece_framework.makegood.stagehand_testrunner_1.1.0.v201011141637\resources\php\PEAR\Stagehand\TestRunner\TestRunnerCLIController.php:173
C:\eclipse_path\plugins\com.piece_framework.makegood.stagehand_testrunner_1.1.0.v201011141637\resources\php\PEAR\Stagehand\CLIController.php:101
C:\eclipse_path\plugins\com.piece_framework.makegood.stagehand_testrunner_1.1.0.v201011141637\resources\php\bin\phpunitrunner.php:69

何でこうなのかはよく解らんが、適当にgrepして Stagehand\TestRunner\TestRunnerCLIController.php に require_once(‘Stagehand/CLIController.php’);を付けて上記エラーは対応。
が、この状態で実行しても経過時間がひたすら過ぎてくだけの状態。
他の箇所ならともかく、 testFactory なので何が問題なんだろう・・・と思いつつ取りあえず phpunit.xml を外してみたら動いた。

このエントリを作者に投げてやり取りしたところ、問題点はproccessIsolationらしい。

@iteman:
@withgod 結論としてはStagehand_TestRunnerがprocessIsolationをサポートしていないことが原因ですね。将来的にはMakeGoodからはprocessIsolationは常に無効化するつもりですが。代替手段は提供します。

http://twitter.com/iteman/status/12793420296757248

Services_OAuthUploader 作った

withgod — Sat, 04 Dec 2010 19:28:49 +0000

t4jへのpatchの投稿とか、そのまま勢いに任せてリファクタリングとかしてた関係で、oauth echoに対応したuploaderに妙に詳しくなったので、そのままの勢いで Services_OAuthUploader とか作ってみた。

まぁぶっちゃけt4jのmedia関係をそのままphpに移植したと言っても過言では無いんだけど、まぁその辺はご愛嬌。

とりあえずコード書いて、コメント書いて、テスト書いてみた、ってレベルなのでまだpearへの登録とかはしてない(ってか、仕方しらない)

対応サイトはこんな感じ。

imgly
plixi
twipple
twitgoo
twitpic
yfrog

使い方はtest見てください、って事で・・・

実装・テスト書くよりも、コメントだとかredmine,hudson周りの方が時間食ってたと思う(‘A`

取りあえず作ってみた、ってレベルなので今後の予定は未定。
何気なく振ってる1.0.0ってのはpear的にはβとかじゃなくて正式版扱いになると思うので、バージョンは明日にでも変えます。
取りあえず test 周りが結構適当なので、その辺を綺麗にしようかな・・・

Services_Twitter_Uploaderを使って簡単Post

intellij IDEAのフリーカーソルを止める

withgod — Mon, 29 Nov 2010 16:06:35 +0000

文末の改行より横に行けちゃうのがキモイ、ってつぶやいてたら@yusukey からmention貰ったのでこっちでも共有。

http://twitter.com/#!/yusukey/status/8894843900141568

@withgod フリーカーソルは”caret”で設定画面を検索すると設定項目が見つかりますよ。cursorだとみつからない(>_<) "Allow placement of caret after end of line"ってやつです

intellij IDEA 9をwin7上で64bitで動かす

withgod — Mon, 29 Nov 2010 15:59:48 +0000

とある縁から intellij IDEA の ultimate license を貰えたので、ためしに使ってみることに。
インストール時に (x86)に入るので残念だなあ、って事で調べてみたら64bitで使う方法があったので共有。

ここからファイルを貰ってくる。

C:\Program Files (x86)\JetBrains\IntelliJ IDEA 9.0.4\bin

に配置。

同じディレクトリにあるidea.exe.vmoptionsを idea64.exe.vmoptions とコピーして、値を増やす(64bit環境だと32bitと同じMaxPermSizeだと動かなかったです)
取り合えず俺はこんな感じ。

-Xms512m
-Xmx2g
-XX:MaxPermSize=1280m
-ea

環境変数 IDEA_JDKに64bit JDK_HOME を追加。
後はidea64.exe を起動するだけでOK。

しかしIDEAは全然日本語の情報が無いのが困るな。

intellij IDEAのフリーカーソルを止める

cygwin付属のgitでssh経由のcloneが出来ない件

withgod — Wed, 17 Nov 2010 08:27:26 +0000

cygwinでgit cloneがやりたくて取りあえずたたいて見るとこんな感じで失敗する

$ git clone server:/git/repos/hoge.git hoge
Initialized empty Git repository in hoge
Enter passphrase for key '/home/hoge/.ssh/id_rsa':
remote: Counting objects: 1601, done.
remote: Compressing objects: 100% (800/800), done.
fatal: The remote end hung up unexpectedly
fatal: early EOFs:  21% (338/1608)
fatal: index-pack failed

で、何が悪いんだろうって事で調べたところ、これでいけるようになった

export GIT_SSH="C:/Program Files/TortoiseSVN/bin/TortoisePlink.exe"

twitterの新UIを有効にすると、apiのresultが変わる

withgod — Wed, 29 Sep 2010 06:08:48 +0000

表題のまんま。

もともとはtwitterで呟いたんだけど、他にも差異があるかも？と思ってちゃんと比較した。
Webなんて使ってないから新UIなんて関係ない、って呟いてる人もちらほら見かけるし、関係無くないんだよねってのも込めて。

こんな感じにファイルを置いて

/tmp/20100929% ls -al ./*
./new:
total 16
drwxr-xr-x 2 noname noname 4096 Sep 29 14:52 ./
drwxr-xr-x 4 noname noname 4096 Sep 29 14:58 ../
-rw-r--r-- 1 noname noname 2019 Sep 29 14:52 verify.json
-rw-r--r-- 1 noname noname 2470 Sep 29 14:49 verify.xml

./old:
total 16
drwxr-xr-x 2 noname noname 4096 Sep 29 14:52 ./
drwxr-xr-x 4 noname noname 4096 Sep 29 14:58 ../
-rw-r--r-- 1 noname noname 1842 Sep 29 14:52 verify.json
-rw-r--r-- 1 noname noname 2470 Sep 29 14:49 verify.xml

取り合えずdiffで比較とるとこんな感じ


/tmp/20100929% diff -cr ./old ./new
diff -cr ./old/verify.json ./new/verify.json
*** ./old/verify.json   Wed Sep 29 14:52:52 2010
--- ./new/verify.json   Wed Sep 29 14:52:06 2010
***************
*** 6,14 ****
    "location": "iphone:35.661955,139.699769",
    "created_at": "Wed Oct 24 03:48:05 +0000 2007",
    "profile_image_url": "http://a0.twimg.com/profile_images/1106366432/snafver2-fix_normal.jpg",
-   "profile_link_color": "2FC2EF",
    "follow_request_sent": false,
    "url": "http://friendfeed.com/withgod",
    "contributors_enabled": false,
    "favourites_count": 200,
    "utc_offset": 32400,
--- 6,21 ----
    "location": "iphone:35.661955,139.699769",
    "created_at": "Wed Oct 24 03:48:05 +0000 2007",
    "profile_image_url": "http://a0.twimg.com/profile_images/1106366432/snafver2-fix_normal.jpg",
    "follow_request_sent": false,
+   "profile_link_color": "2FC2EF",
    "url": "http://friendfeed.com/withgod",
+   "states": {
+     "pending_email": false,
+     "bouncing_email": false,
+     "detached_email": false,
+     "needs_employee_email_update": false,
+     "suspended": false
+   },
    "contributors_enabled": false,
    "favourites_count": 200,
    "utc_offset": 32400,
***************
*** 19,30 ****
    "lang": "en",
    "protected": false,
    "followers_count": 557,
!   "geo_enabled": true,
    "profile_background_color": "1A1B1F",
    "time_zone": "Tokyo",
    "notifications": false,
    "description": "Learn from yesterday,\r\nlive for today,\r\nhope for tomorrow.",
-   "verified": false,
    "statuses_count": 11998,
    "friends_count": 564,
    "status": {
--- 26,37 ----
    "lang": "en",
    "protected": false,
    "followers_count": 557,
!   "verified": false,
    "profile_background_color": "1A1B1F",
+   "geo_enabled": true,
    "time_zone": "Tokyo",
    "notifications": false,
    "description": "Learn from yesterday,\r\nlive for today,\r\nhope for tomorrow.",
    "statuses_count": 11998,
    "friends_count": 564,
    "status": {
***************
*** 45,51 ****
      "in_reply_to_status_id": 25857587434
    },
    "profile_background_image_url": "http://a1.twimg.com/profile_background_images/128627042/6d0813d6.jpg",
-   "show_all_inline_media": false,
    "screen_name": "withgod",
    "following": false
  }
--- 52,58 ----
      "in_reply_to_status_id": 25857587434
    },
    "profile_background_image_url": "http://a1.twimg.com/profile_background_images/128627042/6d0813d6.jpg",
    "screen_name": "withgod",
+   "show_all_inline_media": false,
    "following": false
  }

微妙に出現順番が変わってるのを割愛すると、statesとかいう要素が増えてる。
jsonは変わってるけど、xmlは変わってない。
suspendなID相手に行うと states->suspended が true になってるかもしれない。
phpとかperlで適当に変数に落とす関数に掛けてるだけ、とかなら良いけど、javaやC++とかでちゃんとvalidationしてると刺さるねこれ。(いや、perlやphpでもちゃんとやってたら別だけど)
これ以上はめんどいからしないけど、もしかしたら他のAPIも変わってるかも？

Hudsonでsimpletestのテストレポートを出す(出せてない)

withgod — Fri, 24 Sep 2010 13:17:09 +0000

取り合えず動かすだけなら、shellの実行で適当にテスト実行を叩けばOKでした。

が、それだけじゃせっかくのHudsonが泣いていて、JUnix形式で吐き出して解析画面を出したい。
で、思考錯誤中。

まず、simpletestでJUnit形式のログを出せないかなーと調べたところ、1.1系なら(何時出るんだろう・・・)、JUnitXMLReporterなる物を発見。
お手軽に1.0.1からアップグレード出来ないかなーと試してみたけど、細部に変更が多いみたいで、エラー出まくりで諦める。

で、その辺をTwitterでつぶやいていたら、Stagehand_TestRunnerなるtesthelperアプリの作者の方からJUnit形式のログ出力のサポートしてるというmentionを貰ったので試し中(完結していません)

取り合えずそのままだと、手元のテストは殆どがWebTestCaseで、UnitTestCaseのサブクラスじゃないとヘルパがテストクラスと認識してくれず動かないので、その辺にこんな感じで手を入れる。
#このアプローチは正直間違いだったと思う、UnitTestCaseをSimpleTestCaseにすりゃ解決だった、まぁ作っちゃったのでそのまま利用中。

http://rider.withgod.jp/src/Stagehand/Stagehand.001.patch

取り合えずこれで、コマンドラインで動作出来るようになる。
そのままHudsonで実行はOK、xUnitでログ解析も正常系ならOK、テストレポートも確認できました。
が、テスト失敗した場合にレポートが出せません。

取り合えず、JUnitXMLDOMWriter がcreateElementする時に <>&辺りをエスケープしてない所を修正
改行コードが複数混じってるときにエンコードがおかしくてXMLWriterがエラー吐くので改行をPHP_EOLで統一+複数あっても1個って具合に無理やり修正

http://rider.withgod.jp/src/Stagehand/Stagehand.002.patch

simpletestがマルチバイト考慮しないで文字をぶった切るせいで、エンコードおかしいとエラー吐くので、適当にmb_を付け足す。

http://rider.withgod.jp/src/Stagehand/simpletest.001.patch

まだ動かせてないですが、作者への情報共有用にblogエントリ立ち上げ。

認証を掛けた状態でのhudsonのリモートビルド

withgod — Thu, 16 Sep 2010 10:02:25 +0000

svnでhookしてbuildしたくて、ググったりして出てくる方法とか、公式の日本語ドキュメント参考にしても上手くいかなかった。

出てくるのはこの方法。

http://あなたのホスト/hudson/job/プロジェクト名/build?token=認証キー

認証掛けてない場合はtokenいらない、認証かけたらtoken発行してやってね、って書いてる。
だけど、これでやっても403が出る。

Authenticating scripted clients　って記事を見つけたので。

autobuildユーザを作って、こんな感じにしてみた。

wget -O /dev/null --auth-no-challenge --http-user=autobuild --http-password=password 'http://example.net/hudson/job/test/build?token=foobar'

最近のTwitterクライアント動向

withgod — Fri, 30 Jul 2010 03:06:39 +0000

ちょっと気になったので現在のTwitterクライアント動向を調べてみた。

こちらのプログラムを拝借してちょっと改変。

Twitter Streaming APIをRubyで試してみる
http://d.hatena.ne.jp/shibason/20090816/1250405491

DBのschema。
streaming apiで複数回して突っ込んでみたので、post_idにuniq張ってmysql任せ。
#複数回す意味って有るかな？と思いつつ、アカウント自体は有るからまぁ別に大した工数でもないから取りあえず。

create table tweet(
    `id` bigint primary key auto_increment,
    post_id bigint not null unique,
    tweet varchar(256) not null,
    source varchar(512) not null,
    created_at datetime not null,
    account varchar(256) not null
);

プログラム。
sample.jsonでpublic_timelineを拾ってきて、正規表現で日本語を含んだのを抜き出してみる。

#!/usr/bin/env ruby
# coding: utf-8

require 'net/http'
require 'uri'
require 'rubygems'
require 'json'
require 'time'
require 'date'
require 'mysql'

USERNAME    = ARGV[0]
PASSWORD    = ARGV[1]
DB_USERNAME = ARGV[2]
DB_PASSWORD = ARGV[3]

my = Mysql::new('127.0.0.1', DB_USERNAME, DB_PASSWORD, 'tweet');

uri = URI.parse('http://stream.twitter.com/1/statuses/sample.json')
begin
    Net::HTTP.start(uri.host, uri.port) do |http|
        request = Net::HTTP::Post.new(uri.request_uri)
        request.basic_auth(USERNAME, PASSWORD)
        http.request(request) do |response|
            raise 'Response is not chuncked' unless response.chunked?
            response.read_body do |chunk|
                status = JSON.parse(chunk) rescue next
                next unless status['text']
                user = status['user']
                if /(?:\xE3\x81[\x81-\xBF]|\xE3\x82[\x80-\x93])/ =~ status['text'] then
                    st = my.prepare("insert into tweet(post_id, tweet, source, created_at, account) values(?, ?, ?, ?, ?)");
                    begin
                            st.execute(status['id'], status['text'], status['source'], Time.parse(status['created_at']), USERNAME)
                    rescue Mysql::Error
                    end
                end
            end
        end
    end
rescue Interrupt
        puts 'end of program'
        my.close()
end

後はこんな感じで幾つか動かした

./get.rb id01 hogehoge tweet tweetpass &
./get.rb id02 hogehoge tweet tweetpass &
./get.rb id03 hogehoge tweet tweetpass &

取りあえずこんな感じで結果を出してみた。
集計期間(created_at) 2010-07-28 23:08:13～2010-07-30 11:30:18
3つのアカウントで同時集計。
total: 111893

rank	source	count
1	web	30066
2	Keitai Web	14146
3	movatwitter	6387
4	Tween	6001
5	API	3930
6	Echofon	3834
7	ついっぷる	3806
8	www.movatwi.jp	3310
9	Twitter for iPhone	3298
10	TwitBird	2951
11	yubitter	2898
12	TweetDeck	2420
13	twittbot.net	1978
14	HootSuite	1300
15	Keitai Mail	1205
16	Twit for Windows	1112
17	twicca	1019
18	Saezuri	967
19	YoruFukurou	869
20	Osfoora for iPhone	803
21	P3:PeraPeraPrv	799
22	Twittelator	784
23	EasyBotter	764
24	twitterfeed	706
25	jigtwi	653
26	Ustream	573
27	Tween	432
28	dlvr.it	385
29	Movatter	359
30	mobile web	340

RTX-1200 をポチった

withgod — Wed, 28 Jul 2010 15:55:19 +0000

ってことで届いた。

昔からずーっと Linux をNATにして自宅ネットワークを構築してきたんだけど、ちょっと前にNIC絡みでとらぶった時に暫定で無線LAN APとして利用していたAtermを普通にルータに使ってみた。
が、やっぱ過負荷時にスループットが低いのと、設定項目が貧弱で困ってて、Linux NATを復活させるか、ix2015をオクでゲットするか、前からずーーーーっと欲しいなあと思ってたRTX1200を買うか、で悩んだ挙句にamazonでポチっとな。

ついでに買ったきりつかってなかったExpress5800 Ge用にHDDを2個買って家庭内ファイルサーバにしたり、自宅ネットワークとWAN向けネットワークの隔離とか、元々使ってたPCをサーバ用にdebian突っ込んでWAN向けに公開とか色々しよう。

全部整理した場合の我が家のネットワーク内でip reachableなホストはこんだけになる予定・・・

WAN向けサーバ2台
LAN向けサーバ1台
クライアントデスクトップ2台
クライアントノート2台
iphone
IS01
xbox360
ps3

No related posts.

ImageMagickのgif出力は遅い

withgod — Mon, 26 Jul 2010 04:51:15 +0000

どんぐらい遅いかっていうと、こんぐらい遅い。
#debian sid, php 5.3.2, Pentium Dual-Core CPU E5200 @ 2.50GHz, mem 2G

自分のTLから適当に画像(text及びユーザアイコン)を収集。
#sort | uniq 済み。
imagickとGDに掛けてみる。
imlib2にしようと思って値とってる最中に、imagickのgifが重すぎなのを見つけたので、取りあえず今回はjpgに変更で対応・・・
file_get_contentsで読み込んだ後にそれぞれにオンメモリで渡して、標準出力に出すだけのプログラムの所要時間。
#勿論、単に回してるだけなので1コア利用。

from-to-回数	imagick(sec)	GD(sec)
all-gif-100	9.089351	0.497831
all-jpg-100	0.340066	0.243432
all-png-100	0.422197	0.303007

allってのは入力画像の種別、この辺をjpgだけーとかにするとまた微妙に差異が有りました、がテーブルにするの面倒なのでallだけで :p

imagickのgifが遅い、ってのはあまり見かけなかったので、記事にしておく。

参考URL
画像処理ライブラリのパフォーマンス比較
ここともう1箇所ぐらいはてなで見かけたけど、URLを失念 (‘A`

直接は関係無いけど嵌ったのが、 Content-type: image/jpg と返すとDoCoMoはいいけど KDDI/Softbank で画像が表示されない。
ちゃんと image/jpeg と返しましょう、手抜きしたせいで微妙にはまった・・・

mac exposeのショートカットのカスタマイズ

withgod — Mon, 24 May 2010 02:28:45 +0000

変な事に手間取ったのでメモ。

システム環境設定=>Expose/Spaces=>Expose だと、全然まともに弄れない。
マウス指してない状態だとボタン1個しか選べないし、マウス＋修飾キーとかも設定出来るんだけど、vx nanoだとこんな事に。

が、システム環境設定=>キーボードとマウス=>キーボードショートカット　でちゃんと弄れる。

とりあえずこんな感じにしてみた。

全てのウィンドウ Option-s
アプリケーションのウィンドウ Option-x
デスクトップ Option-d (win-d)

他とかぶってなきゃいいんだけど。

No related posts.

tombloo で youtube が投稿できない件への対応

withgod — Fri, 23 Apr 2010 21:15:55 +0000

ちょっと前にyoutubeのページ構成が変わってから、tomblooでreblog出来なくなってたので修正してみた。
authorが取れなくなってたので、ちょこっとxpathを書き換えただけ。
取り合えず動くことは確認できたけど、tumblr以外に投げたことが無く、authorを使った投稿先が解らないからそこまでは試してない・・・
#testの動かし方がよーわからん・・・
取り合えずtumblrでは使えてるので良いや。

tombloo/xpi/chrome/content/library/31_Tombloo.Service.extractors.js にpatchあててantでbuldすればおｋ

*** 31_Tombloo.Service.extractors.js.org	2010-04-24 06:02:01.032668300 +0900
--- 31_Tombloo.Service.extractors.js	2010-04-24 05:57:21.313669300 +0900
***************
*** 1230,1236 ****
  			return ctx.host.match('youtube.com');
  		},
  		extract : function(ctx){
! 			var author = $x('id("watch-channel-stats")/a');
  			ctx.title = ctx.title.replace(/[\n\r\t]+/gm, ' ').trim();

  			return {
--- 1230,1236 ----
  			return ctx.host.match('youtube.com');
  		},
  		extract : function(ctx){
! 			var author = $x('id("watch-username")/strong');
  			ctx.title = ctx.title.replace(/[\n\r\t]+/gm, ' ').trim();

  			return {

テストとか全然してないし、plugin作成とかxpathとか不慣れなのでpullはしないでいいや・・・
#ってかこれぐらいなら誰か治すでしょ。

##編集のテスト

twitter4j で streaming api を触ってみた

withgod — Thu, 22 Apr 2010 10:35:04 +0000

ずーっと続いてる咳のせいで変な時間に目が覚めて寝れなかったので、昨晩書いてみた。
status.filterを使って、twitpic,yfrog,movapicを探してきてウィンドウにずらずら並べるだけ、こんな感じ。
サムネイルをクリックで該当ページに飛べます。

これ落としてきて、展開してから、cmdかshの中のid,passを変更すれば動きます。
http://withgod.googlecode.com/files/streamingdemo.zip
ソース
http://code.google.com/p/withgod/source/browse/trunk/twitter/StreamingDemo.java

一応 win7とos xで動作確認済み。

ってか、streaming apiの部分よりSwing周りの方がめんどかった (‘A`

まとめ

・twitter4j 使えば streaming api もお手軽に触れる
・FlowLayout + JScrollPane を使うと、横スクロール無しにしても横の長さが無制限になってしまうから FlowScrollLayoutを使って回避
・javaからブラウザを立ち上げるのはめんどいので、BrowserLauncher2を利用

かなりやっつけ感の漂うソースだけど、まぁ気にしない。

一応補足

これをSwingのサンプルにしちゃ駄目です。
別スレッドから本スレッドを更新する場合は、SwingUtilitiesやSwingWorkerを使うべきです。
使わず適当に書いてみたら動いたので、楽なんでそのままですが、突然Nullpoとか起きる場合があったりするかと。
#swtの場合はそもそも動かないんだけど、Swingは普通に動かせちゃう。

limechatの画像表示にhatenaのアイコンも追加

withgod — Fri, 16 Apr 2010 13:40:22 +0000

さっき書いた日記の、limechat for macで画像を表示する件、twitter以外にも対応すると楽しいなーと思ってソースを眺めてみたら、imgタグで呼び出してるだけだったので、呼び出し先を変えりゃ良いかとこんなの作ってみた。

avator proxy on gae
ソース avator proxy on gae
認証が必要じゃない、users/showが既にobsolute入りしてる上に、代替で提示されてるAPIだとprofile_imageが取れないので、user_timelineから取得。
時々取得できない場合があるけど、多分この辺の理由。
#そのうち成功するんで俺は気にならないけど。
tweetimagは多分API limitの許可を出してると思う(Services_Twitterの開発者だった人だし(今はinactive))
img.tweetimag.esをw-avatarproxy.appspot.comに書き換えてbuildすれば動きます。

ほんとはgravatarあたりに対応すれば楽しいかも？と思ったけど、ここはメアドから取得するみたいだからircじゃ基本駄目なので放置。
twitter->hatenaの順で取得してるけど、twitterだと何時も使ってる名前が取れない場合がありそうだから、hatenaから先にとったほうがええんかなーと思いつつも放置。

tweetimagとの違いは時々取得に失敗するのと、画像変換を自前で掛けてないのでオリジナル画像が返ってきます。
アニメーションgifとか、アルファ付きpngとかもそのまま。
48×48は保障されません(twitter側が時々48×48じゃない画像を返してくる)
#hatenaは64×64

No related posts.

tig.rb のtimeline(post)が出てこないのに対応する patch

withgod — Fri, 16 Apr 2010 07:15:11 +0000

LimeChat で Twitter ユーザのプロフィール画像を表示するでtig.rbなるものを知ったのでやってみたものの、timelineが見えなかった。
環境依存なのかもしれないけど(深く考えるのめんどい)、次の構成で発言が見えなかったのでquick patch.
ppして値がある場所探して突っ込んだだけです。

debian squeeze/sid

- T i a r r a – :::version #0.1+svn-35566:::
tig.rb r35371(svn latest)
perl 5.10.1
ruby 1.8.7

patch書いた後にtiarraは最新にしたけど特に問題無く動作してるっぽい。

*** ./tig.rb.org        2010-04-16 15:48:34.000000000 +0900
--- ./tig.rb    2010-04-16 15:59:42.000000000 +0900
***************
*** 1679,1687 ****
        def message(struct, target, tid = nil, str = nil, command = PRIVMSG)
                unless str
                        status = struct.is_a?(Status) ? struct : struct.status
!                       str = status.text
                        if command != PRIVMSG
!                               time = Time.parse(status.created_at) rescue Time.now
                                str  = "#{time.strftime(@opts.strftime || "%m-%d %H:%M")} #{str}" # TODO: color
                        end
                end
--- 1679,1687 ----
        def message(struct, target, tid = nil, str = nil, command = PRIVMSG)
                unless str
                        status = struct.is_a?(Status) ? struct : struct.status
!                       str = struct.text
                        if command != PRIVMSG
!                               time = Time.parse(struct.created_at) rescue Time.now
                                str  = "#{time.strftime(@opts.strftime || "%m-%d %H:%M")} #{str}" # TODO: color
                        end
                end

よく打つUnixコマンドその2

withgod — Thu, 15 Apr 2010 17:11:42 +0000

先日やった奴だけど、sudoやxargsが気になったのでもうちょっとまじめに測ってみた。
取り合えずやっつけでこんなスクリプト用意して

#!/usr/bin/perl
use strict;
while(<>) {
        my @items = split /\|/;
        for my $item (@items) {
                $item =~ s/[\r\n]+//;
                $item =~ s/^[ \t]+//;
                $item =~ s/^[A-Z\-|]+=[^ ]+//; #ignore setenv
                $item =~ s/^(sudo|xargs) //;
                my @tmp = split / /, $item;
                print $tmp[0] . "\n";
        }
}

こんな感じで計測

history -n 1 | ./filter.pl| sed 's/lla\?/ls/' | sort | uniq -c | sort -r | head -20
   4770 ls
   3021 cd
   2104 lv
   2069 grep
   2008 vim
    947 screen
    818 find
    774 aptitude
    714 w3m
    682 ps
    534 rm
    519 svn
    432 cp
    418 apt-cache
    401 perl
    385 locate
    343 chmod
    331 mv
    325 apt-get
    317 mkdir

まぁ当然のごとくfindやgrepが急上昇。
ってか意外と少なくね？と思ったけど、そういやHISTSIZE=500000とかしてるけど、zshの補完で重くなるから、historyで完璧に重複してる奴は削除とかしたのを思い出した。

HTTP_OAuthに XAuthを追加

withgod — Thu, 15 Apr 2010 08:00:48 +0000

結構やっつけだけど取り敢えず動くようにはした。
ほんとはConsumerクラス自体を継承するなり、拡張するなりした方がスマートだと思うんだけど、PHPって複数のコンストラクタを用意出来ないっぽいので、後方互換を考えて別クラスに。
んで、getTokenだけ対応して後はConsumerクラス使ってね、って感じ。
http://github.com/withgod/HTTP_OAuth
githubの使い方が良く解らないのだが、こんな感じで良いんだろうか。

Services_Twitter 0.5.1 に users.searchを追加するpatch

withgod — Wed, 07 Apr 2010 13:17:46 +0000

api.xmlとTwitter.phpに充てればOK。

テストコードも一応こんな感じで。
http://code.google.com/p/withgod/source/browse/trunk/twitter/110-users-search.phpt

以前連絡したコミッタにメールで送ったので、多分そのうち取り込まれます。

よく打つunixコマンド

withgod — Tue, 06 Apr 2010 07:59:25 +0000

via mattn ってことで、そのままだと上手く動かなかったのでちょっとアレンジしてペタりと。

history -n 1 | awk '{print $1}' | sort | uniq -c | sort -r | head -20

結果

   3256 sudo
   3011 cd
   1701 ls
   1693 lla
   1523 vim
   1289 ll
   1214 lv
    959 screen
    812 find
    714 w3m
    678 ps
    635 grep
    519 svn
    442 rm
    379 cp
    371 locate
    364 perl
    297 mv
    282 mkdir
    282 aptitude

lla,llはlsのalias。設定弄ることが多いからsudoは当たり前っちゃあ当たり前。繋いですぐscreen -r だからscreenも当然か。
w3mは多分殆どが -head_dump だと思われる。
ってかこれだとパイプで繋いでる場合は出てないだろうから、sudo1位が当たり前かも。ってかsed,awkとか入らんよな・・・

新しいPC購入, geekbench

withgod — Sat, 27 Mar 2010 18:51:02 +0000

新しいデスクトップを買ったので、先日に引き続きgeekbenchやってみた。
今回もマウスコンピュータでお買い上げしてみた。
Corei7, メモリ8G, GTX285, Windows 7Ultimateで16万ぐらいだった。

geekbench結果

Summary

Section	Description	Score	Geekbench Score
Integer	Processor integer performance	8140	7195
Floating Point	Processor floating point performance	8945
Memory	Memory performance	4217
Stream	Memory bandwidth performance	3726
Geekbench 2.1.5 for Windows x86 (32-bit)

System Information

Operating System	Microsoft Windows 7 Ultimate
Model	MCJ Co.,Ltd. P55-SD	Motherboard	MCJ Co.,Ltd. P55-SD
Processor	Intel(R) Core(TM) i7 CPU 860 @ 2.80GHz
Processor	ID GenuineIntel Family 6 Model 30 Stepping 5
Processors	4	Threads 8
Cores	4	Memory	7.99 GB SDRAM 0 MHz
Processor Frequency	2.80 GHz	Bus Frequency	133 MHz
L1 Instruction	Cache 256 KB	L1 Data Cache	256 KB
L2 Cache	1.00 MB	L3 Cache	8.00 MB
BIOS	American Megatrends Inc. V1.1B2

radiko dashboard

withgod — Tue, 23 Mar 2010 18:15:02 +0000

via otsune で知った、radikoのdashboard化。
これは便利、って事で早速使おうと思ったんだけど、局選択めんどくさいなあ、でかいと邪魔だなあ、ってかそれってdashboard widgetにした方がよくね？って事でTutorial見ながら初めてのdashboard widget、のはずが上手く行かなかったんだけど、前記のDashboard化を使って取り敢えず解決。

コレをsafariで開いて、適当に切り出せばOK。

手元でdashboard widgetにしようとして失敗したのはこんな感じ。
左がちゃんとdashboard widget化した状態で、右が上のhtmlをsafariで切り出した物。

ちゃんとplayerを解析すればどうにかなると思うんだけど、小さいプレイヤーでチャンネルを選ぶ、は達成出来てるので満足。
恐らくdashboardでswfが動かない訳ではなく、playerのhtmlとdashboardの仕様があってないだけだと思うんだけど・・
#dashboardとか全然知らないので適当言ってるかも

関西の人はradiko.htmlとjqueryのjsを落として、コメントアウトしてる部分を使うと良いかと。
ってか多分だけど、サーバのhtmlを利用したら毎回リクエストしなくちゃいけない気がするので(=うちが落ちてると使えない)、ローカルに落としたファイルを使った方が良いかもって事で、zipで置いときます。

No related posts.

本棚の画像

withgod — Tue, 23 Mar 2010 06:07:34 +0000

最近本棚を追加して、漫画と技術書の類いを分けられたので写真撮ってみた。
そして意外と技術書が少ない事にしょんぼり、まぁ最近は殆ど買ってないし、昔よく買ってた時は月刊誌系が多かったからだと自分を慰めて？みる。

流石にもう読まねーだろ、って本は会社に捨て^H^H置いてきたりしてるし、いらん本は結構捨ててきた。
と、プレビューしてたらまだVBの本とかあるな、8年ぐらい前に買ったんじゃないかこれ、、、
デザパタ本とかのヤニまみれっぷりが自分でも軽く引けるw

No related posts.

流石佐川2

withgod — Sun, 21 Mar 2010 12:44:56 +0000

⇒ 配達店へ持ち帰りました。
↑ 2010年03月21日 目黒店から配達に出発致しました。
↑ 2010年03月19日 11:26 ご不在でしたので、お預かりしております。
↑ 2010年03月19日 目黒店から配達に出発致しました。
↑ 2010年03月18日 12:38 ご不在でしたので、お預かりしております。
↑ 2010年03月18日 目黒店から配達に出発致しました。
↑ 2010年03月16日 18:36 太田店を出発致しました。
↑ お荷物をお預かり致しました。

不在通知無いし、ってか昨日の履歴消えてるし、どーいうことなの・・

流石佐川

流石佐川

withgod — Sat, 20 Mar 2010 16:53:36 +0000

今日届く予定の荷物が届かないなーと、夕方ぐらいに荷物お問い合わせサービスで確認

↑ 2010年03月20日 目黒店から配達に出発致しました。
↑ 2010年03月19日 11:26 ご不在でしたので、お預かりしております。
↑ 2010年03月19日 目黒店から配達に出発致しました。
↑ 2010年03月18日 12:38 ご不在でしたので、お預かりしております。
↑ 2010年03月18日 目黒店から配達に出発致しました。
↑ 2010年03月16日 18:36 太田店を出発致しました。
↑ お荷物をお預かり致しました。

で、21:00ぐらいにも来てないなーと、したの郵便受けにまで(うちは2階)不在通知が無いか見に行ったりもして確認するも不在通知無し。
そんなこと忘れてて、今問い合わせサービスで確認

⇒ 配達店へ持ち帰りました。
↑ 2010年03月20日 目黒店から配達に出発致しました。
↑ 2010年03月19日 11:26 ご不在でしたので、お預かりしております。
↑ 2010年03月19日 目黒店から配達に出発致しました。
↑ 2010年03月18日 12:38 ご不在でしたので、お預かりしております。
↑ 2010年03月18日 目黒店から配達に出発致しました。
↑ 2010年03月16日 18:36 太田店を出発致しました。
↑ お荷物をお預かり致しました。

不在でしたが無いってどういう事なの・・・

流石佐川2

tumblr_photo_down

withgod — Tue, 16 Mar 2010 14:55:13 +0000

dsbdを眺めてたら、javaで出来たtumblr-photoなる物が流れてきた。
javaはvmの起動遅いからなーとか思ったり、H2かー、とか、1年以上手を入れられてないのかー、とか思ったので、pythonで同じようなのを書いてみた。
最近pythonも触ってなかったので、復習も兼ねて。

http://bitbucket.org/withgod/tumblr-photo-down/src/tip/tumblr_photo_down.py
python-tumblrに依存してます。
このライブラリはTumblrIterator(postのiterator)とか作ってくれるので、ビューワ系作るには良さげ、ただtumblr自体のAPIがしょぼいので、reblog系はめんどくさげ。

引数にtumblrのIDを指定すれば動きます。

./tumblr_photo_down.py withgod

python 2.5以上じゃないと動かないと思う、2.6は多分大丈夫。
動作確認とった環境

debian sid + python 2.5.5(作った環境、ここから下は動作確認)
windows vista + python 2.6.2
mac os(10.2) python 2.6.4(portから入れた奴)

ファイルの情報はsqliteなdbに書き込んでるので、落としてきたファイルは移動させても問題無し。
postのidと、画像ファイルのmd5で重複チェックしてます。
jpgしか落としません。

google code を svn => hg

withgod — Sat, 13 Mar 2010 08:44:32 +0000

svk使うのも面倒だし、今更ながらgoogle codeがmecurialに対応しているのを知ったので移行。
linuxだと割と簡単に移行できるんだけど、windows環境だと大変っぽい(必要なpython bindingがUTF8がどーたらで動かすの大変っぽい)
って事で俺はdebian squeezeで行いました。

dpkg -l | grep mercurial
ii  mercurial 1.4.3-1  scalable distributed version control system
ii  mercurial-common 1.4.3-1 scalable distributed version control system (common files)

hg同梱？のconvertを使って移行する、hgrcに設定が必要なので次の行を追加。

[extensions]
hgext.convert=

後は適当なディレクトリでおもむろに次を実行

hg convert -s svn http://withgod.googlecode.com/svn/trunk/ withgod

結構時間掛かります、大量にコミットしてる場合はsvnsyncとか使ってローカルにコピーした上でやったほうが吉。

後はgoogle側で prj home=>admin=>source=>Version control systemでmecurialに変更してから、出来上がったディレクトリでpushするだけ。

cd ./withgod
hg push https://withgod.googlecode.com/hg/

ちなみにmecurialに移行後でも何故かsvnは生きてたりするので、このままこっそり裏でsvnを使い続けて表に出さないとか出来ると思う(やってないけど、hgも出来ると思われる・・・)

と言いながらやってみたけど、使い道がsnipetってか、prj作るまでもないコードを置いてるだけだから、google code使うぐらいならbitbucketでよかったかもしれない・・・
svnならまだ見かけるけど、hgで特定のディレクトリ以下だけ使う、なんて方法取らないよなあ・・・(‘A`)

GUIプログラミング言語

withgod — Sun, 07 Mar 2010 06:54:09 +0000

社内で使ってるしゃべる(twitter clone)用のクライアントが欲しくて(public timelineを読めるクライアント)。
無いみたいだから自分で作るかー、と物色。

取り合えず候補で思いついたのがこんな感じ。

perl/tk
swing
swt,jface
air
qt

perl/tkはランタイム入れなくちゃいけないのでパス(ってか今時tkってのもね・・・)。
airはmxmlが便利なんだけど、最近ずっとflex触ってたのでパス。
swingは遅いからパス。
触ったことないし、swt試してみるか、って事でswtを触る。

まずまともなRADが無いため手でシコシコ書く、twitter関連のところはt4jが助けてくれるので楽チン、ただしUIがめんどくさくてめんどくさくて・・・
取り合えず作りはしたものの、それ以上手を入れる気がしなくて放置。

これじゃあかんなと、qtを触ってみる。
QT CreatorとかいうIDEとdesignerというRADが付随してて、超簡単にGUIが作れる、ダイアログとかも簡単に作れて感激。
ただし、それ以外の部分が手間掛かりまくって泣ける、泣ける。
自分が普段からc++なんて触ってないってのもあるんだけど、それだけじゃないめんどくささ。
そもそもjavaですら面倒でLLな言語使う俺がc++ってのが間違い。
そして当たり前のようにt4jみたいな便利なものは無い、、、(幾つかライブラリが有るにはあるが、開発下火・・・)
GUI作って、適当に表示させて終了。
自動更新とか色々つける前にかったるくて力尽きる。

PyQTなら楽かなーと思い始める。
ちょっと試してみたけど、Designerで作ったUIを.pyに変換してくれて、スクリプトからnewすれば簡単にUIも用意出来る。
これは！ってランタイム入れる問題とか有るじゃん・・・←今ココ

このままPyQT使うか、素直にair使うか、どうせwindows環境だけなんだからこれをきっかけにC#でも触るか、jface試してみるか・・・

[Perl][メモ] Perlの@INCへの追加

Services_Twitter 0.5.0 140文字制限に引っかかる問題

withgod — Wed, 24 Feb 2010 01:46:07 +0000

Services_Twitterはご丁寧にTwitterに渡す前に中で140文字制限を行っているが、その際に文字数を数える関数がstrlenなのでmultibyteな環境で問題が発生しちゃう。

修正点は簡単、mb_strlenを使えば良いだけなのでこんなpatchでOK。
http://code.google.com/p/withgod/source/browse/trunk/twitter/Services_Twitter.php.patch
とりあえずうちでは問題なく動作してます、phpはあまり自信無い。

公式に送りつけたので、一応mb_strlenが有るかどうかぐらいはチェックしてる。
Twitterの性質上、mb_*が必須でいいじゃん、とも思うんだけど、中々あっちの人々にはその辺を理解させるのが大変なのでパス(というか俺の英語力じゃ絶対無理)、せめて採用して貰える形に。
と思ったんだけど、diggの中の人が対応してくれるっぽいので期待出来るかも？

つーか、以前からずっとこの状況だったみたいだし、報告ぐらいしようよ、、、

YFrog Oauth Post 2

withgod — Mon, 15 Feb 2010 14:46:56 +0000

先日あげた記事の続き。

前回の方法で取得したsigned urlを使ってyfrogを試していると、yfrogから時々エラーが返ってくる。
なんでじゃーって事で調査したところ、次のような感じ。

t4j単体で verify_credentialsを利用した場合はエラー発生しない
取り出したURLをquery stringで利用した場合、10回に1,2回検証失敗が返る
取り出したURLをちゃんとauthorizationヘッダに付加して動作させた場合は失敗しない

ちなみにquery stringで動作させてみたのは何となく突っ込んだら動いたので、そのまま検証してたら失敗がちらほら。
authorizationヘッダって必須じゃなかったっけ？と思ったんだけど(実際、2次ソースを眺めてた限りだと必須と見て
きている)、oatuh.netの文章を見てみるとこんな感じ。

5.4. OAuth HTTP Authorization Scheme
This section defines an [RFC2617] extension to support OAuth. It uses the standard HTTP Authorization and WWW-Authenticate headers to pass OAuth Protocol Parameters.
It is RECOMMENDED that Service Providers accept the HTTP Authorization header. Consumers SHOULD be able to send OAuth Protocol Parameters in the OAuth Authorization header.
The extension auth-scheme (as defined by [RFC2617] ) is OAuth and is case-insensitive.

RECOMMENDEDでSHOULD beなので、必須では無さそうな気が・・・
すぐ下でもこんな感じで書いてる。

Appendix A.5.3. Requesting Protected Resource
All together, the Consumer request for the photo is:

http://photos.example.net/photos?file=vacation.jpg&size=original

Authorization: OAuth realm=”http://photos.example.net/”,
oauth_consumer_key=”dpf43f3p2l4k3l03″,
oauth_token=”nnch734d00sl2jdk”,
oauth_signature_method=”HMAC-SHA1″,
oauth_signature=”tR3%2BTy81lMeYAr%2FFid0kMTYa%2FWM%3D”,
oauth_timestamp=”1191242096″,
oauth_nonce=”kllo9940pd9333jh”,
oauth_version=”1.0″

And if using query parameters:

http://photos.example.net/photos?file=vacation.jpg&size=original&oauth_consumer_key=dpf43f3p2l4k3l03&oauth_token=nnch734d00sl2jdk&oauth_signature_method=HMAC-SHA1&oauth_signature=tR3%2BTy81lMeYAr%2FFid0kMTYa%2FWM%3D&oauth_timestamp=1191242096&oauth_nonce=kllo9940pd9333jh&oauth_version=1.0

うーん・・・

取り敢えず前記の検証結果から、t4jの問題というのは無さそう。

こっから先は憶測だけど、こんな感じじゃないのかなあ・・・

yfrogはquery stringで委譲されたURLをtwitterに投げてる
twitter側でAPが混在してて、Authorizationヘッダが必須なのと必須じゃないのが居る

せっかく1次ソース読んでも英語の理解力ががががが。

YFrog OAuth Post

withgod — Thu, 11 Feb 2010 10:33:09 +0000

twitterAPIのBasic認証の廃止が予告されて久しい今日この頃、YFrogがoauthでの投稿に対応していたので試しました。

とある事情でoauthクライアントのデモを作る必要があり、GUI作らなくちゃいけなかったのでswtでいっかーな感じでjavaを採用、javaなら取り合えずTwitter4Jでいっか、PINベース認証も組み込まれてるし最高。
な感じでT4Jを利用したはいいけど、自前でOAuthを実装してる+綺麗に隠蔽されてるのでverify_condのURLの取得にちょっと手間取りました。
#想定外の使い方+ライブラリとしてすごく綺麗に作られてて、Userには見えないように隠蔽されてるのでライブラリの問題ではありません。

作者の@yusukeyの力を借りて、かなり強引気味なhack。
上のyusukeyのメールのリプライをそのまま実装しただけです。
#勝手に実装した場合はhackつーよりfu*kな実装になった事は間違いない。

ってことでコード、t4j,commons-httpclient 3.0とその周辺に依存しています。
http://code.google.com/p/withgod/source/browse/trunk/twitter/YFrogSample.java

package sample;

import java.io.File;
import java.io.IOException;
import java.net.HttpURLConnection;
import java.net.URL;
import java.net.URLDecoder;

import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.HttpStatus;
import org.apache.commons.httpclient.methods.PostMethod;
import org.apache.commons.httpclient.methods.multipart.FilePart;
import org.apache.commons.httpclient.methods.multipart.MultipartRequestEntity;
import org.apache.commons.httpclient.methods.multipart.Part;
import org.apache.commons.httpclient.methods.multipart.StringPart;

import twitter4j.conf.Configuration;
import twitter4j.conf.ConfigurationContext;
import twitter4j.http.AccessToken;
import twitter4j.http.OAuthAuthorization;

public class YFrogSample {

	public static void main(String[] args) throws Exception{
		if (args.length != 2 || !(new File(args[1])).exists()) {
			System.err.println("no parameter/invalid filepath");
			System.exit(1);
		}
		Configuration conf = ConfigurationContext.getInstance();
		System.out.println(conf);
		OAuthAuthorization oauth = new OAuthAuthorization(conf, conf.getOAuthConsumerKey(), conf.getOAuthConsumerSecret(),
															new AccessToken(conf.getOAuthAccessToken(), conf.getOAuthAccessTokenSecret()));
		YFHttpURLConnection yfCon = new YFHttpURLConnection();
		oauth.setAuthorizationHeader("GET", "https://api.twitter.com/1/account/verify_credentials.xml",null, yfCon); 

		String signedURL = yfCon.authorizationHeader;
		System.out.println("signedURL" + signedURL);
		signedURL = signedURL.replaceFirst("^OAuth ", "");

		String[] signedURLs = signedURL.split(",");
		String verify_url = "https://api.twitter.com/1/account/verify_credentials.xml?";
		System.out.println("signed parameters");
		for (int i = 0; i < signedURLs.length; i++) {
			String tmp  = signedURLs[i].replaceAll("\"", "");
			String[] kv = tmp.split("=");
			System.out.println("\t" + i + ":" + kv[0] + "/" + URLDecoder.decode(kv[1], "UTF-8"));
			verify_url += kv[0] + "=" + URLDecoder.decode(kv[1], "UTF-8") + "&";
		}
		verify_url = verify_url.replaceFirst("&$", "");
		System.out.println("signed url rebuild [" + verify_url + "]");

		HttpClient client = new HttpClient();
		PostMethod post   = new PostMethod("http://yfrog.com/api/upload");

		File f = new File(args[1]);
		Part[] parts = {
				new StringPart("auth", "oauth"),
				new StringPart("verify_url", verify_url),
				new StringPart("username", args[0]),
				new StringPart("password", ""),
				new FilePart("media", f)
		};
		post.setRequestEntity(new MultipartRequestEntity(parts, post.getParams()));
		client.getHttpConnectionManager().getParams().setConnectionTimeout(5000);

		int status;
		try {
		status = client.executeMethod(post);
		if (status == HttpStatus.SC_OK) {
			System.out.println("post complete");
			System.out.println(post.getResponseBodyAsString(1024*2));
		} else {
			System.err.println("post failure");
			System.err.println(HttpStatus.getStatusText(status));
		}
		} catch(Exception e) {
			e.printStackTrace();
		} finally {
			post.releaseConnection();
		}
	}
	static class YFHttpURLConnection extends HttpURLConnection {
		public String authorizationHeader = null;
		protected YFHttpURLConnection(URL u) {
			super(u);
		}
		public YFHttpURLConnection() {
			super(null);
		}

		public void addRequestProperty(String key, String value){
			if("Authorization".equals(key)){
				System.out.println("catch Authorization header [" + value + "]");
				authorizationHeader = value;
			}
		}
		@Override
		public void disconnect() {
		}
		@Override
		public boolean usingProxy() {
			return false;
		}
		@Override
		public void connect() throws IOException {
		}
	}
}

Javaとか普段は殆ど触らないのでおかしい点があるかも知れないけど、取り合えず動作はしています。
ただ、この実装を正式に組み込むのはどうかと思います、必要に応じた実装であり、結構dirtyです。
T4Jの3.0か、YF4Jを作ると@yusukeyが言っていたので期待 :)

geekbench

withgod — Thu, 14 Jan 2010 20:08:26 +0000

geekbenchなるものを見つけたので、最近買ったmacbookの性能が知りたくて試してみる。
比較用にwinのdesktopの値もペタリ

win desktop

summary

Section	Description	Score	Geekbench Score
Integer	Processor integer performance	5380	4076
Floating Point	Processor floating point performance	4489
Memory	Memory performance	1921
Stream	Memory bandwidth performance	2379
Geekbench 2.1.4 for Windows x86 (32-bit)

System Information

Operating System	Microsoft Windows Vista Ultimate
Model	MICRO-STAR INTERNATIONAL CO.,LTD MS-7360	Motherboard	MICRO-STAR INTERNATIONAL CO.,LTD MS-7360
Processor	Intel(R) Core(TM)2 Quad CPU Q6600 @ 2.40GHz
Processor ID	GenuineIntel Family 6 Model 15 Stepping 11
Processors	1	Threads	4
Cores	4	Memory	3.00 GB SDRAM 0 MHz
Processor Frequency	2.40 GHz	Bus Frequency	267 MHz
L1 Instruction Cache	128 KB	L1 Data Cache	128 KB
L2 Cache	8.00 MB	L3 Cache	0.00 B
BIOS	American Megatrends Inc. V1.AB2

macbook pro

summary

Section	Description	Score	Geekbench Score
Integer	Processor integer performance	2928	3541
Floating Point	Processor floating point performance	5241
Memory	Memory performance	2516
Stream	Memory bandwidth performance	1791
Geekbench 2.1.4 for Mac OS X x86(32-bit)

System Information

Operating System	Mac OS X 10.6.2 (Build 10C540)
Model	MacBook Pro(13-inch Mid 2009)	Motherboard	Apple Inc. Mac-F2268AC8
Processor	Intel(R) Core(TM)2 Duo CPU P8700 @ 2.53GHz
Processor ID	GenuineIntel Family 6 Model 23 Stepping 10
Processors	1	Threads	2
Cores	2	Memory	4.00 GB 1067MHz DDR3
Processor Frequency	2.53 GHz	Bus Frequency	1.06 GHz
L1 Instruction Cache	32.0 KB	L1 Data Cache	32.0 KB
L2 Cache	3.00 MB	L3 Cache	0.00 B
BIOS	Apple Inc. MBP55.88Z.00AC.B03.0906151708

やっぱ思った感じにはなったかな、CPUは新しいとはいえ、C2Q相手じゃ分が悪いよね(2.4ってなってるけど、OCして3.0で動かしてます。)
メモリはDDR3はやっぱ強い。Streamで負けてるのがちょっと意外だけど・・・
ってか、geekbenchって名前で勘違いしてたけどGNUとかじゃなかったのね・・・64bitはレジストしろとか怒られてしょんぼり。
まぁ何が疲れたって、結果をtableに起こすのが疲れた。

wordpress 2.9にapcいれた場合のベンチその2

withgod — Fri, 08 Jan 2010 06:36:13 +0000

先日の日記に続いて第二弾。
今回はこのblogに入れたのと同じpluginを導入しての計測も追加。
#このblogとは別鯖です。

評価環境

環境が以前とはちょっと違うので明記。

評価環境: debian sid; CPU: Pentiu Dual-Core E5200(2.5Ghz) メモリ2G HDD; apache(2.2.14),php(5.2.11),mysql(5.1.41)はすべてaptで設定は多分デフォルト; wordpressは2.9を入れてそのまま利用; plugin導入時は16個程動いてる状態

前みたいに仮想に対しての計測では無く同一サーバ上でabも動かしてたり、他のサービスも共存してたりでCPUがスカスカの状態ではないので計測回数を多めに。

計測結果

さくっと結果。

/tmp/20100108% grep ./*
./plugins-napc_010-100_1.log:Requests per second:    3.13 [#/sec] (mean)
./plugins-napc_010-100_2.log:Requests per second:    3.42 [#/sec] (mean)
./plugins-napc_010-100_3.log:Requests per second:    3.57 [#/sec] (mean)
./plugins-napc_010-100_4.log:Requests per second:    3.57 [#/sec] (mean)
./plugins-napc_010-100_5.log:Requests per second:    3.60 [#/sec] (mean)
./plugins-napc_010-100_6.log:Requests per second:    3.39 [#/sec] (mean)
./plugins-napc_010-100_7.log:Requests per second:    3.59 [#/sec] (mean)
./plugins-napc_010-100_8.log:Requests per second:    3.58 [#/sec] (mean)
./plugins-napc_010-100_9.log:Requests per second:    3.60 [#/sec] (mean)
./plugins-yapc_010-100_1.log:Requests per second:    5.09 [#/sec] (mean)
./plugins-yapc_010-100_2.log:Requests per second:    5.24 [#/sec] (mean)
./plugins-yapc_010-100_3.log:Requests per second:    4.84 [#/sec] (mean)
./plugins-yapc_010-100_4.log:Requests per second:    5.27 [#/sec] (mean)
./plugins-yapc_010-100_5.log:Requests per second:    5.21 [#/sec] (mean)
./plugins-yapc_010-100_6.log:Requests per second:    5.26 [#/sec] (mean)
./plugins-yapc_010-100_7.log:Requests per second:    5.27 [#/sec] (mean)
./plugins-yapc_010-100_8.log:Requests per second:    5.24 [#/sec] (mean)
./plugins-yapc_010-100_9.log:Requests per second:    5.25 [#/sec] (mean)
./simple-napc_010-100_1.log:Requests per second:    4.29 [#/sec] (mean)
./simple-napc_010-100_2.log:Requests per second:    4.33 [#/sec] (mean)
./simple-napc_010-100_3.log:Requests per second:    4.21 [#/sec] (mean)
./simple-napc_010-100_4.log:Requests per second:    4.26 [#/sec] (mean)
./simple-napc_010-100_5.log:Requests per second:    4.33 [#/sec] (mean)
./simple-napc_010-100_6.log:Requests per second:    4.27 [#/sec] (mean)
./simple-napc_010-100_7.log:Requests per second:    4.28 [#/sec] (mean)
./simple-napc_010-100_8.log:Requests per second:    4.29 [#/sec] (mean)
./simple-napc_010-100_9.log:Requests per second:    4.33 [#/sec] (mean)
./simple-yapc_010-100_1.log:Requests per second:    6.22 [#/sec] (mean)
./simple-yapc_010-100_2.log:Requests per second:    6.60 [#/sec] (mean)
./simple-yapc_010-100_3.log:Requests per second:    6.57 [#/sec] (mean)
./simple-yapc_010-100_4.log:Requests per second:    6.60 [#/sec] (mean)
./simple-yapc_010-100_5.log:Requests per second:    6.59 [#/sec] (mean)
./simple-yapc_010-100_6.log:Requests per second:    6.62 [#/sec] (mean)
./simple-yapc_010-100_7.log:Requests per second:    6.61 [#/sec] (mean)
./simple-yapc_010-100_8.log:Requests per second:    6.59 [#/sec] (mean)
./simple-yapc_010-100_9.log:Requests per second:    6.53 [#/sec] (mean)

サマリはこんな感じ。

プラグイン導入	APC	平均値	無し無しに対する比率	APC有無の比率
無し	無し	4.29	-	-
無し	有り	6.55	154%	154%
済み	無し	3.49	81%	-
済み	有り	5.19	121%	148%

前回のplugin導入すればするほど、って仮説は嘘だったカモ。
と言いつつ、導入してるpluginが大したこと無いの多いからかなーと思ったり。
このサーバの場合(同じplugin入れてるんで)、apcのモニタをみるとTOP20中で1番は YARPPなんですが、今回の集計はトップを対象にしているので、YARPPは動作してない(はず)。
で、それ以外はWP本体のファイルばっか上がっている状態。これがWP本体よりもpluginの方が多くなってくれば導入した場合の効果は更にでかくなるような気がする。
そしてそこまでやる気力は無かった。
巷を見てると、ke-tai styleやwp-cacheのファイルが上位に来るっぽいので、それを入れて計測すりゃいいのかなあ。

Server Admin Tools

withgod — Wed, 06 Jan 2010 16:24:34 +0000

Mac上でグループの管理とかやりたくてアカウントの項目とか見てもぜんぜん出てこない。
なんでやーつって調べたら、Server Admin Toolsなるものが必要らしい。
インストールするとアプリケーション=>サーバの下に色々出てくるんで、その中のワークグループマネージャ.appを利用してグループの管理。
この辺の情報って全然見かけないんだけど、必要とされないのかなあ・・・