12月2日付でリストを作り直していました。
えーと、昨日のエントリにも追記したとおり、fav_count(お気に入り人数)とfaved_count(お気に入られ人数)を取得する際に、,(コンマ)が含まれていると正規表現マッチに失敗していました。その人のブックマーク数を取るときには,を考慮して取得していたんだけどなあ、ということでその辺を急ぎ修正で直してアップし直したんですが、まあ誤差があるのも何だよな、というのと、もう一つ気になることがありまして、昨日の夕方から取得し直していました。
気になること、というのは。
ええ、気になるのは「お気に入りを使っていない人」が少なすぎる、ということですね。それまで数千人単位でいたのに、2人まで減るなんてあり得ないじゃないですか。
そんなわけで、スクリプトとはてブのソースを見て。
これをスクレイピングするとそうなるのね。
新しいはてブでは、お気に入り一覧を「アイコン表示」「リスト表示」でカスタマイズできます。これのデフォルトがどちらになっているかとか、カスタマイズが見る側依存なのか相手次第なのかとかそう言うのは調べていませんが、どちらでも対応できる方法がないといけないな、とは感じていました。
そんなわけで、新しいスクリプトでは、classが"profile-icon"なAタグのリンク先を使ってお気に入り一覧を取得しています。
ところが、実はお気に入りって、自分自身をお気に入りにすることが可能なんですね。これがなんだかいやなので、自分自身をお気に入りにしている場合、それはお気に入りから外すようにしていました。これはこれで良かったんですが。
ひとつ考え違いがあったのは、class="profile-icon"だったのはお気に入りのアイコンだけじゃなかった、ってことなんですね。そのページの自分自身のアイコンにもリンクが張ってあります。ここにリンクが張ってあってなんか意味があるようには思えないんですが、まあSEOだかDBの都合だかわかりませんが何か理由があるんだろうなあということにしておきます。
で、これがあるおかげで、お気に入りがない人というのはほぼ0になってしまったんですね。2,というのはたぶん何らかのエラーでスクレイピング出来ない人ではないかと思うのです。
作り直した結果がこれだよ。
なんで1日で把握される人数が200人近くも増えるのかはわかりませんし、はてブ辞める人が100人も減るのかも微妙です。というか、まあデータを精査すれば、増えたり減ったりした分はページ取得の失敗が減ったからじゃないかな、というようなことが思えるんですが、まあ精査してませんしね。
新しいデータとスクリプト
ちなみに2日19時頃から作り直して、今日の17時頃に取得が終わったので、まあ取得には22時間くらいでしょうか。昨日よりも安定してますね。
データそのものはこちらから取得できますし、新しいスクリプトもこちらからダウンロードできます。
正直、スクリプトの方はもともと3時間くらいでquick hackして作りなおしたやつで、さらに汚くなっているので参考にして欲しくはないのですが、まあそのうち公開する、と言った以上は公開しておこうかと。
