get_hatebu-log ::はてなブックマークのログをダウンロード。エクスポート機能の代替手段を提供

「はてなブックマーク」の自分のログデータを、ダウンロードできるソフトウェア「get_hatebu-log」を提供します。“エクスポート”機能の代わりになります。

ソーシャルブックマークサービスである「はてなブックマーク」には、“エクスポート”機能があり、バックアップや他のサービスへの乗り換えを想定して、自分のログデータ(何をいつブックマークして、どのようなコメントをつけたか)をダウンロードできます。しかし、最近、同機能の調子が悪く(、さらに私のログデータが 2万件以上と多いせいか)、ダウンロードができません。2013年 8月には、何度か試みた結果、深夜時間帯になんとか成功しましたが、2013年12月には、何度試みても失敗でした。

そこで、ダウンロードするプログラムを書いて、ダウンロード成功することを確認しました。同じようにお困り方が多いと思いますので、公開します:

「はてなブックマーク」のログデータをダウンロードできる「get_hatebu-log」の公開・配布を開始 ←ご意見などは、このブログ記事のコメント欄にお願いいたします

Twitter:

ダウンロード

免責事項: 本ソフトウェアをダウンロードすること、及び使用することに関して発生した一切の損失に関し、TAKAGI-1 は責任を負わないことをご了承のうえで、ダウンロード・ご使用ください。

ダウンロードはこちらから:

get_hatebu-log_20181231.zip　2018/12/31 版　はてなブックマークでのAtomフィード配信の終了と、フィードのページング仕様の変更のお知らせ (2018/10/ 1)に対応しました。

~~get_hatebu-log_20140202.zip　2014/ 2/ 2 版~~

必要な環境

バッチファイルを使用しています。Windows上で動作します。
Perlスクリプトを使用しています。Perlが使えるようにして下さい。　ActivePerl - 窓の杜ライブラリ
Pythonスクリプトを使用しています。Pythonが使えるようにして下さい。　プログラミング言語 Python

インストール方法

ZIP形式に圧縮されているので、解凍して、適当なフォルダに入れて下さい。

使い方

使用開始前に

以前に、はてなブックマークからのエクスポートに成功した、ブックマーク形式^※のログファイル(dump.htm)がありましたら、get_hatebu-logフォルダに入れてください。

※: はてなブックマークからのエクスポートできる形式には、ブックマーク形式に加え、Atomフィード形式とRSS 1.0形式があります。本ソフトウェアで対応しているのは、ブックマーク形式のみです。
Pythonのパスが通っていない場合(通し方が分からない場合)は、1ヶ所、バッチファイルを書き換えて下さい。

「Pythonのパスが通っていない場合」とは、コマンドプロンプトで、python と入力して、Enterキーを押した際に、
'python' は、内部コマンドまたは外部コマンド、操作可能なプログラムまたはバッチファイルとして認識されていません。
と表示される場合のことです。

書き換える箇所(全1ヶ所)は、以下の通りです:

「[1]はてなからブクマRSSを取得する.bat」の53行目を
52行目: echo なお、Enterキーが押されると、ダウンロードが開始されます。 53行目: python get-rss_hatebu-dump.py %id% .\rsss %pages%
から、例えば、
52行目: echo なお、Enterキーが押されると、ダウンロードが開始されます。 53行目: C:\Python27\python.exe get-rss_hatebu-dump.py %id% .\rsss %pages%
に書き換えて、「[1]はてなからブクマRSSを取得する.bat」を上書き保存してください。すなわち、「python」を、python.exe のパスに書き換えてください。

実行の仕方

標準的な使い方について説明します。

はじめてお使いの場合は、以下の順でバッチファイルを実行してください。各バッチファイルはダブルクリックで起動します(コマンドプロンプト画面上〈黒画面のウィンドウ〉で動きます)。起動後は、表示される案内に従ってください。各バッチファイルを完全に終了させてから(案内に従うと、コマンドプロンプトが閉じます)、次のバッチファイルを起動させて下さい。

[0]処理起点を初期設定する.bat
[1]はてなからブクマRSSを取得する.bat
[2]取得したデータを使ってブクマファイルを更新する.bat
[3]作ったブクマデータを次回の処理の起点にする.bat

2回目以降お使いの場合は、以下の順でバッチファイルを実行してください。各バッチファイルの使い方は、上記と同様です。

※2回目以降お使いの場合は、標準的には「[0]処理起点を初期設定する.bat」の実行しないでください。なお、もし起動しても、処理を実行しないで終了させることができます。表示される案内に従って下さい。

[1]はてなからブクマRSSを取得する.bat
[2]取得したデータを使ってブクマファイルを更新する.bat
[3]作ったブクマデータを次回の処理の起点にする.bat

実行の結果・アウトプット

実行の結果として、get_hatebu-logフォルダに、dump-unified.htm が作成されます(文字コード: UTF8)。はてなブックマークのログデータです。はてなブックマークからエクスポートできるブックマーク形式のファイル(dump.htm)に相当します。

また、同じ内容で dump-unified_euc.dat が作成されます(文字コード: EUC-JP)。

技術的な情報

中身

初期時にないファイルは、青字で示します。

get_hatebu-log dump_euc.dat emptydump_euc.dat encode_euc-jp_to_utf8.perl encode_utf8_to_euc-jp.perl get-rss_hatebu-dump.py hb-unifier.pl hb-unifier_euc.perl jcode.pl [0]処理起点を初期設定する.bat [1]はてなからブクマRSSを取得する.bat [2]取得したデータを使ってブクマファイルを更新する.bat [3]作ったブクマデータを次回の処理の起点にする.bat rsss : 初期時は空フォルダです。ダウンロードされたファイルが保存されます。 backup : 初期時は空フォルダです。ダウンロードされたファイルとdump-unified_euc.dat のバックアップが保存されます。 dump.htm : 以前、はてなブックマークからのエクスポートに成功したブックマーク形式のログファイル(dump.htm)がありましたら、 dump.htmというファイル名で、入れて下さい。参考:「使用開始前に」節の 1項 dump-unified.htm : 実行の結果として作成されます。 dump-unified_euc.dat :実行の結果として作成されます。

仕組みを一言で言うと

はてなブックマークから「http://b.hatena.ne.jp/[USER_ID]/rss?of=0」、「http://b.hatena.ne.jp/[USER_ID]/rss?of=20」、「http://b.hatena.ne.jp/[USER_ID]/rss?of=40」……をダウンロードし、これらをつなぎ合わせています。

データの流れ

dump.htm emptydump_euc.dat ↓ ↓ [ [0]処理起点を初期設定する.bat ] ↓ dump_euc.dat ←←←←←←←＊ ↓ ↓ はてなブックマーク(http://b.hatena.ne.jp/[USER_ID]/rss?of=0,20,40,……) ↓ ↓ ↓ [ [1]はてなからブクマRSSを取得する.bat ] ↓ ↓ ↓ ↓ rsss/0.xml, 1.xml, 2.xml, …… 左記内容をbackupフォルダへ ↓ ↓ [ [2]取得したデータを使ってブクマファイルを更新する.bat ] ↓ ↓ ↓ dump-unified.htm dump-unified_euc.dat 左記内容をbackupフォルダへ ↓ ↓ [ [3]作ったブクマデータを次回の処理の起点にする.bat ] ↓ └→＊ (dump_euc.dat を dump-unified_euc.dat で上書きする)