get_hatebu-log ::はてなブックマークのログをダウンロード。エクスポート機能の代替手段を提供

戻る

「はてなブックマーク」の自分のログデータを、ダウンロードできるソフトウェア「get_hatebu-log」を提供します。“エクスポート”機能の代わりになります。

ソーシャルブックマークサービスである「はてなブックマーク」には、“エクスポート”機能があり、バックアップや他のサービスへの乗り換えを想定して、自分のログデータ(何をいつブックマークして、どのようなコメントをつけたか)をダウンロードできます。しかし、最近、同機能の調子が悪く(、さらに私のログデータが 2万件以上と多いせいか)、ダウンロードができません。2013年 8月には、何度か試みた結果、深夜時間帯になんとか成功しましたが、2013年12月には、何度 試みても失敗でした。

そこで、ダウンロードするプログラムを書いて、ダウンロード成功することを確認しました。同じようにお困り方が多いと思いますので、公開します:


「はてなブックマーク」のログデータをダウンロードできる「get_hatebu-log」の公開・配布を開始 ←ご意見などは、このブログ記事のコメント欄にお願いいたします Twitter:
このエントリーをはてなブックマークする このエントリーを含むはてなブックマーク

 

ダウンロード

免責事項: 本ソフトウェアをダウンロードすること、及び使用することに関して発生した一切の損失に関し、TAKAGI-1 は責任を負わないことをご了承のうえで、ダウンロード・ご使用ください。

ダウンロードはこちらから:

必要な環境

インストール方法

ZIP形式に圧縮されているので、解凍して、適当なフォルダに入れて下さい。

使い方

使用開始前に

  1. 以前に、はてなブックマークからのエクスポートに成功した、ブックマーク形式のログファイル(dump.htm)がありましたら、get_hatebu-logフォルダに入れてください。

    ※: はてなブックマークからのエクスポートできる形式には、ブックマーク形式に加え、Atomフィード形式とRSS 1.0形式があります。本ソフトウェアで対応しているのは、ブックマーク形式のみです。

  2. Pythonのパスが通っていない場合(通し方が分からない場合)は、1ヶ所、バッチファイルを書き換えて下さい。

    「Pythonのパスが通っていない場合」とは、コマンドプロンプトで、python と入力して、Enterキーを押した際に、

    'python' は、内部コマンドまたは外部コマンド、
    操作可能なプログラムまたはバッチ ファイルとして認識されていません。
    と表示される場合のことです。

    書き換える箇所(全1ヶ所)は、以下の通りです:

    「[1]はてなからブクマRSSを取得する.bat」の53行目を

    52行目: echo なお、Enterキーが押されると、ダウンロードが開始されます。
    53行目: python get-rss_hatebu-dump.py %id% .\rsss %pages%
    から、例えば、
    52行目: echo なお、Enterキーが押されると、ダウンロードが開始されます。
    53行目: C:\Python27\python.exe get-rss_hatebu-dump.py %id% .\rsss %pages%
    に書き換えて、「[1]はてなからブクマRSSを取得する.bat」を上書き保存してください。すなわち、「python」を、python.exe のパスに書き換えてください。

実行の仕方

標準的な使い方について説明します。

はじめてお使いの場合は、以下の順でバッチファイルを実行してください。各バッチファイルはダブルクリックで起動します(コマンドプロンプト画面上〈黒画面のウィンドウ〉で動きます)。起動後は、表示される案内に従ってください。各バッチファイルを完全に終了させてから(案内に従うと、コマンドプロンプトが閉じます)、次のバッチファイルを起動させて下さい。

  1. [0]処理起点を初期設定する.bat
  2. [1]はてなからブクマRSSを取得する.bat
  3. [2]取得したデータを使ってブクマファイルを更新する.bat
  4. [3]作ったブクマデータを次回の処理の起点にする.bat

2回目以降 お使いの場合は、以下の順でバッチファイルを実行してください。各バッチファイルの使い方は、上記と同様です。

※2回目以降 お使いの場合は、標準的には「[0]処理起点を初期設定する.bat」の実行しないでください。なお、もし起動しても、処理を実行しないで終了させることができます。表示される案内に従って下さい。

  1. [1]はてなからブクマRSSを取得する.bat
  2. [2]取得したデータを使ってブクマファイルを更新する.bat
  3. [3]作ったブクマデータを次回の処理の起点にする.bat

実行の結果・アウトプット

実行の結果として、get_hatebu-logフォルダに、dump-unified.htm が作成されます(文字コード: UTF8)。はてなブックマークのログデータです。はてなブックマークからエクスポートできるブックマーク形式のファイル(dump.htm)に相当します。

また、同じ内容で dump-unified_euc.dat が作成されます(文字コード: EUC-JP)。

技術的な情報

中身

初期時にないファイルは、青字で示します。

get_hatebu-log
   dump_euc.dat
   emptydump_euc.dat
   encode_euc-jp_to_utf8.perl
   encode_utf8_to_euc-jp.perl
   get-rss_hatebu-dump.py
   hb-unifier.pl
   hb-unifier_euc.perl
   jcode.pl
   [0]処理起点を初期設定する.bat
   [1]はてなからブクマRSSを取得する.bat
   [2]取得したデータを使ってブクマファイルを更新する.bat
   [3]作ったブクマデータを次回の処理の起点にする.bat
   rsss   : 初期時は空フォルダです。ダウンロードされたファイルが保存されます。
   backup   : 初期時は空フォルダです。ダウンロードされたファイルとdump-unified_euc.dat のバックアップが保存されます。
   dump.htm   : 以前、はてなブックマークからのエクスポートに成功したブックマーク形式のログファイル(dump.htm)がありましたら、
               dump.htmというファイル名で、入れて下さい。参考:「使用開始前に」節の 1項
   dump-unified.htm   : 実行の結果として作成されます。
   dump-unified_euc.dat   :実行の結果として作成されます。

仕組みを一言で言うと

はてなブックマークから「http://b.hatena.ne.jp/[USER_ID]/rss?of=0」、「http://b.hatena.ne.jp/[USER_ID]/rss?of=20」、「http://b.hatena.ne.jp/[USER_ID]/rss?of=40」……をダウンロードし、これらをつなぎ合わせています。

データの流れ

    dump.htm  emptydump_euc.dat
       ↓            ↓   
[ [0]処理起点を初期設定する.bat ]
              ↓
          dump_euc.dat ←←←←←←←*
              ↓
              ↓          はてなブックマーク(http://b.hatena.ne.jp/[USER_ID]/rss?of=0,20,40,……)
              ↓                        ↓
              ↓          [ [1]はてなからブクマRSSを取得する.bat ]
              ↓                        ↓                    ↓
              ↓          rsss/0.xml, 1.xml, 2.xml, ……   左記内容をbackupフォルダへ
              ↓                        ↓
[ [2]取得したデータを使ってブクマファイルを更新する.bat ]      
              ↓            ↓                    ↓
dump-unified.htm   dump-unified_euc.dat   左記内容をbackupフォルダへ
                            ↓
                            ↓
[ [3]作ったブクマデータを次回の処理の起点にする.bat ]
                            ↓
                            └→* (dump_euc.dat を dump-unified_euc.dat で上書きする)

関連

公開開始: 2014/ 2/ 2


戻る

© 2014 TAKAGI-1