KaggleのAPIで中断されたダウンロードを再開する方法

https://www.kaggle.com/c/imagenet-object-localization-challenge/data

など,kaggleで提供されているデータのサイズが大きい場合,kaggleの公式APIでは途中で通信が途切れてダウンロードに失敗してしまうことがある.

この問題に困ってissueを漁っていると,以下の投稿を発見

https://github.com/Kaggle/kaggle-api/issues/24

どうやら有志の方が別ブランチで途中再開の機能を付けてくれたみたいだ

下記のコマンドでkaggleのAPIをインストールしなおし,中断からの再開を繰り返すことで,巨大なデータセットのダウンロードに成功した.

pip install --force-reinstall git+https://github.com/csachs/kaggle-api.git@resumable

初めてダウンロードしたファイルが中断され,2度目にコマンドを実行する際は,"imagenet-object-localization-challenge.zip: Skipping, found more recently modified local copy (use –force to force download)"となるので,下記のように--forceオプションを加えて実行する.

kaggle competitions download --force -c imagenet-object-localization-challenge

API,Kaggle

Posted by vastee