KaggleのAPIで中断されたダウンロードを再開する方法
https://www.kaggle.com/c/imagenet-object-localization-challenge/data
など,kaggleで提供されているデータのサイズが大きい場合,kaggleの公式APIでは途中で通信が途切れてダウンロードに失敗してしまうことがある.
この問題に困ってissueを漁っていると,以下の投稿を発見
https://github.com/Kaggle/kaggle-api/issues/24
どうやら有志の方が別ブランチで途中再開の機能を付けてくれたみたいだ
下記のコマンドでkaggleのAPIをインストールしなおし,中断からの再開を繰り返すことで,巨大なデータセットのダウンロードに成功した.
pip install --force-reinstall git+https://github.com/csachs/kaggle-api.git@resumable
初めてダウンロードしたファイルが中断され,2度目にコマンドを実行する際は,"imagenet-object-localization-challenge.zip: Skipping, found more recently modified local copy (use –force to force download)"となるので,下記のように--force
オプションを加えて実行する.
kaggle competitions download --force -c imagenet-object-localization-challenge
ディスカッション
コメント一覧
まだ、コメントがありません