Torで接続元を匿名化しスクレイピング [Python]
環境Ubuntu 16.04
Python 3.8.2
現在のIPアドレスを確認
Python 3.8.2
現在のIPアドレスを確認
torを導入する前に、現在のIPアドレスを確認してみる。
現在のIPアドレスの取得については、過去記事でまとめたので、参考にされた ...
現在のグローバルIPアドレスを確認(複数のサイトから) [Python]
「Python IPアドレス」などで検索すると、IPを取得する方法がたくさん出てくるのだが、多くのサイトは、ひとつのサイトからの情報をあてにしているものが多い。
ひとつのサイトからの取得だと、IPアドレスを取得するサイトが ...
ModuleNotFoundError: No module named ‘di_i2c’
GrovePiのサンプルプログラムを動作させる際のエラーの解決法を記録する。
ただ単に、sudo python grove_pir_motion_sensor.py で実行すれば良いだけだった。
CounterをDictionary(辞書)に変換[Python]
import pandas as pdfrom collections import Counterd = Counter({'A': 1, 'B': 2, 'C': 3})df = pd.DataFrame.from_dict(d, or ...
matplotlibのx軸を縦書き(90度回転)にする[Python]
import matplotlib.pyplot as pltplt.bar(, )plt.xticks(rotation=90)# plt.show()plt.savefig('fig.png')m
マイナス値を入れることも可能
SciSpaCyでテキストからStopWord, 句読点, 数字を除去する
自然言語で書かれたテキストの前処理として、“I, you, we, am, are” など、一般的に用いられるトークン (Stop word) や、数字や、句読点などを除去することがある。この前処理には、Gen ...
cronが動かないときに試したこと[cron]
サーバー上でpythonスクリプトをcronで動かそうとしたとき、うまくいかなかったときのことをメモする。
まず、Google検索でみつかったいくつかのブログを参考にし、crontabの記述を確認したり、権限を確認したり、 ...
博論日記 [書籍紹介]
3年で終わるつもりが、もう7年目・・・奨学金なし、貯金なし、社会人経験もほとんどない・・・博論が終わってもポストがない・・・周りは何をしているのか全く理解してくれないし、「で、まだ博論書いているの?」と言われ続ける日々。自身もかつて博 ...
yamlでスクリプトの引数やファイルパスなどを読み込む [Python][yaml]
インストール
pip install pyyamlまずは、config.yamlを作成
# config.yamln_class: 10xml_path:/home/ubuntu/disk/xml次にconfi ...
「TXTを1つずつ読み込んで空のDataframeに結合」を繰り返す [Python][Pandas]
from pathlib import Pathdef txt_to_df(str_txt): # TXTをDataframeに変換する、何らかの処理 return dftxt_path = Path("./txt/")all_df = p ...