環境

• Windows10
• Python 3.8.6

環境構築

Python標準のvenvを使って仮想環境を構築し、そこに必要なパッケージをインストールしました。

$ cd "~/Google Drive Viewer"
$ python -m venv .venv
$ source .venv/Scripts/activate
(.venv) $ python -m pip install --upgrade pip
(.venv) $ pip install --upgrade google-api-python-client google-auth-httplib2 google-auth-oauthlib

GCPプロジェクトの作成と認証情報のダウンロード

Google Developer Consoleでプロジェクトを作成して、認証情報をclient_id.jsonとしてダウンロードしてください。

Pythonスクリプト

公式チュートリアルを参考にPythonスクリプトを書きます。

from __future__ import print_function
import pickle
import os.path
from googleapiclient.discovery import build
from google_auth_oauthlib.flow import InstalledAppFlow
from google.auth.transport.requests import Request

# アプリに必要な権限を設定
SCOPES = [
    # Google Driveの全ファイル読み込み専用
    'https://www.googleapis.com/auth/drive.readonly'
]

credentials = None
# 認証トークンがあれば読み込む
if os.path.exists('token.pickle'):
    with open('token.pickle', 'rb') as token:
        credentials = pickle.load(token)

# 認証情報が有効でなければGoogleのログイン画面を開いて新たに生成
if not credentials or not credentials.valid:
    if credentials and credentials.expired and credentials.refresh_token:
        credentials.refresh(Request())
    else:
        flow = InstalledAppFlow.from_client_secrets_file(
            'client_id.json', SCOPES)
        credentials = flow.run_local_server(port=0)
    # Save the credentials for the next run
    with open('token.pickle', 'wb') as token:
        pickle.dump(credentials, token)

# Google Drive API v3のオブジェクトを生成
service = build('drive', 'v3', credentials=credentials)

# APIを使う(ファイルの一覧を10件取得)
results = service.files().list(
    pageSize=10, fields="nextPageToken, files(id, name)").execute()
items = results.get('files', [])

# 結果を表示
if not items:
    print('No files found.')
else:
    print('Files:')
    for item in items:
        print(u'{0} ({1})'.format(item['name'], item['id']))

実行

実行時に有効なユーザーの認証情報がtoken.pickleに保存されていない場合は、Googleのアプリ認証ページがブラウザで開かれます。

もしくは、以下のような形でアプリ認証ページのURLがターミナルに表示されます。

# 実行
(.venv) $ python main.py
# 表示されたURLで自分のGoogleアカウントにログインする
Please visit this URL to authorize this application: https://accounts.google.com/o/oauth2/auth?response_type=code&client_id=...

Googleによって確認されていないアプリの場合は警告が出ます。
詳細からアプリのページに移動します。

必要な権限(プログラムではSCOPESで指定)が表示されるので、許可を選びます。

画面が自動的に閉じて、ユーザーの認証情報がtoken.pickleに保存されます。

例のプログラムではGoogle Driveのファイルの一覧を10件取得して表示するので、
この後ターミナルにファイルの一覧が表示されます。

参考

• Python Quickstart | Google Drive API | Google Developers

この手順で作成可能な環境のバージョンは、インストールされているPythonのバージョンのみです。

プロジェクトごとに仮想環境を作成すると、それぞれのプロジェクトが干渉するなどのトラブルを避ける事ができます。

Windows標準のPowerShellとGit for Windowsをインストールすると利用可能になるBashで手順を説明します。

PowerShellでの手順

例として、プロジェクトのディレクトリpython_project/をデスクトップに作ります。

# プロジェクトのディレクトリを作成
PS > mkdir $HOME\Desktop\python_project\

作成したプロジェクトのディレクトリ内に、venvで仮想環境.venvを作ります。

# プロジェクトのディレクトリに移動
PS > cd $HOME\Desktop\python_project\
# 仮想環境を作成
PS > python -m venv .venv

仮想環境を有効化します。gcmコマンドで参照されるPythonの位置を調べられるので、有効にする前と後でPythonの参照先が変わる事を確認します。

# 参照先の確認
PS > gcm python

# 有効化する
PS > .\.venv\Scripts\activate
# 参照先の確認
(.venv) PS > gcm python

# 無効化する
(.venv) PS > deactivate
# 参照先の確認
PS > gcm python

この操作はPowerShellを新しく起動する度に必要になります。
Python実行前に(.venv)がコマンド入力行の先頭にあるかを確認しましょう。

Bashでの手順

Bashでは基本的な流れは同じですが、有効化にはsourceコマンドを使います。

# プロジェクトのディレクトリに移動
cdHOME/Desktop/python_project/

# 参照先の確認
which python

# 有効化 source .venv/Scripts/activate
# 参照先の確認
which python

# 無効化
(.venv) deactivate
# 参照先の確認
$ which python

こちらもPowerShell同様Bash起動時に毎回必要になります。

OpenCVで画像を読み込んでNumPyで弄った後に符号無し8ビット整数に変換して書き出そうとした時に躓いたのでメモ。

概要

元の型より精度が低い整数型への型変換numpy.ndarray.astype(dtype)は変換前にnumpy.ndarray.clip(min, max)をすべきです。

例えば、a.astype(np.uint8)する時は以下のようにa.clip(0, 255)で値を先に制限します。

>>> import numpy as np
>>> a = np.array([-1, 0, 255, 256])
# こうではなくて
>>> a.astype(np.uint8) 
array([255,   0, 255,   0], dtype=uint8)
# こうする
>>> a.clip(0, 255).astype(np.uint8) 
array([  0,   0, 255, 255], dtype=uint8)

以下は詳細です。

環境

対話環境で確認しました。

$ python
Python 3.7.7 (tags/v3.7.7:d7c567b08f, Mar 10 2020, 10:41:24) [MSC v.1900 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import numpy as np
>>> np.__version__
'1.18.3'

numpy.ndarray.astype(numpy.uint8)とは

読んで字の如く、型変換のメソッドです。

numpy.ndarrayに対して型名を引数にして呼ぶと、配列が指定した型に変換されて返ってきます。

>>> a = np.zeros((32, 32, 3), dtype=np.float16)
>>> a.dtype
dtype('float16')
>>> a.astype(np.uint8).dtype
dtype('uint8')

落とし穴

uint8では0~255の数値を表せますが、その範囲外の数値を変換した時に想像とは違う数値変換がされます。

範囲内の場合

0~255の範囲内の場合は想像した通りの変換、つまり何も変換されません。

>>> a = np.array([0, 1, 10, 64, 150, 255])
>>> a.astype(np.uint8)
array([  0,   1,  10,  64, 150, 255], dtype=uint8)

範囲外の場合

一方、範囲外では少なくとも想像とは違う結果になりました。変換は以下の通りです。

>>> b = np.array([256, 511, 512, 32767, 32768, -1, -128, -127, -32768, -32767])
>>> b.astype(np.uint8)
array([  0, 255,   0, 255,   0, 255, 128, 129,   0,   1], dtype=uint8)

浮動小数点数からの変換は以下の通り。

>>> c = np.array([256.1, 511.3, 512.2, 32767.8, 32768.1, -1.2, -128.0, -127.9, -32768.5, -32767.4])
>>> c.astype(np.uint8)
array([  0, 255,   0, 255,   0, 255, 128, 129,   0,   1], dtype=uint8)

想像では、256 -> 255や-1 -> 0のように近い方の整数に丸めて欲しかったのですが、どうやら実際は少数部分を切り捨てた後に十分なビット数で符号付き整数に変換した後に下位8ビットを取る変換をしているようです。

なので、256 -> 0000 0001 0000 0000 -> 0000 0000 -> 0、-1 -> 1111 1111 -> 255、-128 -> 1000 0000 -> 128となっています。

解決法

意図しない変換がされる前に先に近い方の整数に丸める変換してしまいましょう。

近い方の整数に丸めるには、numpy.clip(a, a_min, a_max)かnumpy.ndarray.clip(min, max)を使います。前者と後者の違いは呼び出し方だけです。

>>> b = np.array([256, 511, 512, 32767, 32768, -1, -128, -127, -32768, -32767])
# numpyから呼び出して引数に指定する
>>> np.clip(b, 0, 255).astype(np.uint8)
array([255, 255, 255, 255, 255,   0,   0,   0,   0,   0], dtype=uint8)
# numpy.ndarrayから呼び出す
>>> b.clip(0, 255).astype(np.uint8)
array([255, 255, 255, 255, 255,   0,   0,   0,   0,   0], dtype=uint8)

浮動小数点数に対しても想像通りの変換がされるようになりました。

>>> c = np.array([256.1, 511.3, 512.2, 32767.8, 32768.1, -1.2, -128.0, -127.9, -32768.5, -32767.4])
>>> np.clip(c, 0, 255).astype(np.uint8) 
array([255, 255, 255, 255, 255,   0,   0,   0,   0,   0], dtype=uint8)
>>> c.clip(0, 255).astype(np.uint8) 
array([255, 255, 255, 255, 255,   0,   0,   0,   0,   0], dtype=uint8)

警告も無しに気軽に変換してくれるので、諸々の事は勝手にやってくれると思っていたのですが、実は結構気に掛けねばならない事もあるようです。

ともかくこれで、OpenCVで出力した画像が白飛びしたりしなくなりました。めでたしめでたし。

参考文献

• numpy.ndarray.clip
• numpy.clip
• numpy.ndarray.astype

問題のコード

以下のようなディレクトリ構造で、それぞれのファイルには次のような内容が書かれています。

意図した動作としては、main.pyを実行するとmain.pyからpkg1パッケージ内のmod1モジュールの関数func2をロードしてmain.py内で実行します。

mod1モジュールの関数func2はmain.pyにある関数func1の返り値をprintする関数です。

mytest
|-- pkg1/ (パッケージ1)
   |-- __init__.py
   |-- mod1.py (モジュール1)
|-- main.py (実行ファイル)

# main.py
from pkg1.mod1 import func2

var1 = 'foo'


def func1():
    return var1

if __name__ == '__main__':
    func2()

# pkg1/__init__.py

# pkg1/mod1.py
from main import func1

def func2():
    print(func1())

インポート時にエラーが起きる

main.pyとpkg1/mod1.pyで相互にインポートしているので、実行時に次のようなエラーが発生します。

# (bash)
$ python main.py
Traceback (most recent call last):
  File "main.py", line 2, in <module>
    from pkg1.mod1 import func2
  File "...\mytest\pkg1\mod1.py", line 2, in <module>
    from main import func1
  File "...\mytest\main.py", line 2, in <module>
    from pkg1.mod1 import func2
ImportError: cannot import name 'func2' from 'pkg1.mod1' (...\mytest\pkg1\mod1.py)

解決策

main.pyのみを編集する解決策としては次の2通りが有ります。

解決策1 : ローカルスコープインポート

1つ目の解決策は、循環インポートを応急的に解消する方法です。

# main.py
var1 = 'foo'


def func1():
    return var1

if __name__ == '__main__':
    from pkg1.mod1 import func2
    func2()

main.pyでのモジュールの参照を、main.pyがトップレベルとして実行された時に限定します。

これで、mod1.pyでmain.pyを参照した時にはmod1.pyが参照されないため、循環インポートが解消されて正常に実行出来るようになります。

解決策2 : ワイルドカードインポート

2つ目の解決策は、func2を名指しでインポートしていた所をワイルドカードインポートに変更します。

# main.py
from pkg1.mod1 import *

var1 = 'foo'


def func1():
    return var1

if __name__ == '__main__':
    func2()

こうすると、プログラムが正常に実行出来るようになります。

ちょっと待って

1つ目の解決策は循環インポートが解消されたので実行出来るようになるのは理解出来ます。

しかし、2つ目の解決策は何も解決しているように見えません。

検証

どういう経路で実行されているのか知るために、main.pyとpkg1/mod1.pyのファイルの先頭とインポートの前後にprint()を置きました。

# ファイルの先頭
print('Loading ファイル名 =', __name__)

# インポートの前後
print('Before import, pkg1/mod1.py =', __name__)
# from ... import ...
print('After import, pkg1/mod1.py =', __name__)

また、var1が定義された時間を調べるためにtimeモジュールを使います。

# var1 = 'foo'
var1 = time.time()
print(__name__, var1)

解決策1の経路

解決策1の場合の経路です。

# (bash)
$ python main.py
Loading main.py = __main__              # 実行コマンドによるロード
__main__ 1580243970.7842584             # __main__でvar1が定義される
Before import, main.py = __main__       # main => pkg1/mod1 開始
Loading pkg1/mod1.py = pkg1.mod1        # mainからのimportによるロード
Before import, pkg1/mod1.py = pkg1.mod1 # pkg1/mod1 => main 開始
Loading main.py = main                  # pkg1/mod1からののimportによるロード
main 1580243970.7892146                 # mainでvar1が定義される
After import, pkg1/mod1.py = pkg1.mod1  # pkg1/mod1 => main 終了
After import, main.py = __main__        # main => pkg1/mod1 終了
1580243970.7892146                      # mainでのvar1の結果が呼ばれている

ローカルスコープインポートのため、main.pyからpkg1/mod1.pyへのインポートは1回しか発生していません。

また、実行コマンドで一度main.pyは実行されていますが、pkg1/mod1.pyからのインポート時にもう一度実行してその結果をインポートしているのが、最後の結果から分かります。

解決策2の経路

解決策2の場合の経路です。

# (bash)
$ python main.py
Loading main.py = __main__              # 実行コマンドによるロード
Before import, main.py = __main__       # main => pkg1/mod1 開始
Loading pkg1/mod1.py = pkg1.mod1        # mainからのimportによるロード
Before import, pkg1/mod1.py = pkg1.mod1 # pkg1/mod1 => main 開始
Loading main.py = main                  # pkg1/mod1からのimportによるロード
Before import, main.py = main           # main => pkg1/mod1 開始
# pkg1/mod1.pyが読み込まれたらLoading ...が表示されるはず
After import, main.py = main            # main => pkg1/mod1 終了
main 1580244277.4291725                 # mainでvar1が定義される
After import, pkg1/mod1.py = pkg1.mod1  # pkg1/mod1 => main 終了
After import, main.py = __main__        # main => pkg1/mod1 終了
__main__ 1580244277.4301698             # __main__でvar1が定義される
1580244277.4291725                      # mainでのvar1の結果が呼ばれている

ローカルスコープインポートと違い、コードが実行される度にインポート自体は行われているようです。

但し、解決策2ではインポートガードが機能しているので、pkg1/mod1.pyの2回目の実行は阻止されています。

エラーの場合の経路

最初に示したコードの場合の経路です。

# (bash)
$ python main.py
Loading main.py = __main__              # 実行コマンドによるロード
Before import, main.py = __main__       # main => pkg1/mod1 開始
Loading pkg1/mod1.py = pkg1.mod1        # mainからのimportによるロード
Before import, pkg1/mod1.py = pkg1.mod1 # pkg1/mod1 => main 開始
Loading main.py = main                  # pkg1/mod1からのimportによるロード
Before import, main.py = main           # main => pkg1/mod1 開始
Traceback (most recent call last):      # インポートエラー発生
  ...
ImportError: cannot import name 'func2' from 'pkg1.mod1' (...\mytest\pkg1\mod1.py)

pkg1/mod1.pyの2回目の実行の前までは解決策2と同じ経路のように見えます。

考察

解決策1と解決策2では、インポートの位置による実行経路の違いが見られ、どちらもpkg1/mod1.pyのインポート時に実行された結果を利用するようでした。

しかし、解決策2の場合ではインポートガードによってpkg1/mod1.pyの2回目の実行が回避されているのに対し、エラーの場合ではそのタイミングでエラーが発生しています。

つまり、名指しでインポートを行うと、インポート名を明示的に指定している関係でインポートガードが行えないのではないかと考えられます。

まとめ

循環インポートはコードが無駄に実行されてしまったり今回のようなちょっとしたエラーにもなるのでそもそも循環インポートになるような構造は避けるべきですが、仮に循環インポートになってしまったとしてもPythonの賢いインポートガードによって上手にループが回避されているのが分かりました。

ワイルドカードインポートはPEP 8で非推奨になっているし名前空間が分かりづらくなるので、どうしても循環構造が生まれてしまう場合は解決策1の方が望ましいかも知れません。勿論、ファイルの途中でインポートするのもPEP 8では推奨されていないので、from pkg1 import mod1でモジュールレベルインポートした後、関数オブジェクトのようにfunc2 = mod1.func2で別名を付けるのが最適解だと思います。

ワイルドカードを使った import (from import *) は避けるべきです。(pep8-ja/import)

ちなみに、このエラーはFlask-SQLAlchemyでビューの作成をblueprintでしようとしていてこのような構造になったので発生しました。