使用ユーザーはdockerグループに入っている前提なので、入っていない場合はdockerコマンドの前にsudoを付けてください。

$ docker images --format "{{.Repository}}:{{.Tag}}" | sed "/<none>$/d" | xargs -P0 -L1 docker pull

ググって見つかったワンライナーでも一括更新できたのですが、私の環境だとlatestは要らなかったのでタグごとにpullするワンライナーを作りました。

一括で全部のイメージを更新したいけど、latestは別に要らないんだよなって人向けです。

解説

ざっくり解説します。

• docker images --format "{{.Repository}}:{{.Tag}}"
  Dockerイメージの一覧をイメージ名:タグ名の形式で出力します。
• sed "/<none>$/d"
  タグが<none>のイメージ(いわゆる宙ぶらりんイメージ)を出力から取り除きます。
  このコマンドは無くても後続のdocker pullがエラーで弾くので、不要と言えば不要です。
• xargs -P0 -L1 docker pull
  それぞれのイメージをpullします。

検証環境

今回、検証した環境です。

$ cat /etc/lsb-release
DISTRIB_ID=Ubuntu
DISTRIB_RELEASE=20.04
DISTRIB_CODENAME=focal
DISTRIB_DESCRIPTION="Ubuntu 20.04.3 LTS"
$ docker -v
Docker version 20.10.12, build e91ed57
$ docker-compose -v
docker-compose version 1.29.2, build 5becea4c

参考

• 一括してDockerイメージを最新にアップデートしたい – Qiita

環境

• KAGOYA CLOUD VPS (2021-10-17)
  • OSテンプレート: Ubuntu 20.04 LTS

原因

デフォルト状態ではミニマルなVimである『Tiny Vim』がインストールされている事が原因でした。
詳しい原因は参考のサイト様が書かれているので、そちらを参照してください。

対策

Vimを新たにインストールします。
現在インストールされているVimの削除は不要です。

$ apt install -y vim

参考

UbuntuのVimがおかしいな、と思ったときの対処法 – 情報科学屋さんを目指す人のメモ

ちなみにKAGOYA CLOUD VPSではインスタンス作成時にDockerのインストールオプションが提供されているので、Dockerのインストール部分はそれを選んで省略するのも良いと思います。
他にもGitLabやRedmine、Minecraft等のインストールオプションもありました。

環境

• KAGOYA CLOUD VPS (2021-10-17)
  • OSテンプレート: Ubuntu 20.04 LTS

パッケージの更新

最初はrootで実行します。

更新と再起動

$ apt update && apt upgrade -y && reboot

クリーンアップと再起動

$ apt autoremove -y && apt autoclean -y && reboot

Vimのインストール

今回、初期状態ではTiny Vimがインストールされていたので、通常のVimをインストールし直します。
Tiny Vimだとこの記事にまとめたように、入力が少々不便になります。

$ apt install -y vim

タイムゾーンの確認

dateコマンドで簡単にタイムゾーンの確認を行います。
今回はJSTだったのでタイムゾーンの変更は不要でした。

$ date
2021年 10月 17日 日曜日 11:43:19 JST

作業ユーザーの追加

# ユーザーを追加
useradd -m -s /bin/bash ユーザー名
# sudoが使えるように usermod -aG sudo ユーザー名
# ユーザーのパスワードを設定
$ passwd ユーザー名
# 2回同じパスワードを入力

SSH接続確認

$ ssh ユーザー名@ホスト名

公開鍵認証で使用する公開鍵のコピー

$ ssh-copy-id -i ~/.ssh/id_ed25519.pub ユーザー名@ホスト名

公開鍵認証でSSH接続確認

$ ssh -i ~/.ssh/id_ed25519 ユーザー名@ホスト名

SSHのパスワード認証の無効化

以降は作成したユーザーで作業を行います。

$ sudo vi /etc/ssh/sshd_config
# - #PasswordAuthentication yes
# + PasswordAuthentication no

Dockerのインストール

公式のUbuntu用インストールドキュメントを参考にインストールを行います。
今回は新規のUbuntuなので、Uninstall old versionsは省略して、Install using the repositoryから始めます。

# 前提パッケージのインストール
sudo apt install -y apt-transport-https ca-certificates curl gnupg lsb-release

# GPG鍵の追加 curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg

# リポジトリ(stable)のセットアップ
echo "deb [arch=(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu (lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list>/dev/null

# Dockerのインストール sudo apt update && sudo apt install -y docker-ce docker-ce-cli containerd.io

# Dockerのバージョン確認
$ docker --version
Docker version 20.10.9, build c2ea9bc

Docker Composeのインストール

公式のLinux用インストールドキュメントを参考にインストールを行います。

# Docker Composeのダウンロードと配置
sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-(uname -s)-(uname -m)" -o /usr/local/bin/docker-compose

# 実行権限を与える sudo chmod +x /usr/local/bin/docker-compose

# Docker Composeのバージョン確認
$ docker-compose --version
docker-compose version 1.29.2, build 5becea4c

終わりに

後はDockerでWebサーバーだったりデータベースだったり必要な物を色々入れます。
ホストOSを汚さずに色々出来るのは本当にDocker様様です。

殆ど自分用のメモ書き。Node.jsのバージョン管理をVoltaでし始めて、Angularをインストールしようとした時の話です。

npm install -g @angular/cli

環境

• Windows 10 Pro (20H2, 19042.1165)
• Volta 1.0.5

要約

フォルダへの書き込み権限のエラーなので、コマンドプロンプト等のターミナルを管理者モードで起動してコマンドを実行し直せばエラーは発生しなくなります。

環境

• Windows10
• Python 3.8.6

環境構築

Python標準のvenvを使って仮想環境を構築し、そこに必要なパッケージをインストールしました。

$ cd "~/Google Drive Viewer"
$ python -m venv .venv
$ source .venv/Scripts/activate
(.venv) $ python -m pip install --upgrade pip
(.venv) $ pip install --upgrade google-api-python-client google-auth-httplib2 google-auth-oauthlib

GCPプロジェクトの作成と認証情報のダウンロード

Google Developer Consoleでプロジェクトを作成して、認証情報をclient_id.jsonとしてダウンロードしてください。

Pythonスクリプト

公式チュートリアルを参考にPythonスクリプトを書きます。

from __future__ import print_function
import pickle
import os.path
from googleapiclient.discovery import build
from google_auth_oauthlib.flow import InstalledAppFlow
from google.auth.transport.requests import Request

# アプリに必要な権限を設定
SCOPES = [
    # Google Driveの全ファイル読み込み専用
    'https://www.googleapis.com/auth/drive.readonly'
]

credentials = None
# 認証トークンがあれば読み込む
if os.path.exists('token.pickle'):
    with open('token.pickle', 'rb') as token:
        credentials = pickle.load(token)

# 認証情報が有効でなければGoogleのログイン画面を開いて新たに生成
if not credentials or not credentials.valid:
    if credentials and credentials.expired and credentials.refresh_token:
        credentials.refresh(Request())
    else:
        flow = InstalledAppFlow.from_client_secrets_file(
            'client_id.json', SCOPES)
        credentials = flow.run_local_server(port=0)
    # Save the credentials for the next run
    with open('token.pickle', 'wb') as token:
        pickle.dump(credentials, token)

# Google Drive API v3のオブジェクトを生成
service = build('drive', 'v3', credentials=credentials)

# APIを使う(ファイルの一覧を10件取得)
results = service.files().list(
    pageSize=10, fields="nextPageToken, files(id, name)").execute()
items = results.get('files', [])

# 結果を表示
if not items:
    print('No files found.')
else:
    print('Files:')
    for item in items:
        print(u'{0} ({1})'.format(item['name'], item['id']))

実行

実行時に有効なユーザーの認証情報がtoken.pickleに保存されていない場合は、Googleのアプリ認証ページがブラウザで開かれます。

もしくは、以下のような形でアプリ認証ページのURLがターミナルに表示されます。

# 実行
(.venv) $ python main.py
# 表示されたURLで自分のGoogleアカウントにログインする
Please visit this URL to authorize this application: https://accounts.google.com/o/oauth2/auth?response_type=code&client_id=...

Googleによって確認されていないアプリの場合は警告が出ます。
詳細からアプリのページに移動します。

必要な権限(プログラムではSCOPESで指定)が表示されるので、許可を選びます。

画面が自動的に閉じて、ユーザーの認証情報がtoken.pickleに保存されます。

例のプログラムではGoogle Driveのファイルの一覧を10件取得して表示するので、
この後ターミナルにファイルの一覧が表示されます。

参考

• Python Quickstart | Google Drive API | Google Developers

GCPの有効化

GoogleアカウントでGoogle Developer Consoleにログインします。

国を設定し、利用規約に同意して続行します。

これで、GCPが利用できるようになります。

新しいプロジェクトの作成

画面上部のプロジェクトの選択をクリックしてプロジェクトの一覧を表示し、
開いたウィンドウ右上の新しいプロジェクトをクリックします。
※既にプロジェクトが存在する場合は何らかのプロジェクト名が表示されています。

プロジェクト名とプロジェクトIDを入力して、作成をクリックします。
例ではGCP Test Project gcp-test-project-123456としました。
IDは他人との重複していたり、google等の特定の単語が入っていると利用できません。

これでプロジェクトが作成できました。
上部にプロジェクト名が表示されている事が確認できます。

ライブラリの追加

GCPでGoogleのサービスを扱うには、まずプロジェクトに各サービスのライブラリを有効化する必要があります。

例では、Google Driveを利用できるように、Google Drive APIを有効にします。

左部のライブラリからライブラリ一覧を開き、Driveと検索してGoogle Drive APIのページを開きます。

有効にするをクリックして、APIを有効化します。

これでAPIが有効になりました。

認証情報の作成

APIのページに表示されている通り、APIによっては利用するのに認証情報が必要になります。

認証情報を作成をクリックして、認証情報の作成を始めます。
もしくは、プロジェクトトップページの左部の認証情報を開いてください。

使用するAPIとAPIを呼び出す場所を自分の環境に合わせて選択します。

例では、Google Driveをコンソール上でPythonを使って利用する予定なので、Google Drive API その他のUI (Windows、CLIツールなど)を選びました。

プロジェクトに認証情報を追加しようとすると、OAuth同意画面の設定が必要である事が表示されます。
OAuth同意画面は、Twitter等でもよくある「このアプリを信頼しますか？」とログインを要求してくる画面の事です。

OAuth同意画面の設定

先の画面から設定を開くと、新たなウィンドウでOAuth同意画面の設定が開かれます。
もしくは、プロジェクトトップページの左部メニューから開いてください。

まず、User Typeを選びます。無料のプロジェクトでは外部のみ選べます。

次に同意画面に表示する情報の設定です。
アプリ名、ユーザーサポートメール、デベロッパーの連絡先を入力します。

次にスコープの設定です。
今回は、アプリでスコープの指定をするので、プロジェクトには設定しません。
デフォルトのまま次へ進みます。

省略可能な情報の入力です。
Googleの審査が必要なスコープ(ユーザーの全データアクセス権限など)を指定した場合に、補助情報を入力します。
例ではプロジェクトにスコープは設定していないので、空欄のまま進みます。

入力内容の確認です。ダッシュボードへ戻ります。

これでOAuth同意画面の設定は完了です。
※例ではサービス障害で情報が表示されていませんが……。

認証情報の作成の続き

先ほどまでのウィンドウに戻り必要な認証情報ボタンを押して、OAuthクライアント名を入力します。

入力を押して更新を押し、次へ進みます。
※OAuth同意画面の設定が正しくされていると次へ進めます。

認証情報のダウンロード

作成された認証情報をダウンロードします。

client_id.jsonというファイルにアプリの認証情報が保存されます。
このファイルがユーザーへのアプリの認証に使われます。

この手順で作成可能な環境のバージョンは、インストールされているPythonのバージョンのみです。

プロジェクトごとに仮想環境を作成すると、それぞれのプロジェクトが干渉するなどのトラブルを避ける事ができます。

Windows標準のPowerShellとGit for Windowsをインストールすると利用可能になるBashで手順を説明します。

PowerShellでの手順

例として、プロジェクトのディレクトリpython_project/をデスクトップに作ります。

# プロジェクトのディレクトリを作成
PS > mkdir $HOME\Desktop\python_project\

作成したプロジェクトのディレクトリ内に、venvで仮想環境.venvを作ります。

# プロジェクトのディレクトリに移動
PS > cd $HOME\Desktop\python_project\
# 仮想環境を作成
PS > python -m venv .venv

仮想環境を有効化します。gcmコマンドで参照されるPythonの位置を調べられるので、有効にする前と後でPythonの参照先が変わる事を確認します。

# 参照先の確認
PS > gcm python

# 有効化する
PS > .\.venv\Scripts\activate
# 参照先の確認
(.venv) PS > gcm python

# 無効化する
(.venv) PS > deactivate
# 参照先の確認
PS > gcm python

この操作はPowerShellを新しく起動する度に必要になります。
Python実行前に(.venv)がコマンド入力行の先頭にあるかを確認しましょう。

Bashでの手順

Bashでは基本的な流れは同じですが、有効化にはsourceコマンドを使います。

# プロジェクトのディレクトリに移動
cdHOME/Desktop/python_project/

# 参照先の確認
which python

# 有効化 source .venv/Scripts/activate
# 参照先の確認
which python

# 無効化
(.venv) deactivate
# 参照先の確認
$ which python

こちらもPowerShell同様Bash起動時に毎回必要になります。

• Python 3.8.6

インストーラーのダウンロード

このページから、インストールするバージョンのインストーラーをダウンロードします。

ページ中部のバージョン別リンクを探します。

例では、3.8.6をインストールするので、まずは3.8.6のページを開きます。

Windows x86-64 web-based installerをダウンロードします。

インストール

ダウンロードしたインストーラーを実行します。

まず、Add Python 3.8 to PATHにチェックを入れてから、Customize installationを選択します。
PC内の全ユーザーが扱えるようにインストールしなくて良い場合は、Install Nowを選んでも良いです。

追加で何をインストールするかの設定です。デフォルトのまま次へ進みます。

上級者向けのオプションです。
ここでは、全ユーザーが扱える形でPythonをインストールしたいので、Install for all usersにチェックを入れて次へ進みます。

暫く待つとインストールが完了します。

環境変数の確認

今回は、Add Python 3.8 to PATHにチェックを入れたので、自動で環境変数PATHにPythonのインストール先が追加されるようになっています。

コントロール パネル\システムとセキュリティ\システムを開きます。

コンピューターの情報が表示されるので、ウィンドウ左部のシステムの詳細設定をクリックします。

環境変数を開きます。

Pathの先頭にPythonのインストール先が追加されている事を確認します。

作業内容

• Git for Windows (バージョン: 2.29.2.2)のインストール

インストーラ―のダウンロード

このページのDownloadボタンを押してインストーラーをダウンロードします。

インストール

ダウンロードしたインストーラ―を実行して、画面に従ってインストールを進めます。

ライセンスに同意して次へ進みます。

インストール先を指定します。デフォルトのまま次へ進みます。

コンポーネントを選択します。以下のコンポーネントにチェックを入れて次へ進みます。

• Additional icons:
  • On the Desktop: デスクトップにショートカットを作成します。
• Git LFS (Large File Support): Gitが巨大なバイナリファイルを扱えるようにする機能です。
• Associate .git* ~: Gitの設定ファイルを標準テキストエディタで開くように設定します。
• Associate .sh ~: *.shファイルをGit Bashで開くように設定します。

また、必ずUse a TrueType font in all console windowsからチェックを外してください。

スタートメニューのディレクトリの設定です。デフォルトのまま次へ進みます。

Gitを使用する際に開かれるエディタの設定です。
例ではVisual Studio Codeを選択していますが、好きなエディタを選んでください。
デフォルトではVimが選択されています。

リポジトリを作った際のデフォルトブランチ名の設定です。
最近の主流であるmainへ変更します。

Gitに付属するコマンドをGit BASH以外で利用可能にするかの設定です。
推奨設定を選んで次へ進みます。

HTTPSのバックエンドライブラリの設定です。デフォルトのまま次へ進みます。

WindowsとLinuxでは改行コードが違うので、それをどのように扱うかの設定です。
デフォルトのまま次へ進みます。

ターミナルエミュレーターの設定です。デフォルトのまま次へ進みます。

git pull時の挙動の設定です。デフォルトのまま次へ進みます。

証明書マネージャーの設定です。デフォルトのまま次へ進みます。

追加オプションです。デフォルトのまま次へ進みます。

実験的機能のオプションです。デフォルトのまま次へ進みます。

暫く待つとGit for Windowsのインストールが完了して、Git GUIとターミナルエミュレータ―であるGit BASHが使えるようになります。

NVIDIA製のGPUを搭載していないPCではCUDAは利用できません。

必須環境

• Windows10
• NVIDIA製GPU

作業内容

例ではCUDA Toolkit 11.1 Update 1をインストールしますが、他のバージョンのインストールも殆ど手順は変わりません。

• CUDA Toolkit 11.1 Update 1のインストール

Compute Capabilityについて

GPUの世代によって、対応しているライブラリに制限があります。
一般的に、PyTorchやTensorFlowで利用するには2015年以降に発売された製品(Compute Capability 3.5以上)である必要があります。
Compute Capabilityはこのページを参照してください。

インストーラーのダウンロード

まず、このページからCUDA Toolkitのインストーラーをダウンロードします。

Select Target Platformを[Windows] [x86_64] [10] [exe (network)]と順番に選びます。

全て選ぶと下の方にダウンロードボタンが出て来るので、クリックしてインストーラ―をダウンロードします。

インストール

ダウンロードしたインストーラ―を実行してください。

最初に、インストーラ―を何処に一時的に展開するかを選択します。
デフォルトのままOKをクリックします。

画面に沿ってインストールを進めます。

使用許諾契約書に同意して続行します。

例ではPyTorchやTensorFlowを実行できる環境が作成できればいいので、カスタムモードで次へ進みます。

PyTorchやTensorFlowの実行に最低限必要なのはCUDA中のRuntimeのみです。
ここでは、Runtime Nsight Systems Nsight Computeをインストールします。

• Development: 開発向け。CUDAのプログラム自体を開発する人は必要。
• Visual Studio Integration: VS(Codeではない)のプラグイン。VSで開発する人は好みで。
• Nsight Systems: GPUのプロファイリングをするアプリ。
• Nsight Compute: 同上。
• Samples: CUDAのサンプルプログラム。好みで。
• Runtime: 実行に必要。
• Nsight NVTX: Nsightの拡張キット。開発する人は好みで。
• Nsight VSE: NsightのVS拡張キット。VSで開発する人は好みで。

以下はGPUドライバです。
例では現在のバージョンがインストールされる物よりも新しいのでチェックを外します。

インストール場所を設定します。デフォルトのまま次へ進みます。

暫く待つと選択したコンポーネントのインストールが完了します。

パスの確認

インストールしたCUDA Toolkitを利用できるようにするには環境変数を設定する必要があります。
通常、自動でこの変数は設定されるので、確認しましょう。

コントロール パネル\システムとセキュリティ\システムを開きます。

コンピューターの情報が表示されるので、ウィンドウ左部のシステムの詳細設定をクリックします。

環境変数を開きます。

CUDA_PATH CUDA_PATH_V11_1にCUDA Toolkitのインストールディレクトリが設定されているのを確認します。