簡単にKeras+tensorflow+Jupyter notebook環境を導入する方法

-
kerasとtensorflowを組み合わせた環境が人気ですが、インストールが結構面倒です。
・virtualenv
・pip
をインストールしないとで、しかもpython2と3の場合分けがあったり...
macOS環境もそれなりに汚れます。
そこで、Dockerを使ったインストール方法を説明します。
なお、macOSをベースに説明しますが、Windows10でもほぼ同じと思います。

0. 前提条件
・4GB以上のメモリ(Dockerインストールのため)
・Windowsの場合は10 Proが必要

1. Dockerのインストール
こちらから Community Editionをインストールします。
インストールは普通のソフトウェアと同じです。
インストールが終われば勝手にdockerサービスが起動します。


2. Dockerfileの準備
ベースは以下なのですが、
https://hub.docker.com/r/ermaker/keras-jupyter/
tensorflowが古かったり、Pillowが入ってなかったり、theanoはいらないので改造します。
適当にフォルダを作成(例えば /Users/casey/keras/Docker/build/ とします)し、以下を Dockerfile という名称で保存します。

FROM ubuntu
RUN apt-get update \
  && apt-get install -y --no-install-recommends \
    build-essential \
    curl \
    git \
  && rm -rf /var/lib/apt/lists/*
RUN curl -qsSLkO \
    https://repo.continuum.io/miniconda/Miniconda-latest-Linux-`uname -p`.sh \
  && bash Miniconda-latest-Linux-`uname -p`.sh -b \
  && rm Miniconda-latest-Linux-`uname -p`.sh
ENV PATH=/root/miniconda2/bin:$PATH
RUN conda install -y \
    h5py \
    pandas \
    jupyter \
    matplotlib \
    tensorflow \
    Pillow \
    seaborn \
  && conda clean --yes --tarballs --packages --source-cache \
  && pip install --upgrade -I setuptools \
  && pip install --upgrade \
    pip \
    keras
VOLUME /notebook
WORKDIR /notebook
EXPOSE 8888
CMD jupyter notebook --no-browser --ip=0.0.0.0 --allow-root --NotebookApp.token=

(環境により「\」が「¥」表示になるかもしれません)


3. dockerイメージのビルド
terminalアプリを起動し、以下コマンドを実行します
まずはDockerfileがある場所に移動

cd ~/keras/Docker/build

ビルド

docker build ./ -t ermaker/keras-jupyter

「ermaker/keras-jupyter」の部分は好きな名前でも良いです


4. dockerイメージからの起動
terminalアプリで以下コマンドを実行します。
docker imageの確認

docker images

作成した「ermaker/keras-jupyter」があることを確認します
以下コマンドでdockerコンテナが起動します

docker run -it -p 8888:8888 -v ~/:/notebook ermaker/keras-jupyter

「~/」つまり「/Users/casey/」をdockerコンテナの/notebookにマウントするようにしていますが、
「~/」以外でも大丈夫です。

5. keras環境へのアクセス
webブラウザから

http://localhost:8888

にアクセスするだけでkerasが使えるようになりました！


6. dockerコンテナの終了
docker run〜コマンドを実行したterminalで「Ctrl+c」でdockerコンテナが終了します。
いやいや、dockerは便利ですね

Comments

Post a Comment

Popular posts from this blog

conda clean --allはやってはいけない

-
先日、「Minicondaは使ってはいけない」という間違った記事を書いてしまいました。 誤解をふせぐために、そのポストは削除いたしました。 このMinicondaがだめなんじゃないか、と思ってしまった原因がconda clean --allなのです。 conda clean --allは、Anaconda/Minicondaの不要なパッケージやキャッシュを削除してくれるコマンドです。 これを実行すると、AnacondaフォルダまたはMinicondaフォルダの容量を小さくできるのですが、 jupyter notebookが使えなくなってしまう(kernel error)のです。 jupyter以外にも悪影響があるのかもしれませんが、少なくともjupyterは使えなくなります。 conda clean --allは容量節約のために行うものと思いますので、 じゃあ容量をなるべく増やさない方針としては ・Minicondaをインストール ・必要なパッケージだけを厳選してconda install ・conda update --allとかはしない というのが良さそうです。 Miniconda(Windowsの初期容量は0.4GB)程度ですが、 ・conda install jupyter →1.7GB程度増加 ・conda install scikit-learn → 1.6GB程度増加 となります。 なんだかんだ欲しいものインストールしていると、 MInicondaフォルダも5GBとかなってしまいます...まあAnacondaよりは小さくはできると思います。 最後にもう一度、conda clean --allはやってはいけません。
Read more

MacbookやiMacのSSD/HDDを完全消去する(High Sierra対応版)

-
---update--- 2020年版の記事をかきましたので、こちらもご覧ください https://nahareport.blogspot.com/2020/07/macbookimacssdhdd2020.html ----------- 古いMacをメルカリやヤフオクで売ったり、ソフマップに売ったり、人に譲渡したりする前にやっておきたいのがディスクのゼロ書き込みによる完全消去。 最近macOSのファイルシステムがAPFSになった関係で、昔と少し方法が変わっているので、方法を書きます。 (コマンドラインでゼロ書込みをやる方法と言っても良いかも) 0. SSDやHDDを完全消去する前に まだログインできる状態で以下はやっておきましょう。 ・iCloudログアウト 　システム環境設定>iCloud>「Macを探す」のチェックを外し、左下の「サインアウト」 ・iTunesのアカウント解除 　iTunesのメニュー「アカウント」>「サインアウト」 ・Office365のサインアウト(もし必要なら) 　各オフィスを起動した時のメニュー左上アイコン>サインアウト 　 https://portal.office.com/account/#home 　の「インストールステータス」で、今サインアウトしたマシンを削除します。 ・Adobe等のライセンス認証の解除 1. USBメモリ起動macOSインストールディスクの準備 　 https://support.apple.com/ja-jp/HT201372 2. 1で作成したUSBメモリから起動 　 https://support.apple.com/ja-jp/HT202796 　の「Startup Managerを使う」 3. APFSからHFS+への変換 　詳しい方は「ディスクユーティリティ」を起動し、SSD/HDDを選択して「削除」メニューに進まれたかと思いますが、 　昔あった完全削除メニュー...複数回のゼロ書き込みメニューがhigh sierraでは無くなっています。 　そもそもその完全削除はAPFSでサポートされてませんので、まずファイルシステムをHFS+に変換します。 　上部メニュー「アプリケーション」から「
Read more

意外とめんどいmac OSXでのddコマンド

-
Image
使う人はよく使う、dd commandですが、mac OSXにも標準搭載されています。 しかし、/dev/以下とか、mountの仕組みがLinuxと異なるので、注意点(1)(2)を書いてみます。 !!注意!! ddコマンドは間違えると起動不能に陥ったりします。 用法、用量を守って、正しくお使い下さい。 !!!!!!!!! (1) /dev/disk#がディスク(#には0以上の数値が入ります) 　Terminal (ターミナル)を開いて、以下コマンドをしてみましょう。 　 　 ls /dev/disk* 　するとこんなんが出ると思います。 　/dev/disk0 /dev/disk0s1 /dev/disk0s2 /dev/disk0s3 　僕の環境はmacbook airで元々搭載しているディスクはSSD 1個で、 　それが/dev/disk0。 　/dev/disk0上の論理パーティションが/dev/disk0s1、/dev/disk0s2 、/dev/disk0s3と3個あります。 　まあ、ddコマンドを知っている人には説明不要ですね。 　Linuxでは/dev/sd* (*はa, b, c...)なのに、macだと/dev/disk*になるわけです。 　では、例えばUSBメモリにddコマンドでイメージを書き込みたい場合を考えます。 　USBメモリを刺して、もう一度ls /dev/disk*してみましょう。 　するとこうなるかと。 　/dev/disk0   /dev/disk0s1  /dev/disk0s2  /dev/disk0s3  /dev/disk1   /dev/disk1s1 　ハイ、これでUSBメモリが/dev/disk1として認識されることがわかりました。 　(macの環境に依って違うので、必ず上記確認をしてください) (2)macの「外す」はumountとデバイス外しを両方やっちゃう 　terminalで 　 df 　とコマンドしますと、現在マウントされているディスクが見えます。 Filesystem    512-blocks     Used Available Capacity  iused   ifree %iused  Mounted on /dev/
Read more