2017-11-19

apt-getでBoost C++を入れるときにハマった話

C++

どうも（＾ω＾）

つい最近Boost C++ ライブラリを必要とする機会があり、
apt-getを使って入れたのですが、
必要だったヘッダファイル(具体的にはprocess.hpp)が見つからない
といった問題が発生しました。

OS:　Ubuntu16.04
パッケージ:　libboost-dev

インストール先のディレクトリで検索をかけてみても引っかからなかったので、
そもそもパッケージに入ってなかったみたいです。
しかもバージョンが1.58なのでちょっと古い。

そこで以下のサイトの記述を参考に、
Github上にあるBoost最新版をクローンしてきてビルドするという手順を踏みました。
(バージョンは2017/11/19時点で1.66)
Ubuntuでc++17のために最新版のg++, boost, cmakeを自然に使う - Qiita

ビルド時のコマンド
1. 適当なディレクトリで
　 git clone --recursive https://github.com/boostorg/boost.git
2. 生成されたboostディレクトリ内で
　./bootstrap.sh
3. ./b2
4. sudo ./b2 install

ビルドをする手順は公式ページにも載っています。
1と3にやたら時間が掛かかりました。

しかし、これでもprocess.hppが存在しないと言われます。
悲しい。

いろいろと調べたところ、
Boostのprocessのみを扱う以下のリポジトリを見つけます。
GitHub - klemens-morgenstern/boost-process: Boost.Process is a library to manage system processes

ここにあるprocess.hppをBoostのデフォルトインストール先である/usr/local/include にコピーしました。
これでいけるだろ！と思いましたがBoostを使用するソースコードをコンパイルする時に謎のエラーに見舞われます。

process.hppはバージョンが1.64のものらしいのでそこが原因と思い、
以下のサイトで1.64のBoostを持ってくることにしました。
Boost C++ Libraries - Browse /boost at SourceForge.net

ファイル形式はtar.bz2でダウンロードしたので、
tar --bzip2 -xf boost_1_64_0.tar.bz2 コマンドで解凍し、再びビルドします。

するとあら不思議、中にprocess.hppが入ってるじゃありませんか！

そしてビルド後すぐにコンパイルを試してみると普通に通りました。
なんでGithubのやつには入ってなかったんですかねぇ(　´_ゝ｀)

ということで、
Boostをインストールするときは、apt-getやGithubのものではなく、
tar.bz2形式のものをダウンロードしたほうが良いかもというお話でした。

追記：
boostを入れた理由として、SamurAI Coding というコンテストに参加するための環境構築に必要だったという訳があったのですが、 boost1.64.0だとmakeによるコンパイルは通るけれど、実行できないという問題が発生します。

原因として、boost最新版(1.65.1)と1.64.0の間でコマンドラインパーサの仕様が変わっているらしく、そこで問題が発生しているようでした（たぶん）。

なので、もしこのコンテスト用にboostを新しく入れるという人がいましたら、以下のboost公式サイトからver1.65.1でtar.bz2方式のファイルをダウンロードし、ビルドすることをおすすめします。
Boost C++ Libraries

2017-10-14

勾配降下法に使われる最適化アルゴリズムを比較する簡単な実験をしてみた

機械学習

こんにちは（＾ω＾）

この記事は、勾配降下法を最適化するアルゴリズムを、
２つのベンチマーク関数を使って比較し、まとめたものです。

計算の経過をみるために、
最適化するベンチマーク関数は２変数関数に限定し、
３次元グラフに計算の経過をプロットし記事に載せています。

ニューラルネットワークの学習を行うときなどには
最適化するパラメータは膨大な数となるため、
今回の比較で得た各アルゴリズムの良し悪しは実際の学習には適用できないと思います。
あくまで参考程度にしていただければ幸いです。

勾配降下法がよくわからないという方はこちらを参考にしてみてください
勾配降下法って？ - スラきちの野望

またここで使用しているアルゴリズムは以下のサイトを参考にさせていただきました
勾配降下法の最適化アルゴリズムを概観する | コンピュータサイエンス | POSTD

使用した最適化アルゴリズム

最急降下法　( $x_{t+1}=x_t - \eta \nabla_{x_t} f(x_t)$ )
Momentum　(γ=0.9)
NAG　(γ=0.9)
Adagrad
Adadelta　(γ=0.9)
RMSprop　(γ=0.9)
Adam　( $B_1$ =0.9, $B_2$ =0.999)

ベンチマーク関数

以下の２つの関数を使用しています

Ackley関数

式：
　 $f(x_1, x_2)=20-20 exp(-0.2 \sqrt{\frac{1}{2}({x_1}^2 + {x_2}^2)}) + e$
　　　　　　　 $- exp(\frac{1}{2}(cos(2\pi x_1) + cos(2\pi x_2)))$

最適解：
　 $f_{min}(0,0) = 0$

初期値：
　 $(20.0, 20.0)$

勾配：
　 $\frac{\partial f}{\partial x_1} = \frac{(2.82843{x_1}exp(-0.141424 \sqrt{{x_1}^2 + {x_2}^2}))} {\sqrt{{x_1}^2 + {x_2}^2}} + \pi sin(2\pi{x_1})exp(\frac{1}{2}(cos(2 \pi {x_1}) + cos(2 \pi {x_2})))$
　 $\frac{\partial f}{\partial x_2} = \frac{(2.82843{x_2}exp(-0.141424 \sqrt{{x_1}^2 + {x_2}^2}))} {\sqrt{{x_1}^2 + {x_2}^2}} + \pi sin(2\pi{x_2})exp(\frac{1}{2}(cos(2 \pi {x_1}) + cos(2 \pi {x_2})))$
　※~~面倒だったので~~勾配はWoframeAlphaさんを使って求めました

f:id:CAPsp:20171014164945p:plain

Rosenbrock関数

式：
　 $f(x_1, x_2)=100(x_2-{x_1}^2)^2 + (x_1 - 1)^2$

最適解：
　 $f_{min}(1,1) = 0$

初期値：
　 $(5.0, 5.0)$

勾配：
　 $\frac{\partial f}{\partial x_1} = -400x_1(x_2 - {x_1}^2) + 2x_1 - 2$
　 $\frac{\partial f}{\partial x_2} = 200(x_2 - {x_1}^2)$ f:id:CAPsp:20171014185504p:plain

以下のサイトにベンチマーク関数のまとめが載ってあります
最適化アルゴリズムを評価するベンチマーク関数まとめ - Qiita

比較結果

学習率は0.1として、
初期値から各アルゴリズムを使って最小値を求めます。

最小値の座標と計算中の座標との大きさが1未満になったときに収束したとする場合、
10000回タイムステップを進めたときの結果は

	Ackley関数	Rosenbrock関数
最急降下法	収束せず	計算途中でオーバーフロー
Momentum	142ステップで収束	計算途中でオーバーフロー
NAG	1569ステップで収束	計算途中でオーバーフロー
Adagrad	収束せず	収束せず
Adadelta	収束せず	収束せず
RMSprop	収束せず	129ステップで収束
Adam	収束せず	8714ステップで収束