7月1〜10日の日記
今日も雨
最近雨が多い。
横浜の家は雨の日にもランドマークタワーまで行くのはそんな苦痛でもない。 そこでここまで出てそれなりに歩く事は出来るので、雨にしてはよく歩ける場所と思う。 今日もクイーンズスクエアの先の社食っぽいカフェでカレーとコーヒーのセットで今この日記を書いてる。
モデルを仕掛ける午前中
今日は朝起きて、前の晩に流したスコアを見直しつつ何か新しいアイデアのトレーニングを流し、朝飯を食べて昨晩の結果と論文の内容を見比べたりして、昼飯前くらいの時間に朝流したモデルの結果が分かって、それの結果を踏まえて何かのトレーニングを流して家を出た。 割と最近の典型的な午前中という気がする。
一日あたりでは何も進捗が無い、みたいな事も多いが、一週間単位くらいでは割と大きな発見もあるので順調と言える。 いろいろ試して全く効果が無くて、そこからいろいろ考える、というのは、なんというか、機械学習の本質を積み重ねている感じがある。
ここまでの手応えとしては、ある程度使う用途を制約掛ければ実用的なものは作れるな、という感じ。 出来たらその制約を、実用上は問題にならないくらいまで広げたくて、それが可能かはまだ分からないが。
一日やってると煮詰まりそうだが、午前中と夜やるくらいでちょうど良い気がする。 家に居るとロスが気になっていろいろ他の事が出来ないし、考えも進まない気がする。 なんかイマドキの趣味プログラマって感じだ。
学習のしやすさを関数空間の距離で表せないか？
MacKayのガウス過程のあたりを読んでると、一昔前の機械学習という感じがする。 最近の機械学習との違いは何か？というと、モデルのアーキテクチャを重視する所に思う。
これは実際に試してみれば分かるのだが、Deepなモデルは、関数空間として学習しにくいものだと悪い局所最適に落ち着いてしまうのだよな。 だからそうでない関数空間を考えるのが大切だが、その理論付けはほとんどされてない気がする。
ラーニングレートを固定しよう。 grad descentを何回かやって、ロスが一定以下まで行くまでの回数、みたいなので、パラメトライズされた関数と真の関数の距離のようなものを定義出来たら、この距離が近いのが目的のアーキテクチャと言えそうな気がする。
ロスはあまりに恣意的ならLevy metricくらいで良い気もするが、ロスで定式化出来るとより実際に近いよな。
当然何回のステップでたどり着けるかは、データやパラメタのその時の値に依るから、何か確率的なもので扱う必要があるか？
ただ真のパラメータからの距離の平均とか分散を基準にしたオーダーで議論したり出来ればそれでもいいかもしれない。
まずはかんたんなネットワークとして、二層と三層のニューラルネットの違いをこれで議論出来たらいいな。
計算じゃなくて、実際に計測して出せばそれでも良い気がするな。
そう考えると、収束時のパラメータの絶対値の平均とか分散も比較してみるに値する気はする。
問題のデータ分布によるとはおもうのだが、何かの仮説、どこかのフィーチャースペースで局所的、みたいな所でまとめられたら面白いな。
2つ目のBluetoothイヤホンをポチる
現在はスマホ用に2000円くらいの安物のあおっぱイヤホン使ってるが、これが思いのほか良かった。
マルチファンクションとか使ってみると面倒で、PC用とスマホ用の2つが欲しくなる。 定住してるとこういうの増えがちね。
もうひとつ買うなら違うタイプがいいね。
- 耳に突っ込む（カナル型というらしい）のは耳が痛くなるので昔ながらの奴を試したい（インナーイヤー型というらしい）
- マグネットはよしあしなので、今度は電源ボタンでつける奴がいいな
- 値段は同じくらいで。引っ越す時に捨てられるくらいの価格帯
という事でこれを買った。
偶然タイムセールスで1996円だった。
市立図書館のカフェのランチ
てがしきの作業の区切りが良かったので最近の作業をブログに公開してて、以前のテンソルライブラリのブログ記事を更新したくなったのて整備したり、イヤホンを物色してたら14時になってしまった。
この時間だとランチ終わってる所も多そうだなぁ、と少し考えて、今日は市立の中央図書館のカフェのランチへ。
ここは700円でコーヒー付きのランチセットがある。 少し遅めに行くと割と空いてて、別にカフェに行く必要が無い程度にはカフェとして機能している。 食事は500〜600円程度のものだが、カフェとして居るつもりなら悪くない。 逆に食事だけのつもりで来るとちょっと割高感を感じる。
あとメリットとして、家からめっさ近い。 今日のように14時過ぎに家を出てもランチの時間内につける。 という事で条件が合えば選択肢としてはありだな、と思ってる。
みなとみらいの中華
いつも行くドトールの窓から見える中華、前から気になってたので来てみた。 日替わり750円、この辺にしてはお値段はお手頃。 タバコ吸ってる客が多いのがちょっと嫌だが、それなりに席は離れてるのでまぁいいか。
追記: 味はなかなか良かった。また行こう。
次はなんの本読もうかなぁ
MacKay本読み終わったので次に読む本のストックが無い。 Computational OTのpdfを眺めるが、やっぱりちょっと難しい気がする。
とりあえず線形計画法の入門書からやるかな、という気がする。
プログラム系でも何かあったら読んでも良い気はするが、どうかな。 読むならGCの本かハード系の本かなぁ。
県立図書館のカフェ
今日も雨で、しかも日曜。 この条件の昼飯はいまいち定番が無い。 空いてて安くてゆっくり出来る何かは無いものか。
と思ってこの前市立図書館のカフェランチを試してなかなか良かったので、今日は県立図書館の方へ。
こちらはドリンクは別で700円。メニューはカレーとパスタとサンドイッチくらい。 ドリンクセットはプラス200円。 長く居る気が無いならちょっと割高。
しかも今日は貸し切りが入るのであと一時間で閉店、と言われる。 これではいまいちかな、と違う所に行こうとしたらなんか風が強くなっててあんまり歩きたい感じでも無い。
ランチだけ食べて図書館に行く事に。 ミートソースパスタ。味は凡庸。この図書館に用事が無い限りは来ないかなぁ。 ただ家からは一番近いのと図書館は休日でも空いてるのでもうちょっと使い方を工夫していきたい。
数式の教師データを作るDSL
次の教師データのパターンを作る時が来てるのだが、どうもやる気が出ない。 こういう時は何か考えるべき事が残ってる場合が多い。
少し考えてみた所、この取組みは今後長く続くので、DSLを作っておきたい、という気がしてきた。 method chain型の簡単な奴でいいので。
各関数はfactoryを返す。 これを実行すると、strokeのリストとtexのリストのペアを返す。
Sequence、Or、Translate、Scaleくらいあれば必要なのは作れそう？ TranslateとScaleはだいたい一緒にやるか？augmentationはここで入れてしまっていいか。
お、なんかいいのが出来そうだな。これで行こう。
献血するなど
サムピックを買いに町に出て、帰りにどっかよって帰ろうかなぁ、と歩いてたら献血の看板が。 そういえば去年抜きそこなってるのでそろそろ献血しておくか、という事で献血に来てみる。
行ってる国が多いと手続きがかったるいねぇ。