Twitter: @atene_gakudo＋TAKAGI-1のはてなブックマーク
<<2022/08/31 ＜2022/09/27 || 2022/09/29＞ 2022/10/26>>
2022/09/28
学部生・大学院生むけのブログ記事を書きました。「先行研究調べてみて」と言われることはあっても、あまり教わらない学術論文のこと。そして査読のこと。
「論文ってなに？ 研究を始めるための常識」
http://xrobotlab.jp/2022/09/27/what-is-academic-papers/ https://twitter.com/4_d/status/1574969935495069697/photo/1
posted at 12:51:08
ベイジアンニューラルネットワークの学習テクニックを論文にしました！
ニューラルネットワークの勾配のみAdamで評価し、コスト関数内の事前分布や事後分布は直接的にパラメータ更新へ利用するというシンプルな方法です。以下、解説です（後日ブログを作成予定）。
https://ieeexplore.ieee.org/document/9874837
posted at 22:04:10
ベイジアンニューラルネットワークは重みの不確実性をモデル化するため、いわゆる信頼性のある推論に貢献すると期待されています。しかし、学習が難しく深層学習モデルへの応用が限られている状況です。
posted at 22:04:19
Bayes by Backprop（BBB）はVAEでおなじみの再パラメータ化トリックを使って正規分布を仮定した重みをサンプリングしながら学習する方法です。膨大なパラメータを持つ深層学習ではサンプリング毎に全く別物といえる重みが生成されてしまい、これが学習を難しくしているとされています（次元の呪い）。
posted at 22:04:21
次元の呪いによる影響を回避するために、これまでには事後分布の裾を極端に狭めることで安定した勾配を得る方法（Radial BNN）が提案されていました。今回は事後分布の工夫では無く、オプティマイザの扱いと事前分布の工夫でBBBの安定した収束を試みました。
posted at 22:04:27
この論文でのコアなメッセージは、BBBによる最適化の難しさは分散に関するパラメータの”急激”で”過剰な”増加にあることを確認したことです。提案手法はこれらを回避し、AdamによってNNのノイジーな勾配による安定した更新を可能とします。事後分布の特別な工夫は必要ありません。
posted at 22:04:34
興味深い結果は、提案手法で学習された事後分布（重み）は極めてノイジーであったことです。正規分布の平均よりも標準偏差パラメータの方が殆どの分布で大きい傾向にありました。このノイジーな分布は入力に付加されたノイズに対してロバストな性質を持たせていることを確認しました。
posted at 22:04:36
ベイズ深層学習は学習の難しさから、その特性の考察については手探りであることが多い印象があります。この研究では小規模な画像識別タスクにおいて検証されたに過ぎませんが、ベイズ深層学習の面白い特性を調べる有用な知見となることを期待しています。（終わり）
posted at 22:04:41
うぉ、今日、自然言語でコンピュータを操作する汎用的なAIが発表されてた！様々なデジタルツールの使用を学習した大規模AI「ACT-1（Action transformer）」。原理的には現存する全てのソフトウェアツール、API、Webアプリを使用することを学習した「行動」の基盤モデルへ一歩
https://twitter.com/AdeptAILabs/status/1570144499187453952?s=20&t=pR0BYu1jVdnDywsxePwB_g
posted at 22:04:55
通常、10回以上のクリックが必要な操作であっても一文で。コンピュータでできることは非常に多いので、これが発展していくインパクトは大きい
https://twitter.com/AdeptAILabs/status/1570144576689811456?s=20&t=pR0BYu1jVdnDywsxePwB_g
posted at 22:05:05
以前にもAdeptについて呟いたが、汎用知能の実現を目指す優秀な人材が集まったスタートアップの一つ https://twitter.com/jaguring1/status/1523853932220477441
posted at 22:05:12
うめきた新駅とともに、来春に暫定開業するとは、にわかに信じられないですね！
大阪駅新改札口（仮称）大阪駅西口・うめきた口 建設工事の状況 22.09｜Re-urbanization -再都市化- https://saitoshika-west.com/blog-entry-6937.html https://twitter.com/saitoshika_west/status/1575109405204713477/photo/1
posted at 22:05:20
ハーバード大学の日本人研究者による因果推論に関する講義スライドと動画がフリーで公開されています。
https://imai.fas.harvard.edu/teaching/cause.html
posted at 22:05:23