2022/10/04
|
ベイジアンニューラルネットワークの学習テクニックを論文にしました！
ニューラルネットワークの勾配のみAdamで評価し、コスト関数内の事前分布や事後分布は直接的にパラメータ更新へ利用するというシンプルな方法です。以下、解説です（後日ブログを作成予定）。
https://ieeexplore.ieee.org/document/9874837
posted at 22:04:10ベイジアンニューラルネットワークは重みの不確実性をモデル化するため、いわゆる信頼性のある推論に貢献すると期待されています。しかし、学習が難しく深層学習モデルへの応用が限られている状況です。
posted at 22:04:19Bayes by Backprop（BBB）はVAEでおなじみの再パラメータ化トリックを使って正規分布を仮定した重みをサンプリングしながら学習する方法です。膨大なパラメータを持つ深層学習ではサンプリング毎に全く別物といえる重みが生成されてしまい、これが学習を難しくしているとされています（次元の呪い）。
posted at 22:04:21次元の呪いによる影響を回避するために、これまでには事後分布の裾を極端に狭めることで安定した勾配を得る方法（Radial BNN）が提案されていました。今回は事後分布の工夫では無く、オプティマイザの扱いと事前分布の工夫でBBBの安定した収束を試みました。
posted at 22:04:27この論文でのコアなメッセージは、BBBによる最適化の難しさは分散に関するパラメータの”急激”で”過剰な”増加にあることを確認したことです。提案手法はこれらを回避し、AdamによってNNのノイジーな勾配による安定した更新を可能とします。事後分布の特別な工夫は必要ありません。
posted at 22:04:34興味深い結果は、提案手法で学習された事後分布（重み）は極めてノイジーであったことです。正規分布の平均よりも標準偏差パラメータの方が殆どの分布で大きい傾向にありました。このノイジーな分布は入力に付加されたノイズに対してロバストな性質を持たせていることを確認しました。
posted at 22:04:36ベイズ深層学習は学習の難しさから、その特性の考察については手探りであることが多い印象があります。この研究では小規模な画像識別タスクにおいて検証されたに過ぎませんが、ベイズ深層学習の面白い特性を調べる有用な知見となることを期待しています。（終わり）
posted at 22:04:41うぉ、今日、自然言語でコンピュータを操作する汎用的なAIが発表されてた！様々なデジタルツールの使用を学習した大規模AI「ACT-1（Action transformer）」。原理的には現存する全てのソフトウェアツール、API、Webアプリを使用することを学習した「行動」の基盤モデルへ一歩
https://twitter.com/AdeptAILabs/status/1570144499187453952?s=20&t=pR0BYu1jVdnDywsxePwB_g
posted at 22:04:55通常、10回以上のクリックが必要な操作であっても一文で。コンピュータでできることは非常に多いので、これが発展していくインパクトは大きい
https://twitter.com/AdeptAILabs/status/1570144576689811456?s=20&t=pR0BYu1jVdnDywsxePwB_g
posted at 22:05:05以前にもAdeptについて呟いたが、汎用知能の実現を目指す優秀な人材が集まったスタートアップの一つ https://twitter.com/jaguring1/status/1523853932220477441
posted at 22:05:12
さつまいもの自動梱包ロボが開発され、海外では運用され始めています。従来は人がサイズを選別して、綺麗に入るように箱詰めしていましたが、このロボは画像認識でパズルを組み立てるように自動で箱詰めしてくれます。ちなみにこれもイスラエルです。人口減少する日本にこそ必要だと感じます。 https://twitter.com/namchan_koushi/status/1575448391370215424/photo/1
posted at 20:32:21データの品質向上に使えるアルゴリズムのひとつである Confident Learning について資料を作りました、実際に使ってみた感じもなかなか良かったです Confident Learning https://speakerdeck.com/asei/confident-learning
posted at 20:32:34言語処理学会誌の学会記事で、言語統計力学の紹介が公開されました。研究全体の背景のほか、単語の意味変化を行列計算で求める相田さんの研究、変化する意味とその数をガウス確率場とDPで求める井上さんの研究を紹介しています。https://doi.org/10.5715/jnlp.29.1030
posted at 20:32:38なんか出てるーーーー！！！！！！！！
https://www.tokyu.co.jp/railway/service/activity/network/chokutsusen/pdf/tokyu_lines_miatomirai_line.pdf https://twitter.com/Minetetsu789/status/1575448475105251328/photo/1
posted at 20:32:41なんか出てるーーーーー！！！！！！2 https://twitter.com/Minetetsu789/status/1575448492050305024/photo/1
posted at 20:32:45東急の相鉄直通特設サイト:
https://www.tokyu.co.jp/railway/service/activity/network/chokutsusen/
posted at 20:32:46公開するのを忘れていたので公開します、チャットボットの作成に必要となる機械学習以外の内容について解説した資料です 対話型アプリケーション入門 https://speakerdeck.com/asei/dui-hua-xing-apurikesiyonru-men
posted at 20:32:52
めちゃくちゃ面白い https://twitter.com/take213/status/1575818588564656128/photo/1
posted at 21:03:23山内志朗が紹介する、論文執筆のための「言い換え」一覧。
（参照:『新版 ぎりぎり合格への論文マニュアル』平凡社新書、P214） https://twitter.com/honnoinosisi555/status/1575819019588096000/photo/1
posted at 21:05:06東大が無料公開している時系列分析の講義動画(全13回)
https://ocwx.ocw.u-tokyo.ac.jp/course_11416/
・講義ノート、Rコードもダウンロード可能
・線形・定常時系列モデル、状態空間モデル、カルマンフィルタ、非線形・非ガウス型モデル、パーティクルフィルタなどをひと通り学べる https://twitter.com/developer_quant/status/1575819084914364416/photo/1
posted at 21:05:21研究だけでなく仕事全般に言える名言の詰まった資料https://speakerdeck.com/kaityo256/welcome-to-lab
・作業時間ではなく成果を誇ること
・環境を変えることは逃亡ではない
・質問は質問であって「叱責」ではない
・アウトプットには約10倍程度のインプットが必要
・思いついたことを「形」にまで持っていく人はほとんどいない https://twitter.com/developer_quant/status/1575819179235889152/photo/1
posted at 21:05:44
配船計画についての運用開始のリリース出せました！！
配船のアルゴリズムにも工夫がありますが、綺麗でかつ実務的な視点から使いやすいようUIも作り込んでいます。
実際の運用で使えるようにというのが難しくかつ重要なところで、そこに価値を出せて良かったです。
https://www.algo-artis.com/news/20220920
posted at 21:15:05論文書いてると論理展開上必要な実験がクリアになるので早めに論文書き始めるのが大切です。
posted at 21:15:22
Teamsのbotをpythonで作ってみたらとても便利でした。
最新のarXiv論文をpythonで取得
↓
DeepLのpython apiでタイトルと概要を和訳
↓
pythonでTeamsへ通知
気になる論文を社内Teams上にてみんなで議論できるのがオススメ。
やり方は以下、Slackでもできるそうです。
https://marketingengineercareer.com/teamsbot
posted at 22:07:17680,000時間分の音声とそれに対応する文字起こしデータをウェブから収集し学習。データの約65%(438,000時間)は英語音声と英語のテキストで、約18%(126,000時間)は英語以外の音声と英語の翻訳データで、残りの17%(117,000時間)は英語以外の音声とその言語での文字起こし。英語以外では98の言語が属する https://twitter.com/jaguring1/status/1576921939742195712/photo/1
posted at 22:07:42モデルの詳細（モデルカードから引用）
https://github.com/openai/whisper/blob/main/model-card.md https://twitter.com/jaguring1/status/1576921963754582018/photo/1
posted at 22:07:48公式による紹介ツイート
https://twitter.com/OpenAI/status/1572629923017400326?s=20&t=sKeoaKedBFq4KRTdA1FZ0g
posted at 22:07:52OpenAIの代表による紹介ツイート。この論文の著者の一人でもある。
https://twitter.com/gdb/status/1572628993073123328?s=20&t=nmoLq6b_XQxfgNDijS9QUw
posted at 22:07:56Google、「量子超越」の拠点公開 2029年にも実用化へ
https://www.nikkei.com/article/DGXZQOGN2205R0S2A920C2000000/?n_cid=SNSTWT&n_tw=1663856128
posted at 22:08:08
プロトタイプの精度によって、ユーザーの反応が変わるとのこと…なるほど重要…
#CR社 https://twitter.com/murokaco/status/1577295311969857540/photo/1
posted at 22:51:21こちらは @storywriter さんの
https://www.slideshare.net/storywriterjp/ux-ux-4
のスライドからの引用です?
posted at 22:51:26「ブレスト」なんてもう時代遅れ。Google式「クレイジー8」で本当にすごいアイデアが生み出せる理由
https://studyhacker.net/crazy-8
posted at 22:51:32