カテゴリー: G検定

バッチ正規化・レイヤー正規化・インスタンス正規化・グループ正規化

畳み込みニューラルネットワークの正規化層

[テ225]
正規化処理: 平均0、分散1

[黒299,364]
・バッチ正規化: ミニバッチ内のすべてのデータを用いて、ある層のチャンネルごとに正規化を行う手法 (前層の出力を正規化 [黒121])
・レイヤー正規化: ある層のすべてのチャンネルを用いて、ミニバッチ内のデータごとに正規化…
・インスタンス正規化: ミニバッチ内のデータごと、チャンネルごとに正規化…
・グループ正規化

参考文献: ***は、ページ番号。
[テ***] 『深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト』第3版
[黒***] 『徹底攻略ディープラーニングG検定ジェネラリスト問題集』第3版

k-分割交差検証

[テ166]
データセットに含まれるデータ件数が少ない時に効果的。

←→ホールドアウト検証: 普通の方法(訓練データとテストデータを固定) [黒76]

参考文献: ***は、ページ番号。
[テ***] 『深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト』第3版
[黒***] 『徹底攻略ディープラーニングG検定ジェネラリスト問題集』第3版

3要件

[黒388]
不正競争防止法における営業秘密3要件
　非公知性、有用性、秘密管理性

[テ365]
特許権の対象になる発明
　産業上の利用可能性、新規性、進歩性

参考文献: ***は、ページ番号。
[テ***] 『深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト』第3版
[黒***] 『徹底攻略ディープラーニングG検定ジェネラリスト問題集』第3版

個人情報

[テ367-]
個人情報
個人識別符号
個人データベース等
個人データ
保有個人データ: 開示、訂正、削除等の権限を有する個人データ。委託により預かっている個人データは該当しない。
要配慮個人情報
匿名加工情報
仮名加工情報 （匿名化度合いが匿名加工情報より低い）
個人関連情報

参考文献: ***は、ページ番号。
[テ***] 『深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト』第3版

ILSVRC

・【2012年】AlexNet: SuperVisionチームによる。初のディープラーニング。

[黒341,342,385,392]
・【2014年】GoogLeNet: Inceptionモジュール_(スキップ結合は無い)
・【2015年】ResNet: スキップ結合_ボトルネック構造_人間の画像認識エラー4%を下回る [テ105] (→ WideResNet: ResNetの層を減らし、畳み込みのチャンネル数を増やしたもの [黒372])
・【2017年】SENet (Squeeze-and-Excitation Networks): Attentionを適用

参考文献: ***は、ページ番号。
[テ***] 『深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト』第3版
[黒***] 『徹底攻略ディープラーニングG検定ジェネラリスト問題集』第3版

RNN → トランスフォーマー

[テ233-, 237-]
RNN: Attention (各時刻の状態に重みづけを行い、どのデータに注目すればよいかを計算する機構 [黒392])

トランスフォーマー: Encoder・Decoder両方からRNNを一切排除し、代わりにSelf-Attentionを採用 [テ236,251]

　Self-Attention: 文章内の単語間の関連性を捉えるための機構 [黒342]。(Encoder・Decoder両方において、計算に利用 [テ237,250])
　Source-Target Attention ＝ Encorder-Decorder Attention: デコーダに入力文の情報を伝達するための機構 [黒342]。Decoderの計算に利用 [テ237]。

参考文献: ***は、ページ番号。
[テ***] 『深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト』第3版
[黒***] 『徹底攻略ディープラーニングG検定ジェネラリスト問題集』第3版