こんにちは！管理人のtomoです！
皆様日々の学習、お疲れ様です！
前回はAIの概要を学びましたが、今回は試験の核となる**「生成モデル」がどのように進化してきたかを深掘りします。特にTransformerモデル以降の技術**は、生成AIパスポート試験で最も出題されやすい重要パートです。
このブログで、第2回動画**【生成AIパスポート試験 02生成モデルの誕生と現在までの流れ】**のポイントをサクッと復習し、短期合格に向けて知識を固めましょう！
出典動画はこちらから！ 生成AIパスポート試験 02生成モデルの誕生と現在までの流れ 短期学習で合格！出るとこだけの聞き流し
チャンネル名: tomo@資格挑戦アカウント
１．生成モデルの夜明け：ボルツマンマシンからVAE、GANへ
生成AIの技術的なルーツから、現代の生成モデルにつながる重要な初期モデルを確認します。
💡 生成モデルの誕生（1980年代後半）
- ボルツマンマシン：ジェフリー・ヒントンらによって提唱されました。
- ニューラルネットワークの一種で、確率的に動作し、多層学習を可能にしました。
- ただし、処理に時間がかかり実用化には課題がありました。
- 制限付きボルツマンマシン：ボルツマンマシンの課題を改善するため、人工ニューロン間の接続を制限し、データ処理を効率化しました。
💡 現代の基盤となる重要モデル（VAE/GAN/CNN）
| 略語 | 名称（日本語） | 特徴と役割 |
| CNN | 畳み込みニューラルネットワーク (Convolutional Neural Network) |
画像認識・画像処理に効果的。畳み込み層で局所的な特徴から全体の特徴を抽出する。 |
| VAE | 変分自己符号化器 (Variational AutoEncoder) |
次元削減やデータ生成に使用。エンコーダでデータ圧縮し、デコーダで元データに似たものを復元する。 |
| GAN | 敵対的生成ネットワーク (Generative Adversarial Network) |
生成器と識別器を競い合わせる（敵対的学習）。生成器がよりリアルなデータを生成できるようになる。 |
２．生成AIの飛躍：Transformerモデルの登場
従来のシーケンスデータ（時系列データ）処理で使われていたRNNやLSTMの欠点を解決し、生成AIを一気に進化させたのがTransformerモデルです。
💡 RNN/LSTMが抱えていた課題
- RNN（リカレントニューラルネットワーク）：時系列データに適しているが、長時間になると勾配消失（学習が停滞する問題）が生じる。
- LSTM（ロングショートタームメモリー）：RNNの勾配消失問題を改善したが、長文すぎると精度が下がり、並列学習に不向き（処理に時間がかかる）というデメリットがありました。
💡 革命を起こしたTransformerモデル
| 登場年 | 採用した主要機能 | 特徴 | 応用例 |
| 2017年 | 自己注意力 （Self-Attention） |
データの順番に関わりなく、大量の情報を同時並行的に処理可能にした。 | 機械翻訳、文章生成（ChatGPT）、画像生成（Stable Diffusion） |
３．LLMの進化の波：GPT、BERT、そしてGPT-4
💡 GPTモデルの系譜（OpenAI）
- GPTは、Generative（生成）、Pre-trained（事前学習）、Transformer（トランスフォーマー）の略。
- 学習の2段階：①事前学習（大量のテキストデータで学習）と、②ファインチューニング（特定のタスクに合わせて微調整）の段階で構築される。
- GPT-4の進化点
- ハルシネーションの減少：誤った情報を生成する現象が、GPT-3.5に比べ19〜29%減少。
- マルチモーダル対応：テキストだけでなく、画像など異なる種類のデータを一度に処理可能に。
- 多言語性能の向上：日本語を含む24言語で、GPT-3.5の英語出力精度を上回りました。
💡 BERTとその派生モデル（Google/Meta）
| モデル名 | 開発元 | 特徴 |
| BERT | Google（2018年） | 双方向構成が特徴。単語の意味を決定する際に前後両方の単語を利用する。MLM（マスクされた単語を予測）の仕組みも採用。 |
| RoBERTa | Facebook AI（2019年） | BERTの改良モデル。数十倍のデータ量、長時間の訓練、ハイパーパラメーターの調整により性能向上。 |
| ALBERT | BERTの軽量化モデル。パラメーター共有によりモデルサイズを削減し、低価格PCやスマホなどリソース制限環境でも高いパフォーマンスを実現。 |
４．最前線：ChatGPTの進化（Code Interpreter / GPTs / GPT-4o）
最新の試験では、ChatGPTの機能や最新モデルも出題されと思われます。
💡 ChatGPTの主要機能と最新モデル
| 機能/モデル名 | 特徴 |
| Code Interpreter (現 Advanced Data Analysis) |
ChatGPT自身がPythonコードを書き、実行できる機能。データ分析、グラフ作成、ファイル処理などを可能にする。 |
| GPTs | ChatGPTを特定の役割に特化してカスタマイズできる機能。オリジナルGPTストアで公開・利用が可能。 |
| GPT-4o | オムニモーダルモデル (O = Omnia/全て)。テキスト、画像、音声のデータを統合的・同時的に処理し、より自然なやり取りが可能になった。 |
まとめ
第2回もお疲れ様でした！
Transformerモデル以降の進化は非常に重要です。
今回まとめた略語の意味（CNN, VAE, GAN, BERTなど）と、最新モデル（GPT-4の進化点、GPT-4o）の特徴は、必ずセットで暗記しておきましょう。
今回もこの要点を参考に、ぜひ動画で何度も聞き流して知識を定着させてください！
それでは、次回は「生成AIの動向」についてお伝えします。引き続き、最短合格に向けて一緒に頑張りましょう！
コメント