LLMは機械学習の一部で、めちゃくちゃ特化&巨大化した存在って感じ!
ちょっと噛み砕いて話すね。
まず大枠 🌳
人工知能(AI)
└ 機械学習(ML)
└ 深層学習(DL)
└ LLM(大規模言語モデル)
つまり LLM ⊂ 深層学習 ⊂ 機械学習 っていう親子関係だよ。
機械学習って何?
人間がルールを全部書かなくても、
- データを渡す
- パターンを自動で見つける
- 予測や分類ができるようになる
ってやつ。
例:
- スパム判定
- レコメンド
- 画像の犬・猫判別
ここでは 👉 「特徴量をどう作るか」 がめっちゃ大事だった。
深層学習になると何が変わるの?
ニューラルネットワークを何層も重ねて、
- 特徴量すらモデルが自動で学習
- 人間が設計する部分が減る
画像なら 「エッジ → 形 → 物体」 言語なら 「文字 → 単語 → 文の意味」
って感じで、階層的に理解するようになるんだよね。
じゃあ LLM は何者?
LLMは、
- 深層学習(Transformer)
- 言語に全振り
- パラメータ数が異常に多い
モデル。
学習の基本はシンプルで、
「この文章の次に来る単語は何?」
を死ぬほど大量のテキストで学習してる。
でも規模がデカすぎて、
- 文脈理解
- 要約
- 推論っぽいこと
- コード生成
まで勝手にできるようになったのがポイント。
ここ、正直ちょっと魔法感あるよね笑 (でも中身は地道な確率計算)
機械学習とLLMの決定的な違い
| 観点 | 機械学習 | LLM |
|---|---|---|
| 対象 | 汎用(画像・数値・行動) | 言語特化 |
| 特徴量 | 人が設計しがち | 全部モデル任せ |
| 規模 | 比較的小さい | バケモノ級 |
| 挙動 | タスク専用 | 汎用っぽく振る舞う |
lvncer向け一言👀
今 self-attention 勉強してるって言ってたじゃん? そこが「機械学習 → LLM」に化ける分岐点だと思っていいよ。
- 従来ML:局所的・固定的な見方
- LLM:文全体を一気に見る(Attention)
だから
「あ、これ全部つながってるんだ」
ってなる瞬間、たぶんもうすぐ来る😏
次は
- 「LLMって推論してるように見えるけど何してるの?」
- 「なんでスケールすると急に賢くなるの?」