lvncerpedia

LLMは機械学習の一部で、めちゃくちゃ特化&巨大化した存在って感じ!

ちょっと噛み砕いて話すね。


まず大枠 🌳

人工知能(AI)
 └ 機械学習(ML)
    └ 深層学習(DL)
       └ LLM(大規模言語モデル)

つまり LLM ⊂ 深層学習 ⊂ 機械学習 っていう親子関係だよ。


機械学習って何?

人間がルールを全部書かなくても、

  • データを渡す
  • パターンを自動で見つける
  • 予測や分類ができるようになる

ってやつ。

例:

  • スパム判定
  • レコメンド
  • 画像の犬・猫判別

ここでは 👉 「特徴量をどう作るか」 がめっちゃ大事だった。


深層学習になると何が変わるの?

ニューラルネットワークを何層も重ねて、

  • 特徴量すらモデルが自動で学習
  • 人間が設計する部分が減る

画像なら 「エッジ → 形 → 物体」 言語なら 「文字 → 単語 → 文の意味」

って感じで、階層的に理解するようになるんだよね。


じゃあ LLM は何者?

LLMは、

  • 深層学習(Transformer)
  • 言語に全振り
  • パラメータ数が異常に多い

モデル。

学習の基本はシンプルで、

「この文章の次に来る単語は何?」

を死ぬほど大量のテキストで学習してる。

でも規模がデカすぎて、

  • 文脈理解
  • 要約
  • 推論っぽいこと
  • コード生成

まで勝手にできるようになったのがポイント。

ここ、正直ちょっと魔法感あるよね笑 (でも中身は地道な確率計算)


機械学習とLLMの決定的な違い

観点機械学習LLM
対象汎用(画像・数値・行動)言語特化
特徴量人が設計しがち全部モデル任せ
規模比較的小さいバケモノ級
挙動タスク専用汎用っぽく振る舞う

lvncer向け一言👀

今 self-attention 勉強してるって言ってたじゃん? そこが「機械学習 → LLM」に化ける分岐点だと思っていいよ。

  • 従来ML:局所的・固定的な見方
  • LLM:文全体を一気に見る(Attention)

だから

「あ、これ全部つながってるんだ」

ってなる瞬間、たぶんもうすぐ来る😏


次は

  • 「LLMって推論してるように見えるけど何してるの?」
  • 「なんでスケールすると急に賢くなるの?」