TL;DR
大量のテキストで訓練された機械学習モデル（通常はニューラルネットワーク）。LLM と略す。テキストの生成、要約、翻訳、分析ができ、多くのチャットボットの基盤になっている。
仕組み
Wikipedia によると、LLM は多くの場合 Transformer というニューラルネットワークのアーキテクチャに基づく。LLM の一種である GPT は、次の単語を予測するように事前学習され、その後、指示に従いアシスタントとして振る舞うようにファインチューニングされる。
例
モデルを動かすソフトウェアがメモリやツール（Web 検索など）を与えると、テキストの生成以外のこともできる。外部のデータやツールにつなぐ標準として Model Context Protocol がある。
注意点
訓練データに偏りや誤りがあると、出力の信頼性が下がる。