技術解説
Technology
AI基盤を構成する技術そのものの解説です。各ページは「30秒で分かる」「仕組み」「設計に効く数字と落とし穴」の3層で構成し、初学者から実務者まで必要な深さで読めるようにしています。
連載との使い分け
「なぜこのタイミングでvLLMが必要なのか」を知りたい場合は連載へ。「vLLMそのものを詳しく知りたい」場合はこのセクションです。
LLM
入門10分LLMは「パラメータ数が大きいほど賢いが、その分だけメモリと帯域を消費する」装置です。設計で効くのはパラメータ数・構造（Dense/MoE）・レイヤ構成・コンテキスト長の4つで、いずれもconfig.jsonから読み取れます。
関連：Level 2 / Level 3
GPU
中級12分GPU選定で見るべき指標は「メモリ容量」「メモリ帯域」「演算性能」の3つで、それぞれ効く先が違います。容量はモデルが載るかを決め、帯域は生成速度を決め、演算性能はTTFTを決めます。大容量でも帯域が低いGPUは、大きなモデルが載るだけで速くはありません。
関連：Level 2 / Level 4 / Level 9
量子化（BF16 / FP8 / FP4）
中級11分量子化は重みやKV Cacheを低い精度で保持し、メモリ使用量と読み出しバイト数を減らす技術です。デコード速度は読むバイト数に反比例するため、帯域が制約の環境では速度改善に直結します。ただし品質は必ず落ちるため、劣化幅を自前の評価セットで測ってから採用します。
関連：Level 2 / Level 4
KV Cache
応用12分KV Cacheは生成済みトークンの中間結果を保持する領域で、同時実行数とコンテキスト長に正比例して増えます。大規模構成では重みより大きくなることも珍しくなく、「同時に何人さばけるか」を実質的に決めるのはこの領域です。
関連：Level 2 / Level 3
- vLLM準備中
- Ollama準備中
- SGLang準備中
- Embedding準備中
- Vector DB準備中
- Reranker準備中