企業向け社内ナレッジAI基盤を、
Level 0から作り上げる。
架空企業「Nortia株式会社」の社内ナレッジAI基盤を、要件定義からGPUサイジング、本番アーキテクチャまでLevel 0〜10で構築していきます。技術を説明するのではなく、設計判断を追体験する連載です。
この連載の前提：自前GPU／OSS LLMのSelf-host
機密文書を外部へ出せない企業を想定し、GPUの調達・サイジングから推論サーバーの選定までを自社で行う道筋を扱います。AWSマネージドサービス（Amazon Bedrock）の範囲で社内AIを構築する道筋は、マネージドAI編で扱っています。
- 社員数
- 1,000人
- AI利用想定者
- 500人
- ピーク同時利用
- 20〜50人
- 対象文書
- 約10万件
- データ量
- 約500GB
- 目標応答時間
- 約5秒以内
題材とする架空企業
Nortia株式会社
連載（Level 0 → 10）
「なぜこのタイミングでvLLMが必要なのか」を、企業の状況・課題・要件から順に導きます。全11記事のうち4記事を公開しています。
Level 0：企業課題・要件定義
Requirements
そもそも何を解決したいのか？
必要な情報がどこにあるか分からず、探すだけで時間が溶ける
Level 1：生成AIの導入方式を決める
Deployment Strategy
外部API・Managed・Self-hostのどれを選ぶ？
機密文書を外部LLMへ送れない一方、Self-hostは運用負荷が高い
Level 2：モデルとGPUを理解する
Model & GPU
「27BだからこのGPU」ではなく、必要メモリをどう見積もる？
パラメータ数だけでGPUを選ぶと、KV CacheとBatchで破綻する
Level 3：推論サーバーを選ぶ
Inference Serving
Ollama・vLLM・SGLangのどれで動かす？
同時利用20〜50人を1台のGPUで捌くには、単純な逐次実行では足りない
Level 4：GX-10でPoCする
PoC on GX-10
実機で測ると、どこまで出るのか？
カタログ値と実測値は一致しない。前提を変えながら測る必要がある
Level 5：RAGを組み込む
RAG
社内文書を、どう検索して根拠付きで答えさせる？
ハルシネーションを防ぎ、出典を提示できる仕組みが要る
Level 6：企業セキュリティと権限制御
Enterprise Security
権限のない文書を、どの時点で除外する？
「LLMに渡してから回答を隠す」は情報漏洩と同義
Level 7：LLMOpsと可観測性
LLMOps
作ったあと、品質と性能をどう維持する？
モデル更新で品質が落ちても、気づく仕組みがない
Level 8：Fine-tuningの判断
Fine-tuning
その課題は、本当にFine-tuningで解くべき？
課題の種類を見誤ると、RAGで済む問題にGPUと時間を投じることになる
Level 9：PoC実測から本番サイジング
Capacity Planning
PoCの実測値から、本番に必要なGPU台数をどう決める？
PoC機をそのまま本番に使うことはできない
Level 10：最終アーキテクチャ
Production Architecture
全部つなげると、どんな構成になる？
個々の判断を、一枚の本番アーキテクチャとして整合させる
全Level共通のテンプレート
すべてのLevelを同じ11ステップで書きます。技術を説明するサイトではなく、設計判断を学ぶサイトにするための骨格です。
- 1現在の企業状況
- 2発生した課題
- 3要件（機能要件 / 非機能要件）
- 4選択肢
- 5技術比較
- 6採用判断
- 7Architecture
- 8実装
- 9Benchmark / Evaluation
- 10残った課題
- 11次のLevelへ
連載以外のセクション
連載が「なぜ今この技術が必要なのか」を追う物語であるのに対し、以下は個別の技術・比較・実測を単体で参照するためのセクションです。
技術解説
4 / 10 公開/ai-platform/technology
「vLLMそのものを詳しく知りたい」ときに読む辞書・専門解説。連載が判断の物語であるのに対し、こちらは技術単体の解説です。
- LLM
- GPU
- 量子化（BF16 / FP8 / FP4）
- KV Cache
- vLLM
- Ollama
- SGLang
- Embedding
- Vector DB
- Reranker
技術選定
準備中/ai-platform/decision
判断軸を並べて比較し、「どの条件ならどれを選ぶか」を整理したページ群。連載内の判断を、単体でも参照できる形にまとめます。
- 外部API vs Managed vs Self-host
- Ollama vs vLLM vs SGLang
- RAG vs Fine-tuning
- GPU選定
- Vector DB選定
実測ログ
準備中/ai-platform/lab
GX-10実機での測定結果を置く場所。TTFT・tokens/sec・メモリ使用量・同時実行数などを、条件を変えながら記録します。
- GX-10 検証環境
- ベンチマーク結果
- 実験ログ
構成図
準備中/ai-platform/architecture
PoC構成と本番構成のアーキテクチャ図をまとめて確認できるページ。連載の結論だけを俯瞰したいとき用です。
- PoC構成
- 本番構成
参考記事（Qiita / Zenn）
この連載を書くうえで実際に参考にした、モデル性能比較の記事17本をまとめています。最新の実測記事から定番まで、どのLevelで読むと効くのかを添えました。