推論サーバーを選ぶ
同じモデル・同じGPUでも、推論エンジンの実装でスループットは数倍変わる。Continuous BatchingとPagedAttentionが何を解いているのかを計算で確かめ、Ollama・vLLM・SGLangから要件で選ぶ。
AWSアーキテクチャと社内AI基盤を、サービス単体ではなく「システムがどう成長し、なぜその構成になったか」から学ぶ技術メディアです。3つの連載と3つの記事カテゴリで構成しています。
連載・単発記事をまとめて、公開日の新しい順に並べています。全14記事のうち、直近30日の新着は9件です。
同じモデル・同じGPUでも、推論エンジンの実装でスループットは数倍変わる。Continuous BatchingとPagedAttentionが何を解いているのかを計算で確かめ、Ollama・vLLM・SGLangから要件で選ぶ。
「27BだからこのGPU」では破綻する。要件から必要スループットを出し、メモリ収支と帯域の両面から、モデル・精度・GPUの候補を絞り込む手順を扱う。
容量・帯域・演算性能は別の指標である。LLM推論でどれが効くのかを、プリフィルとデコードの違いから整理する。
同時実行数とコンテキスト長に比例して膨らむ、サイジングの主役。計算式・GQA・PagedAttention・KV量子化を整理する。
パラメータ数、Dense と MoE、コンテキスト長、トークナイザ。AI基盤の設計に効くLLMの構造を、必要な深さだけ整理する。
メモリと帯域を減らす代わりに品質を差し出す技術。何が減り、何が減らないのか、どう検証するのかを整理する。
1つのシステムをLevelを追って育てる連載と、テーマ別に単発記事を積み上げる記事カテゴリの2種類があります。
1つの架空企業のシステムを、Level 0から順に育てていきます。同じAI領域でも「AWSマネージドで作る」か「自前GPUで作る」かで連載が分かれます。
Business Systems
CRM・SFAをAWSへ移行し、SaaSへ成長させる
中堅B2B企業の社内CRM・SFAが、オンプレミスからのAWS移行、高可用化、複数企業向けSaaS化、大規模化、エンタープライズ対応へと成長する過程を追体験します。
前提:一般的な業務システム(AI要素なし)
既存の業務システムをAWSへ移行し、成長させたい人
連載を読むManaged AI on AWS
AWSマネージドサービスで社内AIを構築する
Amazon BedrockとKnowledge Basesを前提に、社内文書RAGのPoCから権限制御、本番運用、複数データソース横断、AIエージェントへ発展させます。GPUを持たずAWSの範囲で組み立てる道筋です。
前提:GPUを持たない/AWSマネージドで完結
AWSの範囲で素早く社内AIを立ち上げたい人
連載を読むSelf-hosted AI Platform
社内ナレッジAI基盤をLevel 0から設計する
機密文書を外部へ出せない企業を想定し、要件定義からLLM・GPU選定、推論サーバー、RAG、権限制御、GPUサイジング、本番構成までを扱います。実機での性能実測を伴う連載です。
前提:自前GPU/OSS LLMのSelf-host
機密要件でSelf-hostが必要な人、GPUサイジングまで踏み込みたい人
連載を読む連載とは独立して、必要なときに単体で参照できる記事群です。
Incidents
起こり得る障害から、設計の弱点と改善策を学ぶ
EC2の高負荷、DB接続の枯渇、リクエストの消失など、実際に起こり得る障害を題材に、原因の切り分けとアーキテクチャの改善方法を扱います。
運用中のシステムの弱点を潰したい人
記事を見るComparisons
「なぜEC2ではなくECSなのか」を判断軸で比較する
機能の一覧ではなく、要件に対してどのサービスを選ぶべきかを、判断軸とトレードオフの形で整理します。
似たサービスのどれを選ぶか迷っている人
記事を見るAI Security
AI活用で新たに増える攻撃面と認証・認可を押さえる
AIエージェントや生成AIの活用事例を題材に、認証・認可の設計と、プロンプトインジェクションなどAI特有のリスクへの向き合い方を整理します。
AIを業務へ組み込む際の安全性を確認したい人
記事を見るサービスの暗記ではなく、状況に応じて「選び、変え、改善する」力を養います。
小規模な企業システムを出発点に、アクセス増加や事業拡大に応じてAWSアーキテクチャを進化させます。
EC2の高負荷、DB接続枯渇、リクエスト消失など、実際に起こり得る障害から改善方法を考えます。
機能だけでなく「なぜEC2ではなくECSなのか」など、採用理由とトレードオフを解説します。
Amazon Bedrock、RAG、自前GPUでのLLM運用まで、AIを実際のシステムへ組み込む方法を扱います。