AWS cho AI/Agent Developers — Day 1: Deploy MCP Server lên ECS Fargate

Tổng quan Series#

AI agents rất mạnh, nhưng chạy production là chuyện khác. Cần infrastructure reliable, scalable, secure — và AWS giải quyết được tất cả.

Series này dạy bạn xây dựng production-grade infrastructure cho AI agents trên AWS. Mỗi ngày là một piece của puzzle: deploy model, quản lý state, caching, routing traffic, và automate deployment.

Kiến trúc tổng thể — Chúng ta đang xây cái gì?#

1
                           AI Agent trong Production
2
                                    │
3
          ┌─────────────────────────┼─────────────────────────┐
4
          │                         │                         │
5
          ▼                         ▼                         ▼
6
    ┌──────────────┐        ┌──────────────┐         ┌──────────────┐
7
    │ Route53 +    │        │   ALB        │         │ CI/CD        │
8
    │ CloudFront   │        │ (Load Balancer)        │ Pipeline     │
9
    │ (Day 5)      │        │ (Day 1)       │         │ (Day 6)      │
10
    └──────┬───────┘        └──────┬───────┘         └──────────────┘
11
           │                       │
12
    ┌──────▼───────────────────────▼──────┐
13
    │          Compute Layer              │
14
    │  ┌────────────────┬──────────────┐  │
15
    │  │ ECS Fargate   │  Lambda +    │  │
16
    │  │ (Container)   │  Bedrock     │  │
17
    │  │ (Day 1)       │  (Day 4)     │  │
18
    │  └───────┬───────┴──────┬───────┘  │
19
    └──────────┼──────────────┼──────────┘
20
               │              │
21
    ┌──────────▼──────────────▼──────────┐
22
    │        Data Layer                  │
23
    │  ┌──────────────┬──────────────┐   │
24
    │  │ DynamoDB     │ ElastiCache  │   │
25
    │  │ (State/SS)   │ (Cache/LLM)  │   │
26
    │  │ (Day 2)      │ (Day 3)      │   │
27
    │  └──────────────┴──────────────┘   │
28
    └────────────────────────────────────┘

Lộ trình 6 ngày#

Day	Chủ đề	AWS Services	Học gì?
1	Deploy MCP Server lên ECS Fargate	ECS, ECR, ALB, Secrets Manager	Containerize + deploy agent server với HTTPS, secrets, auto-scaling
2	Agent State với DynamoDB	DynamoDB Global Tables, DAX	Lưu conversation history, session state, replication đa region
3	LLM Caching với ElastiCache + Bedrock	ElastiCache (Redis), Bedrock	Semantic + prompt caching, giảm latency và cost
4	Serverless Agent với Lambda + Bedrock	Lambda, API Gateway, Bedrock, Step Functions	Build agent không cần server
5	Multi-Region Routing với Route53	Route53, CloudFront, Global Accelerator	Global traffic routing, failover, latency-based
6	CI/CD cho AI Agents	CodePipeline, CodeBuild, ECR, ECS	Automated deployment, zero-downtime ship

Day 1: Deploy MCP Server lên ECS Fargate#

Bạn xây MCP server. Nó chạy localhost. Giờ đưa lên internet để agent nào cũng gọi được.

ECS Fargate là sweet spot: không quản lý EC2, auto-scaling sẵn, có load balancer built-in. Ship Docker image, Fargate lo phần còn lại.

Hôm nay deploy:#

1
Agent ─▶ HTTPS :443 ─▶ ALB ─▶ ECS Fargate ─▶ MCP Server (Docker)

Các bước:

Dockerize MCP server
Push lên ECR
Lưu secrets (GitHub token) vào Secrets Manager
Tạo ECS Fargate cluster + task definition
ALB với HTTPS
Auto-scaling
CI/CD tự động

Step 1: Dockerize#

1
FROM node:20-alpine AS builder
2
WORKDIR /app
3
COPY package*.json ./
4
RUN npm ci --omit=dev
5

6
FROM node:20-alpine AS runtime
7
WORKDIR /app
8
RUN addgroup -S mcp && adduser -S mcp -G mcp
9
COPY --from=builder /app/node_modules ./node_modules
10
COPY dist/ ./dist/
11
COPY package.json ./
12
USER mcp
13
EXPOSE 3001
14
HEALTHCHECK --interval=30s --timeout=3s --start-period=10s --retries=3 \
15
  CMD wget --no-verbose --tries=1 --spider http://localhost:3001/health || exit 1
16
ENV NODE_ENV=production PORT=3001
17
CMD ["node", "dist/index.js"]

Multi-stage build: builder stage có devDependencies để compile, runtime chỉ có production code.

Step 2: ECR#

1
# Tạo repository với vulnerability scanning
2
aws ecr create-repository \
3
  --repository-name github-issue-mcp \
4
  --image-scanning-configuration scanOnPush=true
5

6
# Push image
7
aws ecr get-login-password --region us-east-1 | docker login --username AWS --password-stdin <account>.dkr.ecr.us-east-1.amazonaws.com
8
docker push <account>.dkr.ecr.us-east-1.amazonaws.com/github-issue-mcp:latest

Step 3: Secrets Manager#

1
aws secretsmanager create-secret \
2
  --name "github-issue-mcp/github-token" \
3
  --secret-string "ghp_your_token_here"

ECS injects secret vào container khi start. Không lưu trong image, không lưu trong git.

Step 4: ECS Cluster + Service#

1
# Cluster
2
aws ecs create-cluster --cluster-name mcp-server-cluster \
3
  --capacity-providers FARGATE FARGATE_SPOT
4

5
# Task definition (CPU 256, RAM 512MB, secret từ Secrets Manager)
6
aws ecs register-task-definition --family github-issue-mcp \
7
  --network-mode awsvpc --requires-compatibilities FARGATE \
8
  --cpu 256 --memory 512 \
9
  --container-definitions '[
10
    {"name":"mcp-server","image":"<account>.dkr.ecr.us-east-1.amazonaws.com/github-issue-mcp:latest",
11
     "portMappings":[{"containerPort":3001}],
12
     "secrets":[{"name":"GITHUB_TOKEN","valueFrom":"<secret-arn>"}],
13
     "logConfiguration":{"logDriver":"awslogs","options":{"awslogs-group":"/ecs/github-issue-mcp"}}}
14
  ]'
15

16
# Service (2 tasks, private subnets, ALB attached)
17
aws ecs create-service --cluster mcp-server-cluster \
18
  --service-name github-issue-mcp --task-definition github-issue-mcp \
19
  --desired-count 2 --launch-type FARGATE \
20
  --network-configuration "awsvpcConfiguration={subnets=[subnet-private-a,subnet-private-b],securityGroups=[<task-sg>],assignPublicIp=DISABLED}" \
21
  --load-balancers "targetGroupArn=<tg-arn>,containerName=mcp-server,containerPort=3001"

Step 5: ALB#

1
Internet ─▶ HTTPS :443 ─▶ ALB ─▶ HTTP :3001 ─▶ ECS Task (private subnet)

Security groups: ALB SG allow :443, Task SG allow :3001 từ ALB SG
Target group health check: GET /health
Cần ACM certificate cho HTTPS

Step 6: Auto-Scaling#

1
aws application-autoscaling register-scalable-target \
2
  --service-namespace ecs \
3
  --resource-id service/mcp-server-cluster/github-issue-mcp \
4
  --scalable-dimension ecs:service:DesiredCount \
5
  --min-capacity 2 --max-capacity 20
6

7
# Scale out khi request > 100/target
8
aws application-autoscaling put-scaling-policy \
9
  --service-namespace ecs \
10
  --resource-id service/mcp-server-cluster/github-issue-mcp \
11
  --scalable-dimension ecs:service:DesiredCount \
12
  --policy-name request-count-target \
13
  --policy-type TargetTrackingScaling \
14
  --target-tracking-scaling-policy-configuration '{
15
    "TargetValue": 100.0,
16
    "PredefinedMetricSpecification": {
17
      "PredefinedMetricType": "ALBRequestCountPerTarget"
18
    }
19
  }'

Step 7: CI/CD#

buildspec.yml#

1
version: 0.2
2
phases:
3
  pre_build:
4
    commands:
5
      - npm ci && npm run build
6
      - aws ecr get-login-password | docker login --username AWS --password-stdin $ECR_REPOSITORY_URI
7
  build:
8
    commands:
9
      - docker build -t $ECR_REPOSITORY_URI:$CODEBUILD_RESOLVED_SOURCE_VERSION .
10
      - docker tag $ECR_REPOSITORY_URI:$CODEBUILD_RESOLVED_SOURCE_VERSION $ECR_REPOSITORY_URI:latest
11
  post_build:
12
    commands:
13
      - docker push $ECR_REPOSITORY_URI:$CODEBUILD_RESOLVED_SOURCE_VERSION
14
      - printf '[{"name":"mcp-server","imageUri":"%s"}]' $ECR_REPOSITORY_URI:$CODEBUILD_RESOLVED_SOURCE_VERSION > imagedefinitions.json

Mỗi push lên main → build → push ECR → ECS deploy → ALB drain + route.

Kết nối Agent#

1
const client = new McpClient({
2
  transport: new SSEClientTransport({
3
    url: "https://alb-dns/sse",
4
    headers: { "Authorization": "Bearer <sse-secret>" },
5
  }),
6
});

Chi phí (~$69/tháng)#

Component	Cost
Fargate (2 tasks)	~$30
ALB	~$22
ECR + Secrets + CW	~$7
CodePipeline	~$10
Total	~$69

Checklist#

Day	Chủ đề
1	Deploy MCP Server lên ECS Fargate ✅
2	Agent State với DynamoDB Global Tables
3	LLM Caching với ElastiCache + Bedrock
4	Serverless Agent với Lambda + Bedrock
5	Multi-Region Agent Routing với Route53
6	CI/CD cho AI Agents với CodePipeline

Series: AWS cho AI/Agent Developers. Day 1: Deploy MCP server lên ECS Fargate với ALB, Secrets Manager, auto-scaling, và CI/CD.