Giảm latency và cost LLM 40-70% với semantic caching trên Redis và Bedrock prompt caching. Config-driven cache policies, invalidation strategies.

Agent cần bộ nhớ. Lưu conversation history, session state, tool results trong DynamoDB. Thêm Global Tables cho multi-region replication và DAX cho hot reads.

Đưa MCP server từ localhost lên production trên AWS. ECS Fargate với ALB, auto-scaling, Secrets Manager, và CI/CD pipeline.

Gói tất cả 5 ngày trước vào một nền tảng nội bộ. Agent registry, self-service creation, governance (approval workflows), dashboard unified.

Agent là single point of failure. Triển khai đa region, failover tự động, replication state và cache — giữ agent chạy khi data center tắt điện.

Agent sẽ fail. Xử lý nó một cách graceful. Retry với exponential backoff, circuit breaker, fallback chain, và graceful degradation.

Không ship prompt mới mà không test. Xây dựng nền tảng A/B testing: versioned prompts, traffic splitting, gradual rollout, và evaluator tự động.

Đừng trả tiền cho cùng một LLM call hai lần. Triển khai semantic caching, exact caching, tool result caching với Redis và embeddings cho AI agent.