올해로 13회를 맞이한 AWS re:Invent 행사에, 에스티씨랩은 과학기술정보통신부와 NIPA(정보통신산업진흥원)의 지원사업을 통해 K-SaaS 기업 공동관 부스 전시에 참여했습니다.
관련 글)
AWS re:Invent(리인벤트) K-SaaS 부스 전시 참여... [링크]
이와 함께, 다른 솔루션 기업들의 최신 트렌드와 솔루션 방향성을 살펴보고, 경쟁사 제품과의 차별화 포인트를 확립하기 위한 인사이트를 도출하고자 다양한 세션과 부스에 참여했습니다. 그 중 인상깊었던 AWS 키노트 내용을, CTO인 헨리의 글로 확해보겠습니다.
AWS re:Invent(리인벤트) 2024 참관기(1) - CEO KeyNote... [링크 클릭]
AWS re:Invent(리인벤트) 2024 참관기(3) - CTO KeyNote... [링크 클릭]
AWS의 AI & Data VP인 Dr.Swami의 키노트를 들었습니다. AI는 생산성을 높이고 창의성을 확장시켜주는 실질적인 가치를 제공한다고 말하며, 생성형 AI(Generative AI) 발전 가속화에 따른 중요성 확대에 대해 언급하였습니다. 그리고 AWS가 다양한 AI 서비스를 제공하며 고객의 성장을 돕고 있다고 강조했습니다.
AWS에서 제공하는 AI 서비스는 크게 SageMaker / BedRock / Amazon Q 세가지로, AWS는 이들 메인 서비스간의 역할과 시너지에 대해 고민하고 자신들만의 AI 서비스 생태계를 형성하고 있습니다. 특히 인상깊었던 점은 BedRock에 추가된 신규 서비스와 기능에 대한 이해를 돕기 위해 AI 개발 프로세스의 한계와 문제점에 대해 상세하게 언급하는 모습에서 AWS의 막대한 투자와 개발 노력이 보였습니다. 앞으로도 BedRock이 AWS AI 기능의 핵심적인 역할을 담당할 것으로 예상되는 시간이었습니다.
1. SageMaker HyperPod 새로운 기능
SageMaker는 대규모 모델 훈련에서 발생하는 복잡성과 문제를 해결해, 고객이 효율적이고 안정적으로 모델을 개발하고 운영할 수 있도록 돕습니다.
1) Amazon SageMaker HyperPod Flexible Training Plans
- 컴퓨팅 요구 사항과 훈련 일정만 정의하면 나머지를 자동으로 처리하는 유연한 훈련 계획을 제공합니다.
- EC2 용량 블록을 활용해 최적의 훈련 계획을 생성하며, 클러스터 설정과 모델 훈련 작업을 자동화해 데이터 과학팀의 작업 시간을 크게 단축시킵니다.
- 효율적인 체크포인트와 자동 복구 기능으로 훈련 중단 시에도 수동 개입 없이 지속적으로 작업을 진행할 수 있으며, 동적인 자원 환경에서도 효율적인 컴퓨팅 자원 관리를 가능하게 합니다.
2) SageMaker HyperPort Task Governance
- 컴퓨팅 자원의 효율적 관리가 어려운 환경에서 Amazon은 동적 자원 할당과 실시간 분석으로 자원 활용도를 90% 이상 높이고, SageMaker HyperPort Task Governance를 통해 작업 관리를 자동화하여 비용을 최대 40% 절감합니다.
2. Amazon Bedrock의 발전과 새로운 모델 추가
Amazon BedRock은 애플리케이션 개발자가 Generative AI 애플리케이션을 쉽게 구축하고 확장할 수 있도록 지원하는 완전 관리형 서비스입니다. 다양한 모델 옵션을 제공하여 개발자가 각 과제에 적합한 최적의 모델을 선택하고 활용할 수 있습니다.
Mistral AI, Meta의 Llama, Stability AI, Anthropic의 첨단 모델, Amazon의 Nova 모델 등을 지원합니다. 내부 팀에서도 이미 여러 모델을 활용 중이며, 앞으로 더 많은 고객이 사용할 수 있도록 모델 확장을 계속 진행할 예정이라고 합니다. 내년에는 Poolside의 새로운 모델이 Bedrock에 추가될 예정이라고 하네요.
1) Amazon BedRock Marketplace
Bedrock Marketplace는 주요 제공업체에서 서비스되는 100개 이상의 최신 특화 기반 모델을 제공합니다. Bedrock 콘솔을 통해 다양한 모델을 통합된 환경에서 쉽게 탐색하고 테스트하며 개발 워크플로우를 간소화할 수 있습니다.
2) Amazon Bedrock supports prompt caching
Prompt caching은 한번 생성된 토큰 인코딩을 문서 전체에 캐싱하고, 이후 프롬프트에서 다시 처리하지 않도록 입력 토큰 처리 과정을 생략할 수 있습니다. 자주 사용하는 프롬프트 접두어를 여러 API 호출에서 캐싱하면 응답 지연 시간을 줄일 뿐만 아니라 비용도 크게 절감할 수 있습니다. 관련해 지연 시간을 최대 85%, 비용을 최대 90%까지 줄일 수 있다고 안내하고 있습니다.
3) Amazon Bedrock Intelligent Prompt Routing
이 기능은 프롬프트를 모델 패밀리 내에서 다양한 기반 모델로 자동 라우팅하여 비용과 응답 품질을 최적화할 수 있도록 도와줍니다. 사용자는 원하는 모델을 선택하고, 요청별로 비용과 지연 시간의 임계값을 설정하면 됩니다.
4) Amazon Bedrock Knowledge Bases now supports GraphRAG
Amazon Neptune을 사용해 자동으로 그래프를 생성하고, 다양한 데이터 소스 간의 관계를 연결해주는 기능입니다. 이를 통해 별도의 그래프 전문 지식 없이도 더욱 포괄적인 생성형 AI 애플리케이션을 만들 수 있습니다.
5) Amazon Bedrock Data Automation
비정형 멀티모달 콘텐츠를 자동으로 구조화된 데이터로 변환해 생성형 AI 애플리케이션에 활용할 수 있게 해줍니다. 코딩이 필요 없으며, 마치 비정형 데이터를 위한 생성형 AI 기반 ETL 도구라고 생각하면 됩니다. 이 기능은 멀티모달 콘텐츠를 자동으로 추출, 변환, 처리할 수 있으며, 단일 API를 통해 원하는 출력물을 생성하거나, 스키마에 맞춰 정렬하거나, 분석에 활용할 데이터를 손쉽게 변환하고 로드할 수 있습니다. 또한, Bedrock Data Automation은 신뢰 점수를 제공하고 응답을 원본 콘텐츠에 기반하게 만들어, 허구적 결과(hallucination)의 위험을 줄여준다고 합니다.
6) Amazon Bedrock Guardrails Multimodal toxicity detection
이미지 데이터를 지원하는 유해성 감지 기능이 추가되었습니다. 이를 통해 안전한 멀티모델 생성형 AI 애플리케이션을 구축할 수 있습니다. 예를 들어, 온라인 광고 분류 회사는 혐오, 폭력, 부적절한 이미지 콘텐츠와 같은 유해 이미지를 사용자와의 상호작용에서 차단할 수 있습니다.
7) Amazon Kendra Generative AI Index
지식 기반과 전체 생성형 AI 스택과의 매끄러운 통합이 가능한 Kendra Generative AI Index 가 새롭게 출시 되었습니다. 이 기능은 40개 이상의 기업 데이터 소스와 연결할 수 있는 커넥터를 지원하며, Bedrock과 드래그를 위한 관리형 검색기를 제공합니다. Bedrock 지식 기반으로 활용할 수 있으며, 에이전트, 프롬프트 플로우, 가드레일 같은 기능을 통해 생성형 AI 어시스턴트를 손쉽게 구축할 수 있다고 합니다.
3. Amazon Q 신규 서비스
Amazon Q는 AWS 서비스를 보다 쉽게 가이드하고 제안해주는 생성형 AI 기반의 도우미 기능입니다.
1) Amazon Q Developer is now available in SageMaker Canvas
SageMaker Canvas에서 이제 Amazon Q를 사용할 수 있습니다. 자연어로 문제를 설명하면 Python 코딩 없이도 Amazon Q가 ML 모델 구축 과정을 단계별로 안내합니다.
2) Amazon Q in QuickSight Scenarios
Amazon Q와 QuickSight는 비즈니스 분석 속도를 크게 향상시킬 것이라고 합니다. Amazon Q는 데이터 레이크에서 빠른 SQL 분석과 빅데이터 처리를 가능하게 하고, SageMaker AI에서 모델 훈련을 가속화하며, Bedrock에서는 AI 기반의 새로운 경험을 제공합니다. 이러한 도구와 데이터, 그리고 AI의 융합은 차세대 Amazon SageMaker를 통해 분석 및 머신러닝 워크플로우를 간소화 하게 됩니다.
이번 KeyNote를 통해 개인적으로 느낀 점은, AWS가 오픈소스를 서비스화하는 데 강점을 보였던 전략을 AI 생태계에서도 그대로 적용하고 있다는 것이었습니다. 특히, AI 시장에서 자신들이 어떤 포지셔닝을 해야 하는지에 대한 명확한 목표와 실행이 돋보였습니다.
AWS는 일관되게 "AI 개발에서 개발자의 효율성과 편의성을 제공하며, 기업 내 많은 인력 리소스와 비용에 대한 엄청난 효율과 생산성을 AWS를 통해 구현할 수 있다"는 메시지를 전달했습니다.
에스티씨랩 솔루션 역시 기업의 트래픽 관리와 자동화에 적용해 효율성과 생산성을 극대화할 수 있다는 점을 강조해 브랜딩하고, AWS AI 서비스를 활용해 ML(머신러닝) 및 LLM(대규모 언어 모델) 등 다양한 서비스를 보다 신속하게 적용할 수 있도록 실행 계획을 수립해야겠다는 생각을 해봅니다.
'People & Culture > Surfer's Daily' 카테고리의 다른 글
| [STCLab 전사 워크숍] #1. 기회의 25년, 함께 시작합니다 (1) | 2025.02.17 |
|---|---|
| AWS re:Invent(리인벤트) 2024 참관기(3) - CTO KeyNote (0) | 2025.02.05 |
| AWS re:Invent(리인벤트) 2024 참관기(1) - CEO KeyNote (0) | 2025.02.03 |
| 열심히 일한 서퍼들의 Refresh Day 엿보기 (0) | 2024.12.20 |
| 사내 교육부터 철저히! WA 제품 발표회 개최 (1) | 2024.10.15 |
