 DMX 개요
기존 데이터 처리방식의 한계와 문제점을 해결한 DMExpress(DMX)는 자체 특허 알고리즘을 기반으로 한
고성능 ETL 소프트웨어로서 성능개선을 위한 추가적인 인프라 증설과 튜닝 작업 없이 성능문제를 발생시키는
어플리케이션을 DMX 어플리케이션으로 변경하는 것만으로도 성능을 획기적으로 향상할 수 있는 솔루션입니다.
|
|
DMX 구성요소
|
|
|
DMX의 작동방식
|
 |
|
 |
 고가의 하드웨어 장비 추가도입 필요 |
| I/O 작업이 디스크속도에 미치지 못함 |
| 완전하고 철저한 튜닝 필요 |
| 시스템 자원 사용이 최적화되지 않음 |
|
|
| 상용의 하드웨어에서 매우 효율적으로 작업 |
| I/O 작업이 거의 디스크 속도에 접근 |
| 자동 병렬 처리와 pipelining |
| 자동화, 효율적인 캐싱과 해싱 |
|
|
|
다른 ETL에는 없는 DMX의 장점
|
자동 튜닝에 의한
고성능 처리 |
|
「스마트 ETL 최적화」는 자동 튜닝을 통해 개발자는 성능을 의식하지 않고 업무 로직을 개발하는 것만으로 고성능 처리를 개발할 수 있습니다. 따라서 테스트 과정에서 발생되는 성능 문제로 인해 투입되는 공수와 비용에 대해 걱정할 필요가 없습니다.
|
|
효율적인
시스템 자원 활용 |
|
「스마트 ETL 최적화」가 실행 때마다 시스템 자원을 분석하고 최적화함으로써 저가형 서버에서 안정된 처리를 할 수 있습니다. 따라서 대용량의 데이터를 처리 대상에도 과도한 하드웨어
투자를 억제하고, 오랫동안 안심하고 이용하실 수 있습니다.
|
|
| 초고속 처리 |
|
TPC-H의 데이터를 이용한 다른 ETL 제품과 벤치 마크에서 세계 최고를 수립했습니다.
압도적인 고속 성과가 평가되어 다양한 고객들이 사용하고 있습니다. 5.4TB의 raw TPC-H data를 추출, 변환, 정제와 로드 (Vertica Analytic Database)
--> 57분21초51
|
|
고품질 개발이 가능한
GUI |
|
트리 구조에 따라 위에서 아래로 개발하는 "단계 트리 형식"을 채용하여 개발 단계를 알기 쉬운 GUI 구조로 되어 있습니다. 개발 속도가 빨라 사업기간을 단축하고 인력비용을 절감할 수 있습니다.
|
|
| 간단한 시스템 구성 |
|
DMX의 구성은 매우 간단합니다.
동작을 위해 리파지토리 데이터베이스 및 타사 도구 (Java와 같은 컴파일러)가 필요하지 않습니다. 따라서 보수 운용의 수고를 줄이고 서비스 가용성 및 장애 지점이
적어 높은 신뢰성을 실현하고 있습니다.
|
|
|
활용분야 및 효과
|
| Data Warehousing |
|
데이터웨어하우징 어플리케이션들의 속도 향상과 필요 하드웨어 용량을 감소시켜 비용 절감 합니다. 추가적으로 SLA(서비스 수준 계약) 만족할 수 있습니다.
|
|
| Existing ETL environment |
|
ETL내부의 오래 실행되는 프로세스를 최적화하여 결과를 더 빠르게 도출할 수 있습니다.
|
|
| Database Marketing |
|
최소 비용으로 대량데이터 분석시간을 단축시켜 다양한 고객행동모형과 통계분석 시뮬레이션을 실시하여 모델의 정확성을 향상시킬 수 있습니다.
|
|
| Click Stream |
|
고객이 웹 화면에 Click하는 웹 로그 데이터 셋을 Reformat, Cleanse, Restructure 기능을 통해 고객이 빠른 의사결정을 지원합니다.
|
|
| Business Intelligence Tools |
|
BI 어플리케이션들을 위해 대용량 집계테이블을 더 빠르게 만들고 적재할 수 있습니다. 데이터를 정확하고 적시에 사용자들에게 제공할 수 있습니다.
|
|
| Legacy Migration |
|
저비용으로 정확하고 빠르게 모든 종류의 대용량 데이터 마이그레이션을 처리하여 사업 수행기간 단축 및 반복 수행에 부담이 적습니다.
|
|
| 기타 적용 가능 분야 |
|
1.빅데이터 및 대용량 데이터 파일 처리 시
2.Sort, Join, Summarize, 최대, 최소 값 구하는 연산 작업
3.시간 내에 데이터 처리해야 하는 작업
4.적은 시스템 자원으로 더 많은 데이터를 처리 해야 하는 경우
|
|
|
POC 사례
|
| 금융기관 |
|
적용 대상 : 금융기관 데이터 처리용 배치
적용 전(DataStage + Pro*C) : 최대 7시간13분, 평균 3시간37분
적용 후(DataStage + DMX) : 최대 1시간12분, 평균 55분
|
|
| 공공기관 |
|
적용 대상 : DM 발송용 고지서 생성 업무
적용 전(Oracle + PL/SQL) : 80시간 소요
적용 후(Oracle + DMX) : 3시간54분 소요
|
|
|
도입 효과
| 체감할 수 있는 성능 개선 |
| DB서버 자원(CPU/Disk) 사용율 감소 |
| 작업 오류 등 재 작업 부담 해소 |
| 담당자의 주말근무와 야근 해소 |
|
|
|
