> 솔루션&서비스


DMX 개요

기존 데이터 처리방식의 한계와 문제점을 해결한 DMExpress(DMX)는 자체 특허 알고리즘을 기반으로 한
고성능 ETL 소프트웨어로서 성능개선을 위한 추가적인 인프라 증설과 튜닝 작업 없이 성능문제를 발생시키는
어플리케이션을 DMX 어플리케이션으로 변경하는 것만으로도 성능을 획기적으로 향상할 수 있는 솔루션입니다.



DMX 구성요소




 DMX의 작동방식



 고가의 하드웨어 장비 추가도입 필요
 I/O 작업이 디스크속도에 미치지 못함
 완전하고 철저한 튜닝 필요
 시스템 자원 사용이 최적화되지 않음


 상용의 하드웨어에서 매우 효율적으로 작업
 I/O 작업이 거의 디스크 속도에 접근
 자동 병렬 처리와 pipelining
 자동화, 효율적인 캐싱과 해싱



다른 ETL에는 없는 DMX의 장점

자동 튜닝에 의한
고성능 처리
「스마트 ETL 최적화」는 자동 튜닝을 통해 개발자는 성능을 의식하지 않고 업무 로직을 개발하는 것만으로 고성능 처리를 개발할 수 있습니다. 따라서 테스트 과정에서 발생되는 성능 문제로 인해 투입되는 공수와 비용에 대해 걱정할 필요가 없습니다.
효율적인
시스템 자원 활용
「스마트 ETL 최적화」가 실행 때마다 시스템 자원을 분석하고 최적화함으로써 저가형 서버에서 안정된 처리를 할 수 있습니다. 따라서 대용량의 데이터를 처리 대상에도 과도한 하드웨어 투자를 억제하고, 오랫동안 안심하고 이용하실 수 있습니다.
초고속 처리 TPC-H의 데이터를 이용한 다른 ETL 제품과 벤치 마크에서 세계 최고를 수립했습니다. 압도적인 고속 성과가 평가되어 다양한 고객들이 사용하고 있습니다. 5.4TB의 raw TPC-H data를 추출, 변환, 정제와 로드 (Vertica Analytic Database)
--> 57분21초51
고품질 개발이 가능한
GUI
트리 구조에 따라 위에서 아래로 개발하는 "단계 트리 형식"을 채용하여 개발 단계를 알기 쉬운 GUI 구조로 되어 있습니다. 개발 속도가 빨라 사업기간을 단축하고 인력비용을 절감할 수 있습니다.
간단한 시스템 구성 DMX의 구성은 매우 간단합니다.
동작을 위해 리파지토리 데이터베이스 및 타사 도구 (Java와 같은 컴파일러)가 필요하지 않습니다. 따라서 보수 운용의 수고를 줄이고 서비스 가용성 및 장애 지점이 적어 높은 신뢰성을 실현하고 있습니다.



활용분야 및 효과

Data Warehousing 데이터웨어하우징 어플리케이션들의 속도 향상과 필요 하드웨어 용량을 감소시켜 비용 절감 합니다. 추가적으로 SLA(서비스 수준 계약) 만족할 수 있습니다.
Existing ETL environment ETL내부의 오래 실행되는 프로세스를 최적화하여 결과를 더 빠르게 도출할 수 있습니다.
Database Marketing 최소 비용으로 대량데이터 분석시간을 단축시켜 다양한 고객행동모형과 통계분석 시뮬레이션을 실시하여 모델의 정확성을 향상시킬 수 있습니다.
Click Stream 고객이 웹 화면에 Click하는 웹 로그 데이터 셋을 Reformat, Cleanse, Restructure 기능을 통해 고객이 빠른 의사결정을 지원합니다.
Business Intelligence Tools BI 어플리케이션들을 위해 대용량 집계테이블을 더 빠르게 만들고 적재할 수 있습니다. 데이터를 정확하고 적시에 사용자들에게 제공할 수 있습니다.
Legacy Migration 저비용으로 정확하고 빠르게 모든 종류의 대용량 데이터 마이그레이션을 처리하여 사업 수행기간 단축반복 수행에 부담이 적습니다.
기타 적용 가능 분야 1.빅데이터 및 대용량 데이터 파일 처리 시
2.Sort, Join, Summarize, 최대, 최소 값 구하는 연산 작업
3.시간 내에 데이터 처리해야 하는 작업
4.적은 시스템 자원으로 더 많은 데이터를 처리 해야 하는 경우



POC 사례

금융기관  적용 대상 : 금융기관 데이터 처리용 배치
 적용 전(DataStage + Pro*C) : 최대 7시간13분, 평균 3시간37분
 적용 후(DataStage + DMX) : 최대 1시간12분, 평균 55분
공공기관  적용 대상 : DM 발송용 고지서 생성 업무
 적용 전(Oracle + PL/SQL) : 80시간 소요
 적용 후(Oracle + DMX) : 3시간54분 소요



도입 효과

 체감할 수 있는 성능 개선
 DB서버 자원(CPU/Disk) 사용율 감소
 작업 오류 등 재 작업 부담 해소
 담당자의 주말근무와 야근 해소