TAURUS (타우루스)
개요
- Taurus는 Dataflow 엔진입니다. 복잡해지는 기업의 시스템을 유실 없는 데이터 전송 및 실시간 처리의 중요성의 증가로 Taurus가 개발되었습니다. 시스템 간 데이터 전달의
효율적 처리/관리, 모니터링 하기 위한 최적의 시스템으로써, ETL관점, 자원관리관점, Network 관점, Web UI 관점, 클러스터 환경 관점의 특징을 가지고 있습니다.
기술배경
- Taurus는 글로벌 오픈소스인 Nifi를 기반으로 확장된 데이터통합관리시스템입니다. Workflow Management, Job Management 기능을 기본으로 그 위에 Taurus의 고유
기능인 Analytical Processing이 개발되어 Decision Automation을 End-User(Clients)가 이루게 할 수 있는 기능으로 구성되었습니다.
주요기능
- Processor(DP, SP)
- DP 처리의 연쇄 FlowFile 처리로 데이터의 효과적처리 측면, 기존 NiFi에서 더욱 확장된 DP와 SP를 활용한 분석기능으로 의사결정시스템으로서 가치
- 수집, 저장 기능
- One-Node 처리로 인한 병렬처리의 문제점과 대용량처리의 한계를 해결해서 빅데이터플랫폼과의 강력한 연계성
- 통계/대시보드/운영관리 기능
- WorkFlow 차원을 넘어 플랫폼 구조로써 데이터 흐름과 통계를 한눈에 파악
- 한글화 및 운영 매뉴얼
- 한글화 된 UI로의 개발 편리성 도모, 개발에 필요한 환경, 운영에 대한 매뉴얼 및 기획서
Taurus 적용 및 활용
- • DP를 활용한 데이터 처리를 적용하여 데이터의 일괄적 처리
- • 개발단계에서 FlowFile의 단계를 축약 처리
- • 의사결정을 위한 통계/분석을 이식성강한 SP로 유연하게처리
- • 복잡한 통계개념을 Input/Output만으로 이해, 업무적용편리
- • 병렬처리를 위한 Site-To-Site 기능을 One-Node에서 처리
- • FlowFile Queue 프로세스 약점인 대용량처리 가능
- • Crawling 처리와 빅데이터 플랫폼과의 강력 연계
- • UI의 한글화로 개발 편리성 도모
- • 개발/운영단계 매뉴얼화로 PJT에서 별도의 산출물 불 필요
- • 개발과 운영 시 모니터링 작업의 편리성 제공