products/G-Insight/bigdata

G-Insight 빅데이터 플랫폼

오픈소스 기반의 빅데이터 분석 플랫폼 구축 서비스입니다.

개별 시스템에 적재되어 있는 정형 데이터와 로그등 여러 비정형 데이터를 수집하고  머신러닝, 통계등 다양한 분석 방법으로 새로운 방향의 비지니스 관점을 제시합니다.

그노티 오픈소스 빅데이트 플랫폼 구성

오프소스를 활용한  빅데이터 플랫폼 구축으로 솔루션에 대한 비용을 줄이고 데이터 서비스에 대한 품질을 향상 시킵니다.

오픈소스 기반 빅데이터 플랫폼

G-Insight 빅데이터 플랫폼의 특징

  • Superset 을 이용한 분석데이터 시각화 (다양한 시각화 툴, 대시보드 생성 및 공유 기능, 데이터 엑세스에 대한 세밀한 보안/권한 관리)
  • Druid 을 이용한 성능 향상  (리얼타임 데이터 분석용 데이터 스토어)
  • 구축된 플랫품에 대한 자체 모니터링 환경 구성

Superset은 강력하고 풍부한 분석 시각화 툴을 제공합니다.

Superset 대시보드 샘플
Superset 데모

Druid는 실시간으로 들어오는 데이터(실시간 뷰)와 이전 데이터(배치 뷰)를 합해 쿼리 결과를 보여줍니다.

Druid 매카니즘
  • Time-series 데이터에 대한 top-N, Count, aggregate 등의 쿼리를 분산 처리
  • 실시간과 배치 모두를 지원해 배치 분석 뿐 아니라 실시간 처리 가능
  • 시간에 따라 in-memory, local-storage, deep storage로 데이터가 이관되어 TB 이상의 대용량 데이터 지원
  • 각각의 기능(질의 처리, 저장, 색인)은 별도의 서버로 분리 가능하여 사용량 증가 시에도 Scale out 가능
  • 데이터는 Timestamp, Dimension, Metric으로 구성