데이터 패브릭이란?

데이터 패브릭은 데이터 중심적인 모든 조직의 필수 요소라고 합니다. 지난 몇 년 동안 이 용어는 엔터프라이즈 데이터 관리 및 엔터프라이즈 데이터 통합과 매우 관련이 있습니다. 분석 회사 Gartner에 따르면 데이터 패브릭은 2021년 상위 10개 데이터 및 분석 트렌드로 간주됩니다. Gartner는 또한 2024년까지 모든 데이터 관리 공급업체의 거의 25%가 포괄적인 데이터 패브릭 솔루션을 제공할 것으로 추정합니다. 이것은 현재 5%의 기여도에서 큰 도약이 될 것입니다.

• 데이터 패브릭 정의
• 데이터 패브릭의 필요성
• 건축
• 주요 기능
• 비교
• 데이터 패브릭 사용 사례
• 데이터 패브릭의 장점

데이터 패브릭이란?

간단히 말해서 데이터 패브릭은 통합된 기술 및 서비스 집합을 포함하는 단순화되고 통합된 단일 아키텍처입니다. 이 컬렉션은 올바른 방법론을 사용하여 통합되고 풍부한 데이터를 올바른 데이터 고객에게 올바른 시간에 제공하기 위해 만들어졌습니다. 운영 및 분석 작업을 모두 처리합니다.

데이터 패브릭은 데이터 카탈로그, 데이터 거버넌스, 데이터 통합, 데이터 파이프라이닝 및 데이터 오케스트레이션과 같은 주요 데이터 관리 기술로 구성됩니다.

출처: Gartner Inc. 및/또는 그 계열사

데이터 패브릭이 필요한 이유는 무엇입니까?

조직에 데이터 패브릭이 필요한 근본적인 이유는 본질적으로 비즈니스, 기술 및 조직적 조정 동인을 제공하기 때문입니다.

비즈니스 동인

• 비즈니스 동인의 경우 데이터 패브릭은 통찰력에 액세스하는 시간을 줄이는 데 도움이 되고 정보에 입각한 의사 결정의 더 빠른 프로세스를 돕습니다. 이는 데이터를 데이터 웨어하우스 및 데이터 레이크에 신속하게 파이프라인하여 수행합니다.

• 데이터 패브릭은 또한 고객, 공급업체, 주문, 배송, 제품 등과 같은 비즈니스 엔터티의 모든 측면에 대한 실시간 360도 보기를 제공하는 데 도움이 됩니다.

조직 동인

• 데이터 패브릭은 데이터 엔지니어와 데이터 소비자 간의 공통 언어 역할을 하므로 비즈니스 팀과 데이터 팀 간의 협업을 개선하는 데 도움이 됩니다.

• 소비자가 주어진 시간에 필요한 데이터를 얻을 수 있도록 하는 셀프 서비스 데이터 액세스 기능이 있습니다.

데이터 관리 동인

• 데이터 준비 관리는 데이터 과학자 및 기타 IT 리소스가 데이터 강화, 변환 및 데이터 정리와 관련된 반복적인 작업을 수행하는 것을 방지하는 데 도움이 됩니다.

• 데이터 패브릭을 통해 모든 방법을 사용하여 모든 종류의 전사적 데이터에 액세스할 수 있습니다. 여기에는 대량 데이터 이동, 데이터 가상화 및 API도 포함됩니다.

• 또한 데이터 패브릭은 조직에서 사용되는 현재 데이터 관리 도구를 간소화 및 통합하고 비용 효율성을 개선하기 위해 다른 중복 도구를 최적화합니다.

데이터 패브릭의 아키텍처

잘 정의된 데이터 패브릭 아키텍처는 본질적으로 모듈식이며 멀티 클라우드, 온프레미스 또는 하이브리드 배포가 될 수 있는 대규모 배포를 지원합니다. 데이터 패브릭 아키텍처의 경우 데이터 소스는 사일로에서 작동하는 많은 레거시 시스템에서 최신 클라우드 환경에 이르기까지 다양합니다.

다음 다이어그램은 데이터 패브릭의 아키텍처에 대한 아이디어를 제공합니다.

출처: Gartner Inc. 및/또는 그 계열사

데이터 패브릭의 소비자는 데이터 과학자와 분석가, 마케팅 분석가, 영업 분석가, 그리고 클라우드 설계자와 함께 데이터 개인 정보 보호를 위해 일하는 리소스로 구성됩니다.

데이터 패브릭의 주요 기능

다음은 데이터 패브릭이 단일 통합 플랫폼에 통합될 때 지원하는 주요 기능 세트입니다.

1. 데이터 카탈로그
   데이터 자산을 분류, 분류 및 적절한 인벤토리 구조에 넣어 시각적으로 표시합니다.

2. 데이터 엔지니어링
   분석 및 운영 목적을 위한 신뢰할 수 있는 데이터 파이프라인 개발

3. 데이터 거버넌스
   데이터 품질을 보장하고 데이터 개인 정보 보호, 데이터 안전 및 확장성에 관한 규정 및 프로토콜을 준수합니다.

4. 데이터 준비
   이는 데이터 정리, 강화, 변환 및 데이터 유효성 검사와 관련된 단계를 포함하는 데이터 흐름 프로세스를 정의하는 것입니다.

5. 데이터 통합 ​​및 데이터 전달
   여기에는 신뢰할 수 있는 소스에서 데이터를 추출하거나 검색한 다음 데이터 소비자가 추가 처리를 위해 사용할 수 있도록 하는 작업이 포함됩니다. 이것은 API, ETL 등을 통해 수행됩니다.

위에서 언급한 핵심 기능 외에도 데이터 패브릭이 테이블에 제공하는 특정 비핵심 기능도 있습니다.

다음과 같습니다.

1. 데이터의 규모, 양 및 성능
2. 접근성
3. 분포
4. 보안

운영 워크로드를 위한 Data Fabric/Data Lake/Database 간의 비교

데이터 패브릭의 중요성을 이해하는 데 도움이 되도록 다양한 데이터 소스의 장단점 비교를 살펴보겠습니다.

데이터 패브릭은 대규모 운영 워크로드를 위한 우수한 기술 역할을 하지만 데이터 레이크 및 데이터 웨어하우스에 대한 상호 기술 역할을 하는 솔루션이기도 합니다. 이러한 양의 데이터 워크로드에 대해 데이터 패브릭은 다음을 수행할 수 있습니다.

1. 오프라인 분석을 위해 신선하고 신뢰할 수 있는 데이터를 파이프라인에 연결합니다.
2. 그들로부터 비즈니스 통찰력을 받아 실시간 운영 사용 사례에 포함시킵니다.

데이터 패브릭 사용 사례

엔터프라이즈 운영 전반에 걸쳐 여러 트랜잭션을 지원할 수 있는 대규모 고속 데이터 아키텍처가 필요한 여러 사용 사례가 있습니다. 이러한 예에는 다음이 포함됩니다.

• 360도 고객 뷰 제공

  CRM 시스템, IVR 또는 고객 셀프 서비스 포털을 통해 고객에 대한 포괄적이고 단일한 보기를 제공합니다.

• 데이터 개인 정보 보호법 준수

  사람, 시스템 및 데이터 간의 규정 준수를 준수하는 유연한 워크플로 및 데이터 자동화 솔루션을 채택합니다.

• 요청 시 데이터 테스트

  테스트 데이터 웨어하우스를 만들고 다양한 데이터 센터에 익명 테스트 데이터를 공유하여 완전한 무결성을 유지하도록 지원

데이터 패브릭의 장점

일부 기존/대체 데이터 관리 방법론에 비해 데이터 패브릭에는 많은 이점이 있습니다.

• 향상된 데이터 관리
• 확장된 데이터 서비스
• 높은 수준의 일관성, 가용성 및 내구성
• 매우 엄격한 보안
• 고성능

마지막 생각들

데이터 분석을 위한 단일 데이터 패브릭 솔루션과 운영 인텔리전스를 위한 다른 솔루션을 원하지 않는 팀. 그들은 일반적으로 두 가지 모두에 대해 단일 데이터 패브릭을 선호합니다.

기타 유용한 리소스:

데이터 기반 문화를 만드는 5단계 | TechFunnel

2022년 데이터 활용 능력 구축을 위한 12가지 팁 | 테크퍼널

데이터 허브 – 알아야 할 모든 것 | 테크퍼널