빅데이터 Trend Keyword (2)

5. 하둡 에코시스템

 

오픈소스지만 확장성과 호환성이 높아서 최근 많은 기업이 채용하는 하둡 에코시스템도 다른 에코시스템과 마찬가지로 특정한 기술 및 프레임워크가 아니라 하둡을 비롯한 십수 종의 다양한 기술과 프레임워크, 개발언어, 솔루션으로 이루어진 거대한 프로젝트의 집합체다. 마치 여러 대의 자동차가 합체하여 하나의 거대한 로봇이 되는 애니메이션 변신 로봇처럼 하둡 에코시스템은 다양한 빅데이터 기술이 집합된 결정체라고 할 수 있다.

 

6. 데이터 레이크

 

빅데이터 시대에 접어들면서 나날이 증가하는 방대한 데이터와 새로운 포맷의 데이터를 수집하고 축적, 활용해야 한다는 환경의 니즈가 증가하면서 기업들은 종전의 ETL과 DW 구축 및 관리만으로는 한계에 다다랐다. 이러한 이유로 많은 기업이 정형 데이터로 구성된 전통적인 데이터 외에 수많은 비정형 데이터(소셜 텍스트, 센서 데이터, 이미지, 동영상 등)를 실시간으로 수집, 정제, 통합, 분석해 활용하기 위해 데이터 레이크라는 새로운 개념의 데이터 관리 플랫폼을 도입하고 있다. 

데이터 레이크는 정형, 비정형을 막론한 다양한 형태의 로 데이터를 모은 집합소 개념으로, 데이터 분석가, 데이터 사이언티스트, 개발자 등의 사용자들이 로 데이터를 다양한 툴로 이용해 가공 및 분석하여 인사이트를 얻기에 매우 유용하다.

데이터 레이크는 메타데이터를 수집 및 관리하는 별도의 과정은 필요하지만, 사전에 정의된 스키마가 없으므로 종전의  ETL 과정에서처럼 데이터의 스키마를 맞추는 작업은 필요하지 않다. 또 하나의 데이터 모델링에 국한하지 않고 여러 데이터 모델링에 대응할 수 있다. 이것이 데이터 레이크의 장점 중 하나인 유연성이다.

 

7. 마이데이터

 

최근 세계의 정보보호 관련 이슈 중 가장 큰 이슈는 바로 '마이데이터' 운동이다. 마이데이터 운동은 정보의 주체가 개인정보 권한을 갖고 관리할 수 있게 하는 취지다. 2015년 브뤼셀에서 처음 시작된 이 운동은 유럽을 거쳐 전 세계로 확산되었다. 마이데이터 기구 사이트에서 이들의 선언문을 보면 그 취지를 잘 알 수 있다. 마이데이터 선언문에는 '이 선언에서 제시하는 변화와 원칙은 균형을 회복하고 개인정보에 대한 인간 중심의 비전을 향해 나아가는 것을 목표'로 명시한다고 되어 있다. 그리고 이것은 '공정하고 지속 가능하며 번영하는 디지털 사회의 조건'이라고 말한다. 

 

8. 2020년 개정된 <개인정보보호법>

 

우리나라 <개인정보보호법>에 따르면 '개인정보는 살아 있는 개인에 관한 정보'를 말한다.

정보 소유의 주체가 '살아 있는 사람'이어야 한다는 것이다. 개인정보는 전자상거래, 고객관리, 금융거래 등 사회의 구성, 유지, 발전을 위한 필수적인 요소로서 기능한다. 특히 데이터 경제 시대를 맞이하여 개인정보와 같은 데이터는 기업 및 기관의 입장에서도 부가 가치를 창출할 수 있는 자산적 가치로서 높게 평가되고 있다. 그러나 개인정보가 누군가에 의해 악의적인 목적으로 이용되거나 유출될 경우 개인의 사생활에 큰 피해를 줄 뿐만 아니라 개인 안전과 재산에 피해를 줄 수 있다. 

 

개정된 <개인정보보호법< 주요 내용

- 개인정보 보호 원칙

- 개인정보 자기 결정권

- 개인정보 처리 제한(민감 정보, 고유식별정보)

- 영상정보 처리기기 규제

- 개인정보 유출 통지 및 신고제 도입

- 정보 주체의 권리 보장

- 안전조치 의무가명 정보의 처리에 관한 특례 도입

---

출처 : 2026 ADsP 데이터분석 준전문가