빅데이터 Trend Keyword

1. 빅데이터와 인공지능

 

인공지능은 인간의 인지능력, 학습능력, 추론능력, 이해능력과 같은 고차원적인 정보처리능력을 구현하는 ICT 기술을 의미한다. 인공지능에 대한 연구는 오래전부터 있어왔지만, 빅데이터 분석 방법의 발전을 거치면서 더욱 빛을 보게 되었다.

빅데이터 분석 기술은 대용량 데이터를 단시간에 처리할 수 있는 알고리즘의 기술 수준이 발전하면서 특히 머신러인 분야의 딥러닝 분석 기술에 관한 발전이 두드러졌다. 기계가 스스로 학습하여 패턴 혹은 공식을 만들어가는 것을 머신러닝이라 부르는데, 인공지능은 머신러닝 기술 중에서 특히 딥러닝과 연관이 매우 깊다. 이렇듯 인공지능 분야는 더욱더 발전하여 오늘날 자율 주행 자동차를 비롯해 AI 로봇, 의료기술, 미디어, 스마트시티 등 다양한 분야에서 상용화가 이루어지고 있다.

 

 

2. 머신러닝과 딥러닝의 차이

 

머신러닝과 딥러닝은 실은 하나의 뿌리를 가진다. 머신러닝은 데이터를 분석하고 이를 학습한 후에 그 데이터를 바탕으로 결정을 내리기 위해 학습한 내용을 적용하는 알고리즘을 말한다. 넷플릭스는 사용자가 선택한 영화를 분석해서 비슷한 유형의 영화를 추천해준다. 머신러닝 알고리즘의 결과다. 인터넷 쇼핑몰에서 '추천 상풉' 알고리즘도 머신러닝 기술이 적용된 것이다. 딥러닝은 카테고리상으로 머신러닝에 포함된 개념이지만, 실제로는 딥러닝 기술이 훨씬 더 진보적이다. 머신러닝은 학습 데이터로 학습하며넛 정확한 예측 알고리즘을 구현하기 위해 일정 부분 사람의 개입이 필요하다. 반면 딥러닝은 예측의 정확성 여부를 스스로 판단하고 결정을 내린다. 딥러닝은 인간이 결론을 내리는 방식과 유사한 논리 구조로 데이터를 엄청나게 빠른 속도로 분석하여 결과를 도출해낸다. 이런 분석 기술을 인공신경망 분석 기술이라 부른다. 이 딥러닝의 좋은 사례가 바로 바둑의 '신'이라 불리는 이세돌과 대결을 펼친 구글의 인공지능 머신 '알파고'다. 

 

 

3. 빅데이터 플랫폼

 

빅데이터 플랫폼이란 데이터의 수집, 저장, 처리, 관리 및 분석 등의 역할 수행을 지원함으로써 새로운 인사이트와 비즈니스 가치 창출이 가능한 빅데이터 프로세스 환경을 의미한다. 복잡한 빅데이터르 처리하기 위해서 기존의 ETL과 DW로는 한계가 있어 다양한 빅데이터 플랫폼이 개발되기에 이르렀다. 빅데이터 플랫폼은 빅데이터를 수집한 뒤 데이터 레이크라 불리는 저장소에 빅데이터를 적재하고, 다양한 솔루션을 활용해 관리 및 분석 환경을 조성하는 일련의 프로세스 환경을 모두 아우른다. 빅데이터 플랫폼은 크게 데이터의 수집, 저장, 처리, 관리를 담당하는 빅데이터 관리 플랫폼과 데이터 분석을 지원하는 빅데이터 분석 플랫폼으로 구분할 수 있다. 

 

 

4. 하둡(Hadoop)

 

하둡이 어떻게 개발됐는지 그 개발 배경을 이야기 하기 전에, 먼저 구글의 데이터 분산저장처리기술인 GFS에서 그 실마리를 찾아야 한다. Apache에서 개발한 빅데이터 저장 및 처리기술 프레임워크인 하둡은 구글의 GFS에 기술의 뿌리를 두고 있기 때문이다.

구글은 자신들의 엄청난 양의 데이터 스토리지와 검색엔진의 효율화를 위해 빅데이터 분산 저장 처리 기술인 GFS를 개발했다. 구글은 이 GFS 기술 논문을 발표하여 오픈소스로 공개했고, Apache에서 GFS의 아키텍처를 기반으로 클로닝 프로젝트로 바통을 이어받았다. Apache는 하둡이라는 빅데이터 저장 및 처리기술 프레임워크를 자바 기반으로 개발하고 이를 세상에 오픈소스로 공개했다. 하둡이라는 이름에서 볼 수 있듯이 그 정체성은 '고가용성 분산 객체지향 플랫폼' 이다. 그리고 구글의 GFS와 유사한 하둡 분산 파일 시스템인 HDFS를 개발했다. Apache 하둡은 저장을 담당하는 HDFS, 분산 저장된 클러스터를 관리하는 얀, 그리고 분산 데이터를 배치 처리하는 맵리듀스, 이렇게 크게 3개의 프레임워크로 구성된다. 

---

출처 : 2026 ADsP 데이터분석 준전문가