빅데이터에 대해서 말할 때 아직은 모두가 동의하는 정확한 정의는 없습니다. 단순히 이런 것을 빅데이터라고 하면 되지 않을까라고 추상적으로 생각하는 것이 대부분입니다. 빅데이터에 대해서 이해하기 쉽게 설명하기 위해서 빅데이터의 3가지 속성 3V, 여기에 한가지, 두가지를 더해 4V, 5V라고 정의 해보기도 합니다.
그러나 빅데이터에 대해서 좀 더 쉽게 접근하기 위해 저는 영화 ‘이미테이션 게임’을 예로 들고 싶습니다.
영화 ‘이미테이션 게임’
영화 “이미테이션 게임”은 컴퓨터의 초기 개념을 제시한 튜링 머신을 고안해낸 수학자, 앨런 튜링에 대한 이야기입니다. 영화에서 튜링이 맡은 임무는 독일군의 암호를 해독하는 것입니다. 독일군 작전 명령은 전파를 통해 장비만 있으면 누구나 들을 수 있었습니다. 하지만 절대 해독이 불가능한 암호라고 칭해지던 ‘에니그마’로 암호화되어 있어서 연합군은 이를 해독할 수 없었습니다. 24시간 마다 1,590억의 10억 배 경우의 수가 생성되는 ‘에니그마’는 사실상 해독이 불가능하다고 여겨졌습니다. 만약 10명이 하나의 설정을 1분간 확인한다고 하면 매일 24시간씩 일주일 내내 모든 설정을 다 확인하려면 약 2천만 년이 걸리기 때문입니다..
‘에니그마’ (Enigma; 그리스어로 ‘수수께끼’를 뜻한다)
엘런 튜링은 사람의 머리, 사람의 힘으로는 암호를 재시간에 풀 수 없다는 것을 직감합니다. 그래서 암호를 풀 수 있는 기계를 고안하고, 이를 이용해 암호를 풀려고 한 것입니다. 그러나 완성된 기계만으로 암호를 풀어내는데 실패합니다. 여기에 자주 쓰이는 평문의 목록인 크립을 이용하자는 아주 기가막힌 아이디어가 더해져 결국에는 암호를 풀어낼 수 있게 됩니다. 이로써 연합군은 독일군의 작전 명령을 가로챌 수 있었고, 전쟁에서도 승리할 수 있게 되었습니다. 앨런 튜링은 1,400 만 명의 연합군 목숨을 구한 천재 수학자라는 칭호도 얻게 됩니다.
앨런 튜링과 독일군 암호, 암호를 해독할 수 있는 장치는 오늘날 우리가 빅데이터를 대하는 모습과 유사합니다. 앨런 튜링에게 주어진 임무는 24시간 안에 독일군의 암호를 해독하는 것이었습니다. 왜냐하면 24시간 내에 해독된 암호만이 연합군에게 의미가 있는 정보이기 때문입니다.
빅데이터는 암호다.
빅데이터는 ‘에니그마’로 암호화된 해독이 불가능해보이는 암호와 같다고 할 수 있습니다. 일반적인 방법으로 2천이 걸리는 암호 해독을 24시간내에 해내야만 유용한 정보로 쓰일 수 있습니다. 그리고 암호 해독을 위해서 자주 쓰이는 문장을 먼저 찾자는 아이디어가 있었기 때문에 최종적으로 암호 해독에 성공할 수 있었습니다. 이를 빅데이터에 대응시켜보면 다음과 같습니다.
1. 일반적인 방법으로 분석하려면 너무 오랜 시간이 걸린다.
2. 제한된 시간내에 분석이 끝나야지 의미있는 비즈니스 정보를 얻을 수 있다.
그리고 그 해결 방법도 비슷합니다. 사람이 일일이 푸는 방법으로 불가능하기 때문에 앨런 튜링은 기계를 이용하여 자동화하였습니다. 자동화를 통해 사람이 하는 것보다 더 정확하고 빠르게 암호를 풀 수 있는 발판을 마련하였습니다. 그리고 최종적으로 자주 쓰이는 문장을 이용해보자는 아이디어가 더해서 암호를 자유자재로 풀 수 있게 된 것입니다.
빅데이터 분야에서는 빅데이터를 빠르게 분석할 수는 컴퓨터를 이용합니다. 여기에 데이터를 여러 컴퓨터로 나누어 보내어 동시에 분석함으로써 같은 시간안에 더 많은 데이터를 분석할 수 있게 되었습니다. 이로써 아무리 데이터가 늘어나더라도 필요한 시기에 분석을 끝마칠 수 있게 되었습니다. 무의미해보여 암호처럼 보이는 데이터에서 새로운 틈새 시장을 찾을 수도 있게 되었고, 전혀 상관없어 보이는 물건들 사이의 상관를 이용하여 매출을 올릴 방안을 찾을 수 있게 되었습니다.
빅데이터는 유용한 정보들을 숨기고 있는 암호 덩어리입니다. 빅데이터에서 이 정보를 찾아내기 위해서는 누군가 암호를 풀어내야 합니다. 기술이 발전하여 이제는 누구나 빅데이터를 찾아내기만 하면 검증된 장비와 알고리즘을 이용하여 암호를 풀어낼 수 있는 시대가 되었습니다. 그렇기 때문에 누구나 암호를 풀 준비가 필요한 때입니다.
댓글
댓글 쓰기