‘빅데이터(Big Date)’라는 단어가 최근 다양한 분야에서 자주 사용되고 있다. 빅데이터는 말 그대로 데이터의 용량이 매우 크다는 뜻이다. 빅데이터는 용량이 너무 커서 인간이 한번에 인지할 수 없고 일반적인 기술로는 관리하기가 어렵다. 왜 갑자기 빅데이터라는 단어가 자주 쓰이는 것일까? 지구상에 존재하는 정보 중 90%는 지난 2년 동안 만들어졌다. 너무 많은 데이터가 최근 갑작스럽게 생기고 있다. 또 사람들은 과거보다 쉽게 데이터를 양산하고 있다. 그래서 거대한 데이터를 분석할 필요성이 제기되고 있다.

이런 거대한 데이터를 분석하려면 새로운 기술이 필요하다. 빅데이터 기술은 데이터를 대량으로 모으고 분석하는 기술이다. 학술적인 데이터부터 사람들이 소셜네트워크서비스(SNS) 등으로 주고받은 이야기 등 다양하고 사소한 데이터까지 저장하고 분석한다. 또 다른 질문이 하나 생긴다. 빅데이터를 어디에다 사용할 것인가. 슈퍼컴퓨터를 이용해서 실생활에 유용하게 적용할 수 있을까. 그 해답을 <빅데이터 혁명 : 클라우드와 슈퍼컴퓨팅이 이끄는 미래(권대석, 2012)>에서 찾아보자.

빅데이터를 실생활에 이용한 첫 사례는 슈퍼컴퓨터로 만든 김치냉장고다. 에어컨과 업소용 냉장고를 만들던 한 중견기업은 1995년 협력업체 사장단 회의에서 김치냉장고를 만들자는 아이디어가 나왔다. 일본의 생선냉장고와 프랑스의 와인냉장고처럼 김치냉장고를 만들면 어떻겠느냐는 제안이었다. 냉장고가 있는데 굳이 김치냉장고가 필요할까. 하지만 김치냉장고는 개발됐고 국내 기업인 만도공조가 ‘딤채’라는 김치냉장고를 만들었다.

김치냉장고를 어떻게 만들어야 냉기가 잘 빠져나가지 않고 김치 맛을 오래 유지할 수 있을까. 만도공조는 2001년 윤준원 군산대 교수에게 맛이 빨리 변하지 않고 김치를 오래 보관할 수 있는 방법에 대한 연구를 요청했다. 김장독을 땅에 묻으면 김장 김치는 늦봄까지도 맛이 변하지 않는다. 반면 냉장고의 김치는 몇 주일만 지나면 맛이 변한다. 김장독과 냉장고의 차이는 같은 온도를 얼마나 유지하느냐였다.

냉장고 문을 열면 안의 냉기가 흘러나오고 밖의 온기가 안으로 들어간다. 밖에서 전달된 온기는 해변의 파도가 바다에서 육지로 밀려가듯이 김치의 겉부터 안쪽으로 전파된다. 이렇게 해서 김치 맛과 유산균의 상태가 달라지는 것이다. 어떻게 이 문제를 해결할 수 있을까. 연구진은 김치냉장고 안의 공기를 매우 작은 주사위 모양의 격자로 나눴다. 이 격자가 온도 변화에 따라 어떻게 이동하는가를 추적했고 냉장고 안의 온도가 어떤 식으로 변화하는지 측정했다. 이런 방법으로 냉장고 안의 모양이나 냉동장치의 위치 등을 다양하게 바꾸면서 가장 이상적인 김치냉장고 구조를 알아냈다. 공기와 물의 흐름을 컴퓨터로 계산해서 공기와 물 등 유체의 모양과 압력, 열 등의 변화를 재현하는 것을 전산유체역학(Computational Fluid Dynamics)이라고 한다. 문제는 유체 전체를 매우 많은 요소로 나눠서 계산하기 때문에 계산해야 할 양이 많다는 것이다. 바로 빅데이터가 발생한다. 만도는 한국과학기술정보연구원(KISTI) 슈퍼컴퓨팅센터의 슈퍼컴퓨터를 사용해 빅데이터를 계산했다.

계산 결과 김치냉장고 안의 80%에서 균일한 온도의 냉기가 순환하면서 일정한 온도를 유지하기 때문에 김치 맛이 잘 변하지 않는다는 것이 밝혀졌다. 반면 윗부분 20%에서는 냉장고 문을 열 때 안과 밖의 열이 교환돼 이 부분에 놓인 김치는 맛이 변한다는 것도 밝혀졌다. 연구자들은 온도 분포를 균일하게 하기 위해 냉장고 안에 김치 보관소의 모양과 냉각 코일의 모양, 위치 등을 바꾸며 온도 변화를 계산했다. 그 결과 냉각 코일의 위치는 위쪽에 있는 것이 매우 중요한 반면 코일이 얼마나 촘촘히 감겨 있느냐는 별로 중요하지 않다는 것이 밝혀졌다. 또 위쪽 20%의 온도 상승을 막기 위해 여닫이문 안에 별도로 냉각장치를 놓는 것이 효과적이라는 사실도 밝혀졌다. 이렇게 밝혀진 사실을 토대로 김치냉장고를 새로 만들었다. 과거에는 가전제품을 만들 때 여러 차례 실험을 해야 했고 시제품 제작비만 수억 원대의 비용이 들어갔을 것이다. 하지만 이번 김치냉장고 모델은 슈퍼컴퓨터를 이용해서 여러 가능성을 미리 계산한 결과 시제품 개발 비용이 수천만 원대로 줄어들었다. 냉장 단열재를 적게 사용하고 열 손실은 줄여서 재료비도 5억 원 이상 줄였다. 에너지 소비량은 10% 이상 줄었다. 딤채의 새 모델은 5년 이상 시장점유율 1위를 지킬 수 있었다.

빅데이터는 해외 자원개발에도 큰 역할을 했다. 석유시추선은 매초 엄청난 석유를 생산한다. 1년에 36억 달러어치 원유를 생산하려면 하루 1000만 달러의 원유를 생산해야 한다. 만일 석유시추선에 고장이 발생하면 문제가 커진다. 원유 채굴을 멈추고 원인을 파악하고 수리하는 동안 석유시추를 멈춰야 한다. 5일이 걸렸다고 가정한다면 가볍게 5000만 달러의 비용이 날아간다. 이런 손실을 막을 수 있는 방법이 개발됐다. 거대한 석유시추선을 구성하는 모든 부품은 부품교체 주기 등 데이터를 가지고 있다. 과거에는 소홀했던 이 방대한 데이터를 분석하면 고장의 징후를 미리 파악할 수 있다. 예를 들면 특정 부품들이 특정 증상을 보이면 48시간 안에 특정 부품이 고장 날 확률이 80%에 달한다는 분석이 가능하다. 이 때문에 미리 부품을 교체할 수 있다. 부품이 고장 나기 전에 미리 수리하면 고장으로 시추 자체가 불가능한 시간이 줄어든다. 고장에 따른 업무 정지일의 80%가 줄었고 생산량은 5%가 늘었다. 운영비용은 매년 7억 달러가 감소했다. 빅데이터를 제대로 활용하면 운영비용을 획기적으로 줄일 수도 있다.

빅데이터는 클라우드 컴퓨팅과 결합된 교육 개혁으로 우리의 미래도 바꿀 수 있다. 첫째, 클라우드 컴퓨팅은 인터넷 서버로 데이터 저장과 네트워크, 콘텐츠 사용 등 IT 관련 서비스를 한 번에 사용할 수 있는 컴퓨터 환경이다. 교육에 필요한 콘텐츠 등을 모아서 원격으로 이용할 수 있다. 빅데이터와 결합된 클라우드 컴퓨팅은 교육 내용에 항상 접근할 수 있도록 해준다. 학생이 배워야 할 내용을 클라우드를 통해 언제 어디서나 접할 수 있게 한다. 교육 내용을 서비스하는 것이다. 콘텐츠는 교육 당국이 교사나 외부 기관을 통해 만들 수 있고 민간 학원 등이 만들어 사고팔게 할 수도 있다. 이런 방법이 교육 클라우드 서비스의 핵심이다. 언제 어디서든 최고의 교육 내용을 보면서 공부하고 탐구할 수 있게 한다.

둘째, 클라우드를 활용하면 빅데이터 기술과 결합해서 개인별 맞춤 교육 서비스 제공이 가능하다. 학습 기록과 평가 내용, 과거 성적 등을 분석해서 개인별 목표에 맞는 커리큘럼을 만들 수 있다. 학생의 기록을 참고해서 학생의 적성에 맞는 직업이나 직장을 추천하고 설계해 줄 수도 있다. 고용과 인력 수급 등의 문제를 교육과 실시간으로 결합하는 것이다.

셋째, 클라우드는 교육 산업화를 가능하게 해준다. 교육 관련 기업과 학생 등의 생태계를 만들고 산업화를 가능하게 한다. 사교육 콘텐츠를 공교육 클라우드에 통합해서 제도권으로 끌어들이고 공교육과 사교육을 경쟁시켜서 공교육의 수준을 향상시키는 것이다. 학원의 우수 강사와 콘텐츠를 공교육에 유입시켜서 전반적인 교육 수준을 높일 수 있다.

저자는 한국이 데이터를 수집하고 누구나 볼 수 있게 하는 측면에선 가장 이상적인 사회라고 강조한다. 의료 시술 대부분은 컴퓨터에 기록을 남기고 건강보험공단에도 기록을 남긴다. 범죄와 인구 데이터는 각각 경찰청과 통계청에 기록이 남겨진다. 한국이 정보화에서 줄곧 앞서가고 있지만 빅데이터와 슈퍼컴퓨터 시대에는 새로운 달리기를 요구하고 있다. 먼저 어느 트랙으로 뛰어야 하는지 명확히 알아야 한다. 빅데이터를 활용해서 강대국을 만드는 방법을 알고 싶을 때 꼭 한번 ‘빅데이터 혁명 : 클라우드와 슈퍼컴퓨팅이 이끄는 미래’를 읽어보기 바란다.

서진영 자의누리경영연구원 대표 [email protected]

필자는 연세대 경영학과를 졸업하고 서울대에서 경영학 석사와 박사 학위를 받았다. 전략과 인사 전문 컨설팅 회사인 자의누리경영연구원(Centerworld Corp.) 대표이면서 최고경영자(CEO)를 위한 경영 서평 사이트(www.CWPC.org)를 운영하고 있다.