Microsoft 연구팀과 공동 개발한 빅데이터 분석 프레임워크 ‘REEF’

전병곤 서울대 공대(학장 이건우) 컴퓨터공학부 교수 연구팀이 Microsoft 연구팀과 공동 개발한 차세대 빅데이터 분석 메타 프레임워크 ‘REEF(Retainable Evaluator Execution Framework)’가 아파치 소프트웨어 재단(ASF)의 오픈 소스 프로젝트의 최상위 프로젝트(Top Level Project)로 선정됐다고 14일 밝혔다.

REEF는 빅데이터 분석 스택으로써, 차세대 하둡(Hadoop)의 자원 관리기능인 아파치 얀(YARN)이나 아파치 메소스(Mesos) 등에서 빅데이터 애플리케이션을 쉽게 개발할 수 있게 통합된 레이어로 구성돼 있다. 이 때문에 분산 데이터 분석 환경에서 기존의 자원을 활용해 데이터 처리 서비스를 쉽게 개발 및 운영하는 것을 가능하게 해 기계 학습, 그래프 처리, 실시간 처리 등의 효율적 작업이 가능하다.

즉, REEF를 사용하면 데이터 처리 애플리케이션 개발 및 기존 프레임워크와의 연결을 더욱 쉽게 할 수 있다. 또한 서로 다른 데이터 처리 프레임워크를 통합해 최적화된 데이터 처리 워크플로를 지원해 데이터 센터 운용비용 절감은 물론 전체 분석 시간까지 단축할 수 있다. 이러한 기능을 인정받아 실제 Microsoft에서는 REEF를 클라우드 컴퓨팅 서비스인 Azure의 기반 기술로 사용하고 있다.

전 교수는 이번 최상위 프로젝트 선정과 관련, “아직까지 국내에서는 활발한 국제 협력을 통해 빅데이터 핵심 기술을 개발하는 오픈소스 커뮤니티를 만든 경우가 없었다”며, “앞으로도 활발한 연구를 통해 국내 오픈 소스 커뮤니티 활성화에 이바지하겠다”고 소감을 전했다. 아파치 소프트웨어 재단(ASF)은 글로벌 오픈 소스 소프트웨어를 지원하는 세계 최대 오픈 소스 단체로서 기술적 성숙도 및 단체 활성화 정도가 높은 커뮤니티를 기반으로 각 분야에서 선두를 달리는 고품질 소프트웨어 개발 프로젝트들을 최상위 프로젝트로 선정해 지원하고 있다.

한편 전병곤 교수는 서울대 전자공학과를 졸업하고 미국 스탠퍼드대와 UC버클리대에서 컴퓨터 공학 석사, 박사 학위를 받았다. 이후 인텔, 야후, 마이크로소프트 등 현업에서 활발히 활동하다가 2013년에 서울대 조교수로 부임했다.

이명선 전문기자 mslee@seoul.co.kr