[농수축산신문=박세준 기자]

어마어마한 양과 질의 데이터를 바탕으로 각종 문제에 해답을 알려주는 빅데이터는 이제 농업에서도 적극적으로 다뤄지는 기술이다. 빅데이터를 잘 활용할 수 있도록 준비된 환경을 빅데이터 플랫폼이라고 일컫으며 농업분야 빅데이터 플랫폼도 다수 존재한다.

그 가운데 지난 2021년 11월 (재)스마트팜연구개발사업단(KosFarm)은 ‘스마트팜 R&D 빅데이터 플랫폼(이하 R&D 플랫폼)’을 출시·운영하기 시작하며 업계의 주목을 받았다. 기존의 농업 분야 빅데이터 플랫폼과는 달리 R&D 플랫폼은 스마트팜 연구·개발(R&D) 과정과 결과 데이터를 수집·활용하는 것을 목표로 한다는 특징을 지니고 있다.

스마트팜 R&D의 도약대가 돼줄 R&D 플랫폼에 대해 살펴봤다.

# 빅데이터 플랫폼, 빅데이터 시대 필수 인프라

빅데이터란 통상적인 데이터 수집·관리·처리 도구로는 다루기 어려운 방대한 양의 데이터 집합을 의미한다. 빅데이터를 다루는 과정에서 과거와는 차원이 다른 데이터의 양·생성속도, 이미지, 동영상 등 다양한 종류의 비정형 데이터 때문에 각종 부하가 발생하게 되는데 빅데이터 플랫폼은 빅데이터 관리에 필수적인 하드웨어와 소프트웨어를 바탕으로 이런 부하들을 기술적으로 해소하며 사용자들이 빅데이터를 저장·분석·가공·유통할 수 있게 해준다.

빅데이터 플랫폼은 데이터의 공급자와 수요자를 효율적으로 연결해 다양한 참여자 간 협력과 경제적 가치 창출을 쉽고 빠르게 수행하는 디지털 혁신의 핵심 요소이기도 하다. 가령 빅데이터 플랫폼에 참여한 데이터 분석·가공 전문 기업은 데이터를 직접 공급하진 않더라도 플랫폼에 적재된 데이터를 구매하고 분석·가공함으로써 새로운 서비스를 개발해 판매할 수도 있다.

# 농업 분야 연구데이터 특화 빅데이터 플랫폼

농업 분야에서도 빅데이터, 정보통신기술(ICT), 인공지능(AI), 로봇 등 첨단기술과 농업이 융합된 스마트팜 개념이 등장하면서 빅데이터와 빅데이터 플랫폼의 중요성이 떠오르고 있다. 농업 과정에서 발생하는 무수히 많은 변수의 복잡한 작용을 과거에는 단편적으로밖에 분석하지 못했지만 빅데이터 기술 등장으로 보다 종합적이고 정밀하게 분석해 정확한 영농결정을 내릴 수 있게 됐기 때문이다.

이에 우리나라도 정부, 공공기관, 민간이 나서서 구축한 농업 분야 빅데이터 플랫폼이 다수 운영 중이며 지난달 기준 농림축산식품부와 산하 공공기관이 직접 운영 중인 빅데이터 플랫폼도 9개다.

그 가운데 KosFarm이 2021년 R&D 플랫폼을 직접 개발·출시한 건 R&D 플랫폼이 수집하는 ‘연구데이터’의 특수성 때문이다. R&D 플랫폼은 우리나라 스마트팜 기술수준을 높이기 위한 ‘스마트팜 다부처 패키지혁신기술개발사업(이하 다부처사업)’의 R&D 과제들에서 생산되는 데이터를 수집·적재하고 있다.

서형석 KosFarm 사무국장은 “연구데이터를 모은다는 건 일반적인 데이터를 저장하는 것과는 다른 차원의 문제”라며 “연구데이터는 연구목적에 따라 인위적으로 종합적인 환경을 만들어 관찰하고 수치화·모델화하는 과정에서 생성된 다양한 형식의 데이터로서 일반적으로 농작물이 생장하는 과정을 수집하는 데이터와는 다르다”고 설명했다. 즉 연구데이터는 연구 목적, 종류 등에 따라 수집되는 데이터 항목, 단위, 범위 등이 모두 다르기 때문에 농림수산식품교육문화정보원의 ‘스마트팜코리아’ 같은 표준화된 일반적인 작물 데이터 수집 과정과는 다른 시스템이 필요하다는 것이다.

R&D 플랫폼 설계와 운영을 맡고 있는 SMT정보기술의 김유빈 소장도 R&D 플랫폼을 “연구자들이 연구한 데이터를 수집하고 수집된 데이터를 분석하고 모델화하고 활용할 수 있는 시나리오 기반 포털”이라 규정했다. 시나리오 기반 포털이란 연구목적을 달성하기 위한 연구 시나리오에 따라 생산·수집되는 데이터를 수집하는 플랫폼을 의미한다.

KosFarm과 스마트팜 업계에선 R&D 플랫폼을 통해 스마트팜·농업 R&D에 소요되는 시간·비용 절약과 연구역량 강화를 기대하고 있다.

김 소장은 “농업과 스마트팜 관련 많은 연구가 이뤄지고 있는데 다른 사람들이 이미 한 연구 시나리오를 따라 또 연구하는 건 손실이다”며 “연구자들이 R&D 플랫폼의 데이터를 해석하고 연구과정을 이해하게 되면 더 좋은 연구 시나리오를 설계하거나 다른 연구 방향을 정할 수도 있는 것”이라 설명했다.

박흔동 ㈜지농 대표도 “R&D 플랫폼은 연구자들이 어떤 걸 연구했는가 공개하고 다른 사람이 활용할 수 있도록 한 일종의 특허정보시스템으로 볼 수 있을 것 같다”며 “연구자들이 뭔가 연구하고자 할 때 정보탐색비용이 가장 많은 비용을 차지하는데 R&D 플랫폼은 이를 줄일 수 있을 것으로 기대된다”고 전했다.

# 자유로운 플랫폼 이점 적극 활용 기대

R&D 플랫폼에는 지난달 기준 데이터 형식이 정해진 정형데이터의 경우 39개 과제로부터 생산된 약 3억 건의 데이터가 등록돼 있으며 이중 ‘환경·제어’ 분야가 1억7877만여 건으로 가장 많이 등록돼 있다. 영상, 이미지, 분광데이터 등 데이터 형식이 정해져 있지 않은 비정형데이터는 40개 과제로부터 약 34.3테라바이트가 수집돼 있으며 ‘생육·환경’ 분야가 18.6테라바이트로 가장 큰 비중을 차지하고 있다.

KosFarm은 지난해까진 R&D 플랫폼의 데이터 적재와 안정적인 운영에 주력했다면 올해부터는 연구자들의 자율성을 침해하지 않는 범위에서 데이터 표준을 설정하는 등 수집 데이터의 품질을 높일 계획이다.

수집 데이터의 종류, 수집방법, 단위 등을 규정한 데이터 표준이 정해져야 사용자들이 수집된 데이터를 빅데이터화해 분석·활용할 수 있지만 데이터 표준을 정하게 되면 연구자들의 연구 자율성을 침해할 여지가 크다. 연구목적과 시나리오에 따라 표준 이외의 다양한 데이터가 필요할 수 있기 때문이다. 이 때문에 KosFarm은 지금까지 적재된 데이터를 분석해 가능한 범위 내에서 데이터 표준을 설정한다는 계획이다.

서 국장은 “농정원이 제시하는 데이터 표준에 가능한 최대한 따르되 연구 자율성을 최대한 침해하지 않을 것”이라 전했다. 또 오류 데이터 제거 등 데이터 품질을 높이기 위해 업로드 과정에서 데이터 검증 단계를 마련할 계획이다.

수집된 데이터의 신뢰성을 높이기 위한 검증도 해나가기로 했다. 하지만 다부처사업의 한 참여자는 “연구기관이나 학교 외 기업이 회사의 노하우가 될 수도 있는 중요한 데이터를 온전히 올릴지 걱정이 된다”고 토로하기도 했다.

이에 KosFarm은 데이터 신뢰성을 높이기 위해 연구 시나리오 점검을 통한 검증을 도입할 예정이다. 서 국장은 “연구 과제 내 시나리오를 점검해서 제대로 된 데이터를 생성했는지, 실제로 데이터가 들어왔는지 검증하겠다”고 밝혔다.

KosFarm은 올해 데이터 품질 제고가 안정적으로 진행되면 내년부터 R&D 플랫폼에서 데이터 분석·가공을 바탕으로 새로운 서비스 가치를 창출할 수 있을 것으로 전망하고 있다. 특히 AI 학습에는 최적화된 플랫폼이 될 것으로 기대된다.

서 국장은 “AI는 학습이 생명이고 학습에서 가장 중요한 건 AI가 데이터를 이해할 수 있도록 하는 어노테이션(주석작업)으로 어노테이션이 안된 빅데이터는 AI학습률이 현저하게 떨어진다”며 “R&D 플랫폼에 수집되는 데이터들은 연구자들이 어노테이션의 중요성을 인식해 갈수록 정교해지고 있고 시나리오 데이터이기 때문에 질이 담보된다”고 설명했다. 또 그는 “R&D 플랫폼은 연구자의 자유도가 높다는 의미와 데이터의 활용 자유도가 높다는 의미에서 자유로운 플랫폼이다”며 “내년에 구축될 데이터 활용공간인 ‘데이터마트’가 구축되면 다양한 기업과 연구자가 플랫폼 내에서 데이터를 활용한 다양한 서비스를 개발·시도하며 서비스 확대재생산을 할 수 있을 것”이라 전했다.