정배 : 퍼셉션 셀은 자율주행의 가장 첫 번째 단계를 맡는 팀이에요. 간단히 말하자면, ‘뉴비의 눈’의 역할을 맡는 팀이죠. 우리도 눈으로 보아야 다음 동작을 할 수 있잖아요. 그런 것처럼 퍼셉션팀의 인공지능이 카메라로 들어온 정보를 인지하고 처리하면 다음 팀이 그 정보를 활용해서 움직일 수 있어요. Perception(지각, 인지)이라는 팀의 이름으로도 유추할 수 있듯, 주변을 보면서 갈 수 있는 길과 장애물을 파악하는 게 퍼셉션의 핵심 역할이라고 보면 됩니다.

자율 주행 시스템은 크게 Perception, Localization, Planning&Control 파트로 역할이 나누어져 있는데요. Perception은 주변을 보고 접근 가능한 구역과 장애물들을 찾아내고, Localization은 현재 어디에 있으며 목적지는 어디에 있는지를 탐색하고, Planning&Control은 이 정보들을 바탕으로 최적의 주행 전략을 세우는 역할을 한다고 보면 됩니다.

정배 : 뉴빌리티의 퍼셉션은 주로 카메라와 딥러닝 모델을 활용해서 주변을 인지하고 있는데요. 구체적인 딥러닝 모델로는 로봇이 지나갈 땅을 종류별로 분류하는 Semantic Segmentation(의미적 분할), 장애물을 구분하는 Object detection(객체 인식), 2D 이미지를 3D 공간으로 복원시키는 Depth Estimation(거리 측정) 모델 같은 것이 있어요.

또한 데이터를 빠르게 쌓아야 기술을 더 발전시킬 수 있기 때문에 속도를 가속화하기 위한 Domain Adaptation(도메인 적응기술), Auto-labeling(자동 라벨링) 기술도 있고요. 이외에도 여러 기술을 활용하고 있어요.

정배 : 최근에는 뉴비가 새로운 환경에서도 빠르게 적응할 수 있도록 하는 작업을 주로 했어요. 저희는 스타트업인만큼, 사업 기회가 있는 곳이라면 가리지 않고 적극적으로 도전해야 하는 경우가 많은데요. 그만큼 저희가 개발하는 로봇도 낯설고 새로운 환경을 마주할 때가 많아요. 그런데 일반적인 딥러닝 모델은 사람과는 달라서 처음 보는 환경에서는 충분한 성능을 내지 못하는 경우가 많거든요. 고장이 나기도 하고요.

하지만 뉴빌리티가 사업 영역을 확장하기 위해서는 새로운 환경과 생기는 문제들에 빠르게 대응하는 것이 필요하기 때문에, 저희는 domain adaptation 등 관련 분야의 최신 연구 동향을 follow-up하며 외부 지식을 뉴빌리티의 자체적인 기술로 내재화하여 뉴비가 새로운 환경에 갔을 때 생기는 문제들에 대처하고 있어요.

예전에는 뉴비가 새로운 장소에서 운행을 하려면 새로운 환경에 맞는 딥러닝 모델을 개발하기 위해서 3개월 이상의 시간이 걸렸는데요. 최근에는 새로운 장소에서 운행하도록 최적화 하는 작업을 1주일 내로 완료할 수 있을 만큼 발전했어요.

정배 : 예를 들면 아스팔트나 보도블럭에서 운행하던 딥러닝 모델이 골프장에 가면 작동을 안 할 수 있어요. 골프장은 길 양 옆으로 풀들이 있고, 장애물의 종류도 도심과 다르니까요. 그런 것처럼 실외에서 운행하던 뉴비가 실내에 오면 또 다른 문제가 생기기도 하거든요. 바닥이 반짝여서 다른 물체가 비칠 수도 있고, 사람이 더 밀집도가 높을 수도 있으니까요. 그런 변화들에 빠르게 적응하게 하는 거예요. 

마로 : 정배님과 또 다른 퍼셉션 팀원이 딥러닝 모델을 개발하면 저는 그걸 더 빠르고 가볍게 돌아갈 수 있도록 경량화하는 역할을 하고 있어요. 딥러닝 모델이 진짜 로봇에 들어가서 원활하게 구동 되려면 가벼워야 하거든요.

예를 들어 뉴비 로봇에선 카메라 눈이 5개가 있는데, 그 5개의 영상 정보를 모두 처리하기엔 버거운 면이 있어요. 그래서 5개 정보를 처리하기 위해 딥러닝 모델을 가볍게 만드는 역할을 하고 있습니다.

정배 : 저는 딥러닝 모델의 구조를 수정해서 연산을 빠르고 효율적으로 하는 연구를 했습니다. 인공지능 모델이라는 게 종류가 다양하지만, 대체로 어떤 입력을 넣어서 원하는 출력이 나오게 하는 것이거든요. 이 작업을 빠르게 해서 효율을 높이는 방법을 연구했다고 이해하시면 돼요.

마로 :  저는 대학원에서 인공지능으로 선박을 제어하는, 조선 관련 인공지능을 전공했어요. 선박은 파도와 조류, 바람 같은 환경이 있는데요. 기존 방식으로는 바다의 환경을 예측하는 게 정밀하지 못하기 때문에 인공지능으로 예측하고 제어하는 연구를 했습니다.

정배 : 갑니다.

마로 :  당연히 갑니다.

정배 : 저는 사실 학부 전공이 인공지능이 아니었어요. ‘재료 공학’이라는 말하자면 반도체 관련한 전공이었죠. 그런데 학부 4학년 때 취업 준비를 하면서 우연히 인공지능과 딥러닝이라는 개념을 접하게 되었어요. 그때 <이미테이션 게임>이라는 영화를 보았는데요. 그때 Computer Vision 분야에 매료되었거든요. 그래서 석사로 학부 전공이랑은 다른 공부를 하게 되었어요.

그때, 재료 공학을 함께 전공한 친구들 중엔 취직한 친구들도 많았으니 고민도 많았어요. 학부로 4년 공부했던 것들을 포기하는 것이 맞는 것일까 고민이 되기도 했고요. 긴 고민 끝에 대학원에 진학한 후에도 모르는 분야에서 경쟁을 하려니 어려움이 많았는데요. 그때의 선택을 후회하진 않아요. 자율주행 분야는 제가 노력을 해서 어떤 결실을 만들면 그 결과를 바로 눈 앞에서 볼 수 있다는 게 정말 보람 있었거든요. 이전엔 안 되던 기능이 제가 고생해서 만들면 실제로 돌아가는 걸 볼 때마다 그게 엔지니어로서 정말 큰 즐거움이에요.

마로 : 저는 학부로 선박을 전공했는데, 당시 생각으로는 조금 진부하고 오래된 기술 같다는 생각이 있었어요. 자율 주행 차도 있으니, 자율 운항하는 선박을 만들면 재밌겠다는 생각으로 연구실을 찾았어요. 그때 대학원 진학을 결정하기까지 고민할 수 있는 시간은 3일 정도밖에 없었거든요. 많은 고민을 하지 않고 연구실에 들어가겠다고 결정했는데, 그 선택을 후회한 적은 없어요.

대학원으로 처음 선박 관련 인공지능 연구를 시작해서, 본격적으로 인공지능 쪽으로 커리어 패스를 쌓게 되었거든요.

정배 : 저는 대학원에서 인공지능 모델이 동작하는 원리 같은 수학적인 개념을 많이 공부했어요. 대학원의 연구와 지금 하는 일이 모두 연결되지는 않지만, 그때 탄탄히 다졌던 기본기가 많이 도움이 되고요. 논문을 찾아 보고 그 기술들을 우리 것으로 가져오는 과정도 대학원에서 익혔기 때문에 잘 할 수 있었다고 생각해요.

또 무엇보다 저는 학부에서 인공지능을 전공하지 않았기 때문에, 하고 싶었던 인공지능 분야로의 진입에 석사 학위의 역할이 컸어요. 당시엔 조금 돌아가는 길처럼 보이더라도, 하고 싶었던 공부를 대학원에서 하고 관련한 일을 하고 있다는 점이 가장 만족스러워요.

마로 :  저도 석사에서 공부한 인공지능이 지금 하는 인공지능과는 다른 부분이 많아요. 그래서 그때 얻었던 기술과 지식이 도움이 되진 않지만, 석사 과정에서 논문을 많이 찾아 읽고 다양한 문제를 해결해왔던 과정이 도움이 되고 있어요. 교수님과 토의하면서 논리적인 방향을 잡던 과정도 지금 하는 일에 정말 필요하고요. 뉴빌리티나 다른 스타트업에서 하는 일이 ‘이전에 해결하지 못한 문제를 해결하는 것’이니까요. 대학원에서 논리적인 생각을 많이 개발했던 게 좋았어요.

무엇보다 인공지능으로 석사를 진학하면 쉽게 말하면 들어갈 수 있는 회사의 급이 한 단계 높아져요. 학사를 졸업한 사람보다 쉽게 원하는 자리에 들어갈 수 있다는 점도 석사를 추천할만한 이유예요.

정배 : 뉴빌리티 회사의 목표부터 말씀드리자면, 자율 주행 로봇을 통해서 대한민국 누구든지 근거리 배송을 쉽게 이용하게 하는 거예요. 많은 사람이 이용할 수 있도록 비용이 내려가려면 값비싼 센서를 대체할 수 있어야 하는데요. 카메라를 기반으로 기술력을 발전시키기 위해 퍼셉션 팀이 노력을 하고 있죠.

퍼셉셥팀의 목표는 인간이 눈으로 세상을 보듯이 뉴비도 카메라 만으로 세상을 충분히 인지할 수 있도록 하는 거예요. 구체적으로 말하자면 카메라로 촬영한 2차원 이미지를 다시 3차원으로 펴는 기술을 개발하고 있다고 보면 되는데요. 카메라 기반의 기술로 로봇의 단가를 낮추어 많은 사람들이 사용할 수 있으면서도 훌륭히 작동하게 하는 것을 목표로 하고 있습니다.

정배 : 퍼셉션 셀은 뉴비가 자율주행을 하기 위해 필요한 정보를 인지하는 기능을 만드는 팀인 만큼 주행을 위한 ‘노면 인지’, 마주치는 객체를 피하기 위한 인지 기능 등을 개발하고 있는데요.

카메라를 사용하고 있기 때문에, 카메라에 대한 전반적인 이해. 즉 Intrinsic, Extrinsic Parameter라든지 카메라를 구성하는 좌표계 등을 이해하는 사람이면 좋겠고요. 저희의 기술들이 인공지능 딥러닝 기반으로 구성되어있기 때문에 컴퓨터 비전과 관련한 모델 구조가 익숙하고, 이걸 코드상에서 필요한 형태로 커스터마이제이션 할 수 있는 능력이 있으면 좋겠어요.

또 앞서 말씀드렸듯이 스스로 문제를 정리하고 해결할 수 있고, 문제 해결에 적극적인 마인드셋을 가진 분이라면 더더욱이 좋겠습니다.

마로 : 저도 정배님 이야기에 전적으로 동의하고요. 문제 해결을 좋아하고, 적극적으로 의견을 내고 실패를 두려워하지 않는 사람이면 좋겠습니다!