[3분 곰국] UC버클리 신경외과학·컴퓨터공학 연구팀, 실시간으로 생각 읽어내는 '뇌 임플란트' 개발 성공

[편집자주] 곰국과 논문의 공통점은 전문가들이 오랜 시간 공들여 내놓는 결과라는 점입니다. 누구나 간편하게 즐길 수 있도록 포장한 게 '3분 요리'라면, 누구나 쉽고 재미있게 읽을 수 있도록 정리한 게 '3분 곰국(거꾸로 읽어보세요)'입니다.

연구팀이 공개한 실험 영상에서, 연구 참가자 '앤'은 머리에 기기를 연결한 채 모니터 앞에 앉아 있다. "나를 사랑하느냐"며 입모양으로만 읊조리자 뇌에 심어둔 칩이 신경 신호를 인지했다. 신호를 전달받은 AI(인공지능)는 그의 20년전 목소리로 문장을 소리내 읊었다./사진=에드워드 창 교수·고팔라 아만치팔리 교수 연구팀 (네이처 뉴로사이언스)

20년 전 뇌졸중으로 말하는 능력을 잃은 사람이 다시 제 목소리를 찾았다. "나를 사랑하느냐"며 입 모양으로만 읊조리자 뇌에 심어둔 칩이 신경 신호를 인지했다. 신호를 전달받은 AI(인공지능)는 그의 20년 전 목소리로 문장을 소리 내 읊었다. 국제 학술지 '네이처'는 "뇌 임플란트 기술의 엄청난 발전"이라고 평했다.

2일 과학기술계에 따르면 미국 UC버클리대 신경외과학·컴퓨터공학 연구팀이 지난달 31일 저명 국제 학술지 '네이처 뉴로사이언스'에 3초 이내에 생각을 감지해 음성으로 변환하는 새로운 뇌-컴퓨터 인터페이스(BCI) 기술을 발표했다.

실험 참가자가 전체 문장을 모두 말한 뒤에야 음성으로 변환해 다소 시차가 있던 이전 방식과 달리, 이번 기술은 거의 실시간으로 생각한 바를 목소리로 바꿔준다는 점에서 주목받는다. 국제 학술지 네이처가 이번 연구를 "BCI 상용화를 향한 엄청난 진전"이라고 평한 이유다.

BCI는 사람의 두뇌와 컴퓨터를 연결하는 기술을 말한다. 신체 동작을 거치지 않고 사용자의 생각만으로 기계에 특정 명령을 내릴 수 있게 하는 게 BCI의 핵심이다. 일반적으로 전신마비 환자 등의 뇌에 칩을 심어 컴퓨터와 연결하는 방식으로 실험한다. 일론 머스크 테슬라 CEO(최고경영자)가 세운 '뉴럴링크'의 뇌 칩 '텔레파시'가 대표적인 BCI다.

UC버클리대 연구팀은 BCI와 AI 알고리즘을 결합해 중증 마비와 무산소증을 앓고 있는 임상시험 참가자의 생각을 문장으로 변환(디코딩)한 뒤, 다시 이를 음성으로 변환하는 기술을 선보였다.

연구팀이 공개한 실험 영상에서, 연구 참가자 '앤'은 머리에 기기를 연결한 채 모니터 앞에 앉아 있다. 앤은 2005년 뇌졸중을 앓은 후 말하는 능력을 상실했다. 그로부터 약 18년 후 앤은 253개 전극으로 구성된 종이만 한 두께의 직사각형 칩을 뇌 피질 표면에 삽입하는 수술을 받았다. 이 BCI는 수천 개에 이르는 뇌 신경세포의 활동을 동시에 기록한다.

앤은 모니터 화면에 나타난 1024개의 단어와 50개 문장으로 구성된 세트 중 문장 100개를 조용히 입모양으로 읊었다. /사진=에드워드 창 교수·고팔라 아만치팔리 교수 연구팀 (네이처 뉴로사이언스)

앤은 모니터 화면에 나타난 1024개의 단어와 50개 문장으로 구성된 세트 중 문장 100개를 조용히 입 모양으로 읊었다. 앤의 뇌에 삽입된 칩은 앤이 문장을 읊조리기 시작함과 거의 동시에 80밀리초(약 1000분의 1초)마다 앤의 신경 신호를 포착해 분당 47~90개의 단어를 생성했다. 일반적으로 자연스러운 대화를 완성하려면 분당 약 160개 단어가 필요한 것으로 알려졌다.

그 결과, 모니터의 윗단에는 앤이 읊조리며 머릿속으로 떠올린 문장이 문장화되어 나타났다. 이어 몇 초간의 간격을 두고 AI 음성이 이를 소리 내 읽었다. 모니터 화면에는 "그럼 나를 사랑하느냐", "그래서 그렇게 했느냐" 등의 문장이 연이어 나타났고 여성의 음성이 띄엄띄엄 문장을 읽었다.

연구팀은 이 음성이 실제 앤의 목소리라고 설명했다. 연구팀은 앤이 뇌졸중을 앓기 전 촬영한 결혼식 영상에서 음성을 따와 AI에 앤의 목소리를 훈련했다. 한 문장을 읽는 데는 20초 이상 소요됐다.

이번 연구에 대해 크리스티안 헤르프 네덜란드 마스트리히드대 컴퓨터신경과학과 박사는 '네이처'에 "메신저앱에서 음성메시지를 사용해 대화하는 것과 유사하다"고 했다. 그러면서도 "아직 자연스러운 대화라고 부르기엔 '시차'가 있다"며 단어 생성에 걸리는 시간을 50밀리초 이하로 줄여야 한다고 조언했다.

박건희 기자 wissen@mt.co.kr

Copyright © 머니투데이 & mt.co.kr. 무단 전재 및 재배포, AI학습 이용 금지