중국과학원 자동화연구소가 베이징 인공지능 아카데미, 저장대학교, 홍콩이공대학교 연구진과 함께 대형언어모델 구조를 바꾼 ‘스파이킹브레인’을 공개했다. 목표는 긴 문맥을 처리할 때 커지는 연산량과 메모리 부담을 낮추는 것이다. 이를 위해 모델에 선형 어텐션과 하이브리드 선형 어텐션을 적용했다. 스파이킹브레인-7B는 선형 구조 중심으로, 스파이킹브레인-76B-A12B는 선형·로컬·일반 어텐션을 결합한 하이브리드 구조와 혼합 전문가 방식을 썼다.
핵심은 입력 활성값을 정수 형태의 스파이크 신호로 바꾸고, 조건을 만족할 때만 신호를 내는 적응형 임계값 스파이킹이다. 연구진은 이 방식으로 69.15% 희소성을 구현했다고 설명했다. 모든 입력에서 계속 계산하는 대신 필요한 지점에서만 연산해 효율을 높이려는 접근이다. 연구진에 따르면 스파이킹브레인-7B는 400만 토큰 입력에서 첫 토큰 생성 시간(TTFT)을 기존 방식보다 100배 이상 줄였다. 이 수치는 초장문 입력 조건에서 측정된 결과로, 긴 문서 분석이나 대규모 코드 분석 같은 작업에 맞춘 기반 기술이라는 점이 중요하다.