IBM의 두뇌

ChatGPT, DALL-E, Stable Diffusion 및 기타 생성 AI가 전 세계를 강타했습니다. 그들은 멋진 시와 이미지를 창조합니다. 그들은 마케팅에서부터 법률 보고서 작성 및 신약 개발에 이르기까지 우리 세계의 모든 구석구석에 스며들고 있습니다. 그들은 인간-기계 정신 융합 성공 사례의 포스터 아이처럼 보입니다.

그러나 후드 아래에서는 상황이 덜 복숭아처럼 보입니다. 이러한 시스템은 엄청난 양의 에너지를 소비하므로 이미 불안정한 기후를 더욱 강조하며 수천 톤의 탄소 배출을 뿜어내고 수십억 달러를 빨아들이는 데이터 센터가 필요합니다. 신경망이 더욱 정교해지고 널리 사용됨에 따라 에너지 소비는 더욱 급증할 가능성이 높습니다.

생성 AI의 탄소 발자국에 많은 양의 잉크가 쏟아졌습니다. 에너지 수요는 몰락할 수 있으며, 더 성장함에 따라 발전을 방해할 수 있습니다. Intel Labs의 Hechen Wang 박사는 현재 하드웨어를 사용하는 생성 AI가 "표준 컴퓨팅 하드웨어에 계속 의존한다면 곧 중단될 것으로 예상됩니다"라고 말했습니다.

이제 지속 가능한 AI를 구축할 때입니다.

이번 주 IBM의 연구에서는 이러한 방향으로 실질적인 조치를 취했습니다. 그들은 3,500만 개의 메모리 유닛을 담은 14나노미터 아날로그 칩을 만들었습니다. 현재 칩과 달리 계산은 해당 장치 내에서 직접 이루어지므로 데이터를 앞뒤로 이동할 필요가 없으므로 결과적으로 에너지가 절약됩니다.

데이터 셔틀은 실제 계산에 필요한 것보다 3배에서 10,000배까지 에너지 소비를 증가시킬 수 있다고 Wang은 말했습니다.

이 칩은 두 가지 음성 인식 작업을 수행할 때 매우 효율적이었습니다. 하나, Google 음성 명령은 작지만 실용적입니다. 여기서는 속도가 핵심입니다. 다른 하나인 Librispeech는 음성을 텍스트로 변환하는 데 도움이 되는 거대한 시스템으로, 대량의 데이터를 처리하는 칩의 능력에 부담을 줍니다.

기존 컴퓨터와 비교했을 때 이 칩은 똑같이 정확하게 작동했지만 일부 작업에 일반적으로 필요한 것의 10분의 1 미만을 사용하여 작업을 더 빠르고 훨씬 적은 에너지로 완료했습니다.

"우리가 아는 한, 이것은 아날로그 칩에 대한 효율성과 대규모 병렬성을 갖춘...상업적으로 관련된 모델에서 상업적으로 관련된 정확도 수준을 최초로 시연한 것입니다."라고 팀은 말했습니다.

이것은 최초의 아날로그 칩이 아닙니다. 그러나 이는 뉴로모픽 컴퓨팅의 아이디어를 실용성의 영역으로 끌어올립니다. 즉, 언젠가는 뇌에 가까운 효율성으로 휴대폰, 스마트 홈 및 기타 장치에 전원을 공급할 수 있는 칩이 될 것입니다.

음, 뭐? 백업하자.

현재 컴퓨터는 Von Neumann 아키텍처를 기반으로 구축되었습니다. 방이 여러 개인 집이라고 생각하세요. 하나는 중앙처리장치(CPU)로 데이터를 분석하는 역할을 한다. 다른 하나는 메모리를 저장합니다.

각 계산을 위해 컴퓨터는 두 방 사이를 오가며 데이터를 이동해야 하며, 이는 시간과 에너지가 필요하고 효율성을 떨어뜨립니다.

대조적으로 뇌는 계산과 기억을 하나의 스튜디오 아파트로 결합합니다. 시냅스라고 불리는 버섯 모양의 접합부는 신경망을 형성하고 동일한 위치에 기억을 저장합니다. 시냅스는 매우 유연하여 저장된 메모리와 새로운 학습("가중치"라고 불리는 속성)을 기반으로 다른 뉴런과 얼마나 강력하게 연결되는지 조정합니다. 우리의 두뇌는 이러한 시냅스 가중치를 조정하여 끊임없이 변화하는 환경에 빠르게 적응합니다.

IBM은 뇌 계산을 모방하는 아날로그 칩 설계에 앞장서 왔습니다. 2016년에 재기록 가능한 CD에서 일반적으로 발견되는 흥미로운 소재를 기반으로 한 칩을 출시하면서 획기적인 발전이 이루어졌습니다. 이 물질은 전기를 가하면 물리적 상태가 변하고 끈적끈적한 수프에서 수정 같은 구조로 형태가 변합니다. 이는 디지털 0과 1과 유사합니다.

핵심은 다음과 같습니다. 칩은 하이브리드 상태로도 존재할 수 있습니다. 즉, 생물학적 시냅스와 유사하게 인공 시냅스는 이진수뿐만 아니라 수많은 서로 다른 가중치를 인코딩할 수 있으므로 단 한 비트의 데이터도 이동하지 않고도 여러 계산을 누적할 수 있습니다.

새로운 연구는 상변화 물질을 사용하여 이전 연구를 기반으로 구축되었습니다. 기본 구성요소는 '메모리 타일'입니다. 각각은 그리드 구조에 수천 개의 상변화 물질로 가득 차 있습니다. 타일은 서로 쉽게 통신합니다.