퀀타 칼럼 '어텐션은 지능의 본질인가' — 어텐션 메커니즘 수식 총정리

📐 수학 이야기

어텐션 메커니즘은 내적으로 유사도를 구하고 소프트맥스로 가중치를 만든 뒤 값을 섞는 선형대수 계산이다. 퀀타 칼럼이 다룬 어텐션의 수식을 숫자 예제로 끝까지 풀어 정리했다.

퀀타 매거진이 10월 12일 칼럼 「어텐션은 지능의 본질인가」에서 챗GPT 같은 인공지능의 뿌리를 2014년 어텐션 메커니즘까지 거슬러 올라가 소개했다. 이 칼럼은 수식 없이 설명했지만, 어텐션 메커니즘의 실체는 내적과 소프트맥스, 행렬곱으로 이루어진 선형대수 계산이다. 이 글은 그 수식을 정의부터 숫자 예제까지 유도한다.

퀀타 칼럼은 어텐션 메커니즘을 어떻게 설명했나요?

퀀타 매거진의 나탈리 월초버는 10월 12일자 칼럼에서 어텐션 메커니즘이 2014년 몬트리올대학의 기계번역 연구에서 시작됐다고 소개했다. 드미트리 바다나우, 요슈아 벤지오, 조경현 연구진이 문장 전체를 고정된 크기의 기억으로 압축하던 신경망의 병목을 풀려고 어텐션을 도입했다. 번역할 때 원문과 번역문을 번갈아 보는 사람처럼, 단어마다 문장의 어느 부분을 얼마나 볼지 가중치를 정하는 방식이다.

2017년 구글의 논문 「Attention Is All You Need」는 다른 구성요소를 덜어내고 어텐션 메커니즘만으로 트랜스포머를 만들었다. 칼럼에 따르면 이 논문은 25만 회 넘게 인용됐다. 칼럼은 어텐션만으로 효율적인 언어 습득이 충분하지는 않을 것이라는 의견도 함께 소개했다. 이제 칼럼이 글로 풀어 쓴 어텐션 메커니즘의 계산을 수식으로 옮겨 보자.

어텐션 메커니즘의 수식은 어떻게 정의되나요?

각 단어는 숫자 벡터로 바뀐다. 학습된 가중치 행렬을 곱해 단어마다 쿼리 \(q\), 키 \(k\), 밸류 \(v\) 세 벡터를 만든다. 쿼리는 내가 찾는 것, 키는 각 단어가 내세우는 정보, 밸류는 실제로 전달할 내용에 해당한다. 단어 \(i\)가 단어 \(j\)를 얼마나 볼지는 쿼리와 키의 내적으로 매긴다.

$$ \mathbf{q}\cdot\mathbf{k} = \sum_{m=1}^{d} q_m k_m = \|\mathbf{q}\|\,\|\mathbf{k}\|\cos\theta $$

어텐션 메커니즘에서 내적은 두 벡터가 같은 방향을 가리킬수록 커진다. 칼럼이 말한 두 벡터가 같은 방향을 가리키는 정도가 바로 \(\cos\theta\)이고, \(d\)는 벡터의 차원이다. 이 점수들을 한꺼번에 확률 분포로 바꾸는 함수가 소프트맥스다.

$$ \mathrm{softmax}(s_j) = \frac{e^{s_j}}{\sum_{l} e^{s_l}} $$

어텐션 메커니즘의 소프트맥스는 모든 점수를 양수로 만들고 합이 1이 되게 한다. 점수가 큰 항목은 지수 함수로 더 크게 부풀려져서 가중치가 집중된다. 이제 어텐션 메커니즘의 전체 식은 키 행렬 \(K\), 쿼리 행렬 \(Q\), 밸류 행렬 \(V\)로 다음과 같이 쓴다.

$$ \mathrm{Attention}(Q,K,V) = \mathrm{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V $$

\(d_k\)는 키 벡터의 차원이다. 어텐션 메커니즘을 정의한 이 식이 2017년 논문이 제시한 스케일 내적 어텐션이다. 분모의 \(\sqrt{d_k}\)는 점수의 크기를 조절하려는 장치로, 아래에서 이유를 따져 본다.

숫자 예제로 어텐션 메커니즘을 직접 계산하면?

어텐션 메커니즘을 차원 \(d_k=2\)로 줄여 계산해 보자. 쿼리 \(q=(1,0)\)이고 단어 3개의 키가 \(k_1=(1,0)\), \(k_2=(0,1)\), \(k_3=(1,1)\)이다. 내적 점수는 \(q\cdot k_1=1\), \(q\cdot k_2=0\), \(q\cdot k_3=1\)이다. \(\sqrt{2}\approx1.414\)로 나누면 \(0.707,\ 0,\ 0.707\)이 된다.

$$ w_j=\frac{e^{s_j}}{\sum_l e^{s_l}}:\quad w_1=\frac{2.028}{5.056}\approx0.401,\ \ w_2\approx0.198,\ \ w_3\approx0.401 $$

지수 값은 \(e^{0.707}\approx2.028\), \(e^{0}=1\)이고 합은 \(2.028+1+2.028=5.056\)이다. 쿼리와 방향이 같거나 비슷한 단어 1, 3번에 0.401씩, 직교하는 2번에 0.198의 가중치가 붙었다. 밸류가 \(v_1=(2,0)\), \(v_2=(0,2)\), \(v_3=(1,1)\)이면 출력은 가중합이다.

$$ \mathbf{o} = 0.401\,(2,0)+0.198\,(0,2)+0.401\,(1,1)\approx(1.203,\ 0.797) $$

이것이 어텐션 메커니즘이 단어 하나의 표현을 갱신하는 과정이다. 문장 전체에 대해서는 모든 쿼리를 행렬 \(Q\)로 쌓아 한 번의 행렬곱으로 계산한다. 여러 어텐션 헤드를 병렬로 돌리고 층을 반복하면 표현이 점점 풍부해진다는 것이 칼럼의 설명이다.

왜 제곱근 d_k로 나누나요?

쿼리와 키의 성분이 평균 0, 분산 1인 독립 확률변수라고 가정하면 내적 \(\sum_{m=1}^{d_k} q_m k_m\)은 평균 0, 분산 \(d_k\)가 된다. 표준편차가 \(\sqrt{d_k}\)이므로 차원이 클수록 점수의 폭이 커진다. 점수가 너무 크면 소프트맥스가 한 항목에만 거의 1을 주는 포화 상태가 되어 기울기가 사라진다. 그래서 \(\sqrt{d_k}\)로 나눠 분산을 다시 1로 맞춘다.

위 예제에서 나누지 않으면 가중치가 0.422, 0.155, 0.422로 더 극단적이 된다. \(d_k=2\)에서도 차이가 보이는데, 실제 모델처럼 \(d_k=64\)이면 \(\sqrt{d_k}=8\)이라 효과가 훨씬 크다.

어텐션 메커니즘의 한계는 무엇인가요?

\(QK^{\top}\)는 단어 수 \(n\)에 대해 \(n\times n\) 행렬이라 계산량과 메모리가 \(n^2\)에 비례한다. 문장이 길어질수록 부담이 급격히 늘어나는 것이 어텐션 메커니즘의 기술적 한계로 꼽힌다. 칼럼은 인간의 뇌가 훨씬 적은 데이터와 에너지로 언어를 배운다는 점도 지적했는데, 이는 수학이 아니라 인지과학의 문제다.

직접 작은 행렬로 이 계산을 손으로 해 본 적이 있는데, 소프트맥스 한 줄로 가중치가 갈리는 모습을 숫자로 확인하니 어텐션이 복잡한 신비가 아니라 내적과 지수 함수로 이뤄진 비교적 단순한 연산의 반복이라는 점이 분명해졌다. 선형대수를 배우는 학생이라면 어텐션 메커니즘을 행렬 곱셈 연습 문제로 삼아 볼 만하다.

함께 읽으면 좋은 글

행렬식 정의와 계산법, 성질과 기하학적 의미 정리퀀타 '4차원은 어떻게 생겼나' 공개 — 4차원 뜻·초입방체 계산 총정리표본오차 계산법, 여론조사 오차범위 읽는 공식과 예시

참고 자료

Quanta Magazine — Is “Attention” the Essence of Intelligence?Vaswani 외, Attention Is All You Need (arXiv)