역행렬 구하는 방법 — 공식과 존재 조건 정리

📐 개념 정리

역행렬 구하는 방법을 2×2 공식 유도부터 가우스 소거법 계산까지 단계로 정리했다. 행렬식이 0이면 역행렬이 없는 이유, 3×3 예제의 검산, 수반행렬 공식과 역행렬의 기본 성질까지 한 번에 확인한다.

역행렬은 어떤 정사각행렬에 곱했을 때 단위행렬이 되는 행렬이다. 역행렬 구하는 방법은 행렬의 크기에 따라 갈린다. 2×2는 외우기 쉬운 역행렬 공식 하나로 끝나고, 3×3 이상은 가우스 소거법으로 단계를 밟는다. 두 방법은 행렬식이 0이 아니어야 한다는 같은 전제를 공유한다.

역행렬이란 무엇인가?

행렬 세계에서 숫자 1의 역할을 하는 것이 단위행렬이다. 대각선만 1이고 나머지가 0인 정사각행렬이며, 어떤 행렬에 곱해도 그 행렬을 바꾸지 않는다. 그래서 어떤 정사각행렬에 곱해 단위행렬을 만들어 주는 상대를 그 행렬의 역행렬이라 정의한다. 3에 곱해 1을 만드는 수가 3분의 1인 것과 같은 구도다.

행렬의 곱셈에는 교환법칙이 없으므로, 역행렬의 정의는 왼쪽에서 곱한 결과와 오른쪽에서 곱한 결과가 모두 단위행렬이 될 것을 요구한다. 다행히 정사각행렬에서는 한쪽만 확인해도 다른 쪽이 따라오며, 역행렬이 존재한다면 오직 하나뿐이다. 역행렬이 있는 행렬은 가역행렬, 없는 행렬은 특이행렬이라 부른다.

모든 정사각행렬이 역행렬을 갖는 것은 아니다. 역행렬 존재 조건은 한 문장으로 끝난다. 행렬식이 0이 아닐 때에만 역행렬이 존재한다. 이 관문을 통과했다면 작은 행렬은 역행렬 공식에 값을 대입하고, 큰 행렬은 가우스 소거법으로 풀면 된다.

2×2 역행렬 공식은 어디서 나왔을까?

2×2 역행렬 공식은 암기 대상이 아니라 연립방정식의 해를 정리한 결과다. 연립방정식 $ax+by=p$, $cx+dy=q$에서 첫 식에 $d$를, 둘째 식에 $b$를 곱해 두 식을 빼면 $y$가 사라지고 $(ad-bc)x = dp-bq$가 남는다. 같은 방식으로 $x$를 지우면 $(ad-bc)y = aq-cp$를 얻는다.

$ad-bc$가 0이 아니라면 양변을 그 값으로 나눌 수 있고, 해는 $x=(dp-bq)/(ad-bc)$와 $y=(aq-cp)/(ad-bc)$가 된다. 이 결과를 다시 행렬로 묶으면 역행렬 공식이 그대로 튀어나온다.

$$A=\begin{pmatrix} a & b \\ c & d \end{pmatrix}, \qquad A^{-1}=\frac{1}{ad-bc}\begin{pmatrix} d & -b \\ -c & a \end{pmatrix}$$

여기서 $a$, $b$, $c$, $d$는 네 성분이고 $ad-bc$가 이 행렬의 행렬식이다. 공식이 시키는 일은 셋뿐이다. 대각선의 두 성분을 맞바꾸고, 나머지 두 성분의 부호를 뒤집고, 전체를 행렬식으로 나눈다. 유도를 한 번 해 본 사람은 이 역행렬 공식을 잊어도 언제든 다시 만들 수 있다.

행렬식이 0이면 왜 역행렬이 없을까?

유도를 되짚으면 답이 보인다. 우리는 양변을 $ad-bc$로 나누었다. 이 값이 0이면 나눗셈이 불가능하므로 해를 하나로 특정할 수 없다. 역행렬 공식 앞에 붙은 분모가 바로 이 행렬식이고, 분모가 0인 분수가 없듯 행렬식이 0인 행렬에는 역행렬이 없다.

기하적으로 보면 더 선명해진다. 2×2 행렬은 평면의 점을 옮기는 일차변환이고, 행렬식의 절댓값은 그 변환이 도형의 면적을 몇 배로 바꾸는지 알려 준다. 행렬식이 3이면 면적이 3배가 되고, 행렬식이 0이면 면적이 0으로 찌그러진다. 정사각형이 선분이나 점으로 납작하게 눌리는 셈이다.

납작해진 도형에서는 원래 위치를 복원할 길이 없다. 서로 다른 두 점이 같은 자리로 겹쳐 버려 어디서 왔는지 구별할 수 없기 때문이다. 역행렬은 변환을 되돌리는 장치인데 되돌릴 정보가 사라졌으니 존재할 수 없다. 역행렬 존재 조건이 행렬식과 맞물리는 까닭이 여기에 있다.

역행렬 존재 조건 — 같은 말의 다섯 표현

• 행렬식이 0이 아니다
• 행벡터들이 서로 일차독립이다
• 계수(rank)가 행의 개수와 같다
• 가우스 소거법을 끝까지 돌리면 단위행렬이 나온다
• 모든 우변에 대해 해가 정확히 하나 있다

가우스 소거법으로 3×3 역행렬 구하기

3×3부터는 가우스 소거법이 역행렬 공식보다 빠르고 실수도 적다. 왼쪽에 원래 행렬, 오른쪽에 같은 크기의 단위행렬을 나란히 붙여 큰 행렬을 만든다. 그다음 행 교환, 행의 상수배, 다른 행의 상수배 더하기라는 세 가지 행 연산만으로 왼쪽을 단위행렬로 바꾼다. 그 순간 오른쪽에 남은 것이 역행렬이다. 역행렬 존재 조건을 만족하면 이 절차는 반드시 끝난다.

예제로 확인해 보자. 첫 행이 1, 2, 3이고 둘째 행이 0, 1, 4이며 셋째 행이 5, 6, 0인 행렬이다. 셋째 행에서 첫째 행의 5배를 뺀 뒤 둘째 행의 4배를 더하면 왼쪽 아래가 0으로 정리된다.

$$\left(\begin{array}{ccc|ccc} 1&2&3&1&0&0 \\ 0&1&4&0&1&0 \\ 5&6&0&0&0&1 \end{array}\right) \longrightarrow \left(\begin{array}{ccc|ccc} 1&2&3&1&0&0 \\ 0&1&4&0&1&0 \\ 0&0&1&-5&4&1 \end{array}\right)$$

세로선 왼쪽이 원래 행렬, 오른쪽이 단위행렬에서 출발한 부분이다. 아래 줄의 $-5$, $4$, $1$은 지금까지 가한 행 연산의 누적 기록이다. 다음으로 둘째 행에서 셋째 행의 4배를 빼면 $20,-15,-4$가 되고, 첫째 행에서 셋째 행의 3배와 둘째 행의 2배를 차례로 빼면 $-24,18,5$가 된다.

왼쪽이 단위행렬이 되었으니 오른쪽이 구하려던 역행렬이다. 검산은 선택이 아니라 필수다. 구한 역행렬을 원래 행렬에 곱해 보자.

$$A^{-1}=\begin{pmatrix} -24 & 18 & 5 \\ 20 & -15 & -4 \\ -5 & 4 & 1 \end{pmatrix}, \qquad AA^{-1}=\begin{pmatrix} 1&0&0 \\ 0&1&0 \\ 0&0&1 \end{pmatrix}=I$$

$I$는 단위행렬이다. 첫째 행과 첫째 열의 곱은 $-24+40-15=1$, 첫째 행과 둘째 열은 $18-30+12=0$, 셋째 행과 셋째 열은 $25-24=1$이다. 아홉 성분을 모두 훑으면 대각선만 1인 단위행렬이 나온다. 검산을 건너뛰면 부호 하나 실수가 끝까지 살아남는다.

수반행렬 공식과는 어떻게 이어질까?

2×2 역행렬 공식을 일반적인 크기로 확장한 것이 수반행렬 공식이다. 각 성분의 여인수를 모아 만든 행렬을 전치한 것이 수반행렬이고, 이를 행렬식으로 나누면 역행렬이 된다.

$$A^{-1}=\frac{1}{\det A}\,\mathrm{adj}(A), \qquad [\mathrm{adj}(A)]_{ij}=(-1)^{i+j}M_{ji}$$

$\det A$는 행렬식, $M_{ji}$는 $j$행과 $i$열을 지우고 남은 소행렬식이다. $(-1)^{i+j}$는 체스판처럼 번갈아 바뀌는 부호이며, 첨자가 $ij$에서 $ji$로 뒤집힌 것이 전치를 뜻한다. 이 식에 2×2를 넣으면 앞서 유도한 역행렬 공식이 정확히 재현된다.

수반행렬 공식은 구조를 보여 주지만 계산 도구로는 무겁다. 크기가 커질수록 계산할 소행렬식의 개수가 폭발하기 때문이다. 반면 가우스 소거법의 연산량은 크기의 세제곱 정도에 머문다. 그래서 실제 역행렬 계산은 손으로든 컴퓨터로든 거의 전부 가우스 소거법 계열이 맡는다.

역행렬의 성질과 쓰임은 무엇인가?

역행렬의 역행렬은 원래 행렬로 돌아와 $(A^{-1})^{-1}=A$다. 곱의 역행렬은 순서가 뒤집혀 $(AB)^{-1}=B^{-1}A^{-1}$인데, 겉옷을 벗을 때 나중에 입은 것을 먼저 벗는 것과 같다. 전치와도 어울려 $(A^{T})^{-1}=(A^{-1})^{T}$이고, $\det(A^{-1})=1/\det A$도 성립한다.

이 성질이 힘을 발휘하는 첫 무대는 연립방정식이다. 계수를 모은 행렬을 $A$, 미지수를 세운 것을 $x$, 우변을 $b$라 하면 연립방정식 전체가 $Ax=b$ 한 줄로 줄어든다. 양변 왼쪽에 역행렬을 곱하면 $x=A^{-1}b$로 해가 곧바로 나온다. 역행렬 존재 조건이 충족되면 해는 정확히 하나, 행렬식이 0이면 해가 없거나 무수히 많다.

더 큰 의미는 되돌림이다. 행렬은 회전, 확대, 밀기 같은 일차변환을 숫자로 적어 놓은 것이고 역행렬은 그 변환을 거꾸로 실행한다. 회전행렬의 역행렬은 반대 방향의 같은 각 회전이고, 확대행렬의 역행렬은 같은 비율의 축소다. 컴퓨터그래픽스의 좌표 변환, 통계의 회귀계수 추정, 암호의 복호화 열쇠가 모두 이 구조 위에 서 있다.

처음 선형대수를 배울 때 나는 역행렬 공식을 자리바꿈 규칙으로만 외웠다. 시험에서 부호를 반대로 적어 한 문제를 통째로 틀린 뒤 연립방정식에서 직접 유도해 보았고, 그날 이후로는 잊어버려도 3분이면 다시 만들 수 있게 되었다. 손으로 풀 때도 여인수를 아홉 번 계산하는 길보다 가우스 소거법이 훨씬 짧았다.

함께 읽으면 좋은 글

벡터의 내적이란? 정의와 공식, 기하학적 의미까지 이항정리 공식과 증명 — 일반항·파스칼의 삼각형까지 베이즈 정리란? 공식과 뜻, 검사 결과를 읽는 법

참고 자료

Wolfram MathWorld — Matrix Inverse Wolfram MathWorld — Gauss-Jordan Elimination MIT OpenCourseWare — 18.06 Linear Algebra