역행렬 구하는 방법 — 공식과 존재 조건까지 정리

📐 개념 정리

역행렬은 어떤 행렬과 곱했을 때 단위행렬이 되는 행렬로, 행렬식이 0이 아닐 때만 존재합니다. 2x2 역행렬 공식과 3x3 가우스-조던 소거법, 존재 조건과 성질까지 계산 과정을 예제와 함께 단계별로 정리했습니다.

역행렬은 어떤 정사각행렬 $A$와 곱했을 때 단위행렬 $E$가 되는 행렬입니다. 2x2 행렬은 공식 하나로 바로 구할 수 있고, 3x3 이상은 가우스-조던 소거법을 쓰는 편이 빠릅니다. 단, 행렬식이 0이면 역행렬 자체가 존재하지 않습니다. 이 글에서 뜻과 존재 조건, 계산법, 성질을 차례로 정리합니다.

역행렬이란? 단위행렬과의 관계

역행렬의 뜻부터 정확히 잡겠습니다. 정사각행렬 $A$에 대해 다음을 만족하는 행렬 $A^{-1}$를 $A$의 역행렬이라고 합니다.

$$AA^{-1} = A^{-1}A = E$$

여기서 $E$는 대각선 성분이 모두 1이고 나머지가 0인 단위행렬입니다. 단위행렬은 수의 곱셈에서 1과 같은 역할을 하므로, 역행렬은 수의 역수 $a \times \frac{1}{a} = 1$ 관계를 행렬로 옮긴 개념이라고 보면 됩니다. 실제로 역수를 뜻하는 inverse에서 기호 $A^{-1}$가 나왔습니다.

중요한 전제가 두 가지 있습니다. 첫째, 역행렬은 행과 열의 개수가 같은 정사각행렬에서만 정의됩니다. 둘째, 행렬 곱셈은 교환법칙이 성립하지 않지만 역행렬과의 곱만큼은 순서를 바꿔도 항상 단위행렬이 나옵니다. 그리고 어떤 행렬의 역행렬이 존재한다면 그 역행렬은 오직 하나뿐입니다. 이를 역행렬의 유일성이라고 부릅니다.

역행렬 존재 조건 — 행렬식이 0이 아니어야 하는 이유

모든 정사각행렬이 역행렬을 갖는 것은 아닙니다. 역행렬 존재 조건은 한 줄로 요약됩니다. 행렬식 $\det A$가 0이 아니면 역행렬이 존재하고, 0이면 존재하지 않습니다. 역행렬이 존재하는 행렬을 가역행렬 또는 정칙행렬이라 하고, 존재하지 않는 행렬을 특이행렬이라고 부릅니다.

왜 행렬식이 기준이 될까요? 2x2 행렬에서 행렬식 $ad-bc$는 아래 공식의 분모로 들어갑니다. 분모가 0이면 나눗셈이 불가능하니 공식 자체가 무너집니다. 기하학적으로 보면 더 직관적입니다. 행렬은 평면을 늘리고 회전시키는 변환인데, 행렬식은 그 변환이 넓이를 몇 배로 바꾸는지 나타냅니다. 행렬식이 0이라는 것은 평면 전체가 하나의 직선이나 점으로 눌려 붙는다는 뜻이고, 한번 뭉개진 정보는 되돌릴 수 없으므로 역변환, 즉 역행렬이 존재할 수 없습니다.

그래서 역행렬을 구하기 전에는 항상 행렬식부터 계산하는 습관이 필요합니다. 행렬식이 0인지 확인하는 데는 몇 초면 충분하지만, 존재하지 않는 역행렬을 구하려고 소거법을 돌리면 계산 끝에 가서야 모순을 만나게 됩니다.

2x2 역행렬 공식과 계산 예제

2x2 역행렬 공식은 가장 자주 쓰이는 형태이니 통째로 외워두는 것이 좋습니다. $A = \begin{pmatrix} a & b \\ c & d \end{pmatrix}$일 때 역행렬은 다음과 같습니다.

$$A^{-1} = \frac{1}{ad-bc}\begin{pmatrix} d & -b \\ -c & a \end{pmatrix}$$

공식의 구조는 세 동작으로 기억하면 됩니다. 주대각선의 $a$와 $d$는 자리를 서로 바꾸고, 반대각선의 $b$와 $c$는 부호만 바꾼 뒤, 전체를 행렬식 $ad-bc$로 나눕니다. 예제로 확인해 보겠습니다. $A = \begin{pmatrix} 2 & 1 \\ 5 & 3 \end{pmatrix}$이면 행렬식은 $2 \times 3 - 1 \times 5 = 1$이므로 역행렬이 존재하고, 공식에 넣으면 $A^{-1} = \begin{pmatrix} 3 & -1 \\ -5 & 2 \end{pmatrix}$가 됩니다. 검산으로 $AA^{-1}$를 직접 곱해 보면 정확히 단위행렬이 나옵니다. 이 검산 습관은 시험에서 계산 실수를 잡아내는 가장 확실한 방법입니다.

3x3 역행렬 구하는 방법 — 가우스-조던 소거법

3x3부터는 공식 암기보다 가우스-조던 소거법이 표준입니다. 절차는 단순합니다. 구하려는 행렬 $A$ 오른쪽에 단위행렬 $E$를 나란히 붙여 확대행렬을 만들고, 행 연산만으로 왼쪽을 단위행렬로 바꿉니다. 그 순간 오른쪽에 남는 것이 바로 역행렬입니다.

$$\left( A \mid E \right) \longrightarrow \left( E \mid A^{-1} \right)$$

허용되는 행 연산은 세 가지입니다. 두 행을 서로 바꾸기, 한 행에 0이 아닌 수를 곱하기, 한 행에 다른 행의 몇 배를 더하기. 이 세 동작을 왼쪽 열부터 차례로 적용해 대각선 아래를 0으로, 다음에 대각선 위를 0으로 만들면 됩니다. 도중에 어떤 행이 전부 0이 되어 왼쪽을 단위행렬로 만들 수 없다면, 그 행렬은 행렬식이 0인 특이행렬이라 역행렬이 존재하지 않는다는 뜻입니다. 여인수와 수반행렬로 구하는 공식도 있지만, 손 계산에서는 소거법이 실수도 적고 빠릅니다.

저는 대학에서 선형대수를 처음 배울 때 3x3 역행렬을 굳이 여인수 공식으로만 풀다가 중간고사에서 시간을 다 써버린 적이 있습니다. 행렬식 계산 아홉 번에 부호 배치까지 하다 보면 어딘가에서 꼭 하나가 틀리더군요. 가우스-조던 소거법으로 바꾼 뒤에는 같은 문제를 절반의 시간에 풀었고, 무엇보다 어느 단계에서 틀렸는지 눈으로 추적할 수 있어서 검산이 쉬워졌습니다. 방법 선택이 점수를 가른다는 것을 그때 배웠습니다.

역행렬의 성질 5가지

계산 문제와 증명 문제 양쪽에서 반복해서 쓰이는 역행렬의 성질을 모았습니다. 특히 곱의 역행렬에서 순서가 뒤집히는 첫 번째 성질은 시험 단골입니다.

🔑 역행렬의 핵심 성질

• $(AB)^{-1} = B^{-1}A^{-1}$ — 곱의 역행렬은 각각의 역행렬을 반대 순서로 곱한다
• $(A^{-1})^{-1} = A$ — 역행렬의 역행렬은 자기 자신이다
• $(A^{T})^{-1} = (A^{-1})^{T}$ — 전치와 역행렬은 순서를 바꿔도 같다
• $(kA)^{-1} = \frac{1}{k}A^{-1}$ — 상수배의 역행렬은 역수배가 된다 ($k \neq 0$)
• $\det(A^{-1}) = \frac{1}{\det A}$ — 역행렬의 행렬식은 원래 행렬식의 역수다

곱의 역행렬에서 순서가 뒤집히는 이유는 옷 입기에 비유하면 쉽습니다. 셔츠를 입고 코트를 입었다면, 벗을 때는 코트부터 벗어야 합니다. 변환 $A$ 다음에 $B$를 적용했다면 되돌릴 때는 $B$를 먼저 취소해야 하므로 $B^{-1}A^{-1}$ 순서가 되는 것입니다.

역행렬은 어디에 쓰일까? 연립방정식부터 그래픽스까지

역행렬의 대표 활용은 연립일차방정식 풀이입니다. 연립방정식을 행렬로 묶으면 $Ax = b$ 꼴이 되는데, 양변 왼쪽에 역행렬을 곱하면 해가 한 번에 나옵니다.

$$x = A^{-1}b$$

여기서 $A$는 계수행렬, $x$는 미지수 벡터, $b$는 상수항 벡터입니다. 미지수가 몇 개든 구조가 같아서, 변수 수백 개짜리 방정식을 다루는 공학 시뮬레이션의 기본 언어가 됩니다. 컴퓨터 그래픽스에서는 회전과 확대를 나타내는 변환 행렬의 역행렬로 화면 좌표를 원래 좌표로 되돌리고, 3D 게임에서 카메라 시점을 바꾸는 계산에도 같은 원리가 들어갑니다. 통계학의 회귀분석에서 계수를 추정하는 정규방정식, 행렬로 문자를 섞는 힐 암호의 복호화 과정에도 역행렬이 핵심으로 쓰입니다.

정리하면 이렇습니다. 역행렬은 단위행렬을 만들어 주는 짝이고, 행렬식이 0이 아닐 때만 존재하며, 2x2는 공식으로, 3x3 이상은 가우스-조던 소거법으로 구합니다. 그리고 그 본질은 변환을 되돌리는 장치라는 것, 이 한 문장만 기억해도 선형대수의 절반이 편해집니다.

함께 읽으면 좋은 글

📐 행렬 곱셈 방법과 조건, 교환법칙까지 정리 📐 함수의 극한 정의와 성질, 극한값 구하는 법 🧮 유튜브 알고리즘 뜻과 원리, 추천을 결정하는 수학

참고 자료

Wolfram MathWorld — Matrix Inverse Khan Academy — 선형대수학