행렬식 정의와 계산법, 성질과 기하학적 의미 정리

📐 개념 정리

행렬식은 정사각행렬 하나에 대응하는 수로, 역행렬 존재 여부와 넓이·부피의 배율을 알려 준다. 행렬식 정의와 2×2·3×3 계산법, 사루스 법칙과 여인수 전개, 주요 성질과 기하학적 의미를 유도와 함께 정리했다.

행렬식은 선형대수에서 가장 먼저 만나는 계산 도구이면서, 역행렬이 있는지, 연립방정식의 해가 하나로 정해지는지, 도형이 몇 배로 늘어나는지를 한 번에 알려 주는 숫자다. 공식만 외우면 금방 잊히지만 어디서 나왔는지 따라가면 오래 남는다. 이 글은 행렬식 정의에서 출발해 계산법, 성질, 기하학적 의미 순서로 유도 과정을 함께 정리한다.

행렬식이란? 정사각행렬에 붙는 하나의 수

행렬식은 가로와 세로의 크기가 같은 정사각행렬에만 정의되는 하나의 실수 또는 복소수다. 행렬 A의 행렬식은 det A 또는 A 양옆에 세로줄을 그은 기호로 쓴다. 행렬식이 0이 아니면 역행렬이 존재하고, 0이면 존재하지 않는다. 이 판정 기능 때문에 행렬식은 연립일차방정식, 고유값, 다변수 적분의 변수 변환까지 선형대수 곳곳에 등장한다.

흥미롭게도 행렬식은 행렬보다 먼저 태어났다. 17세기 말 일본의 세키 다카카즈와 독일의 라이프니츠가 연립방정식의 해를 구하는 과정에서 거의 같은 시기에 이 값을 발견했고, 행렬이라는 개념은 그 뒤에야 정리됐다. 그래서 행렬식 정의를 이해하는 가장 자연스러운 길도 연립방정식에서 출발하는 것이다.

2×2 행렬식 공식은 어디서 나왔을까?

연립방정식 \(ax + by = e\), \(cx + dy = f\)에서 \(y\)를 소거해 보자. 첫 식에 \(d\)를, 둘째 식에 \(b\)를 곱해 빼면 \(x\)만 남는다.

$$(ad - bc)\,x = ed - bf \quad\Longrightarrow\quad x = \frac{ed - bf}{ad - bc}$$

분모가 0이 아닐 때만 해가 하나로 정해진다

\(y\)도 같은 분모를 가진다. 해의 운명을 결정하는 이 분모를 계수행렬의 행렬식으로 정의한 것이다.

$$\det\begin{pmatrix} a & b \\ c & d \end{pmatrix} = \begin{vmatrix} a & b \\ c & d \end{vmatrix} = ad - bc$$

주대각선의 곱에서 반대 대각선의 곱을 뺀다

분자도 행렬식으로 쓸 수 있다. \(ed - bf\)는 계수행렬의 첫째 열을 상수항 \(e, f\)로 바꾼 행렬의 행렬식이다. 이것을 일반화한 것이 크라메르 공식이고, 역행렬 공식의 분모에 \(ad - bc\)가 들어가는 이유도 같다.

3×3 행렬식 계산법, 사루스 법칙과 여인수 전개

3×3 행렬식은 오른쪽 아래로 내려가는 대각선 세 개의 곱을 더하고, 왼쪽 아래로 내려가는 대각선 세 개의 곱을 빼서 구할 수 있다. 이것을 사루스 법칙이라고 한다.

$$\begin{vmatrix} a & b & c \\ d & e & f \\ g & h & i \end{vmatrix} = aei + bfg + cdh - ceg - bdi - afh$$

사루스 법칙은 3×3에서만 성립한다

4×4 이상에서는 사루스 법칙이 통하지 않으므로 여인수 전개를 쓴다. \(i\)행 \(j\)열 원소 \(a_{ij}\)가 있는 행과 열을 지우고 남은 작은 행렬의 행렬식을 소행렬식 \(M_{ij}\)라 하고, 여기에 부호 \((-1)^{i+j}\)를 붙인 값을 여인수 \(C_{ij}\)라 한다. 아무 행 하나를 골라 다음처럼 전개하면 된다.

$$\det A = \sum_{j=1}^{n} a_{ij}\,C_{ij} = \sum_{j=1}^{n} (-1)^{i+j}\,a_{ij}\,M_{ij}$$

어느 행이나 열로 전개해도 같은 값이 나온다

예를 들어 1행이 2, 1, 3, 2행이 0, 4, 1, 3행이 1, 0, 2인 행렬을 1행으로 전개해 보자.

$$\begin{vmatrix} 2 & 1 & 3 \\ 0 & 4 & 1 \\ 1 & 0 & 2 \end{vmatrix} = 2\begin{vmatrix} 4 & 1 \\ 0 & 2 \end{vmatrix} - 1\begin{vmatrix} 0 & 1 \\ 1 & 2 \end{vmatrix} + 3\begin{vmatrix} 0 & 4 \\ 1 & 0 \end{vmatrix} = 16 + 1 - 12 = 5$$

0이 많은 행이나 열을 골라 전개하면 계산량이 줄어든다

사루스 법칙으로 계산해도 \(16 + 1 + 0 - 12 - 0 - 0 = 5\)로 같다. 행렬식이 0이 아니므로 이 행렬은 역행렬을 가진다.

행렬식의 성질, 계산을 줄여 주는 규칙

행렬식의 성질 중 계산에 가장 많이 쓰이는 것은 행 연산과의 관계다. 두 행을 맞바꾸면 부호가 바뀌고, 한 행에 \(k\)를 곱하면 행렬식도 \(k\)배가 되며, 한 행의 배수를 다른 행에 더해도 값은 변하지 않는다. 그래서 가우스 소거로 위삼각행렬을 만든 뒤 대각원소를 곱하는 방법이 큰 행렬에서는 여인수 전개보다 훨씬 빠르다. 같은 이유로 두 행이 같거나 한 행이 모두 0이면 행렬식은 0이다.

$$\det(AB) = \det A\,\det B, \qquad \det(A^{T}) = \det A, \qquad \det(kA) = k^{n}\det A$$

\(n\)은 행렬의 크기다

곱의 성질에 \(B = A^{-1}\)을 넣으면 \(\det A \cdot \det(A^{-1}) = \det I = 1\)이 되어 \(\det(A^{-1}) = 1/\det A\)가 바로 나온다. 행렬식이 0인 행렬에는 역행렬이 있을 수 없다는 사실도 이 한 줄에서 증명된다. 실수하기 쉬운 것은 \(\det(kA)\)다. 행 \(n\)개에 모두 \(k\)가 곱해지므로 \(k\)배가 아니라 \(k^n\)배다.

행렬식의 기하학적 의미는 넓이와 부피의 배율

2×2 행렬의 두 열벡터 \(\mathbf{u} = (a, c)\), \(\mathbf{v} = (b, d)\)가 만드는 평행사변형의 넓이를 구해 보자. 넓이는 \(|\mathbf{u}||\mathbf{v}|\sin\theta\)이고, 내적으로 \(\cos\theta\)를 바꿔 쓰면 다음이 성립한다.

$$S^2 = |\mathbf{u}|^2|\mathbf{v}|^2 - (\mathbf{u}\cdot\mathbf{v})^2 = (a^2 + c^2)(b^2 + d^2) - (ab + cd)^2 = (ad - bc)^2$$

따라서 평행사변형의 넓이는 행렬식의 절댓값이다

즉 행렬식은 그 행렬이 나타내는 선형변환이 단위정사각형의 넓이를 몇 배로 바꾸는지 알려 준다. 부호는 방향을 뜻해서, 음수이면 도형이 뒤집힌다. 3×3에서는 세 열벡터가 만드는 평행육면체의 부피 배율이 된다. 행렬식이 0이라는 것은 평면이 선으로, 공간이 평면으로 납작해진다는 뜻이고, 납작해진 것을 원래대로 되돌릴 방법이 없으니 역행렬도 없다. 다변수 적분에서 변수를 바꿀 때 붙는 자코비안이 행렬식인 것도 이 넓이 배율 때문이다.

나는 대학 1학년 선형대수 시간에 행렬식을 그저 외워야 할 공식 덩어리로만 받아들였다. 그러다 그래픽 프로그래밍 과제에서 좌표 변환 행렬의 행렬식이 음수가 되는 순간 화면 속 도형이 거울처럼 뒤집히는 것을 보고서야 행렬식의 기하학적 의미가 몸으로 이해됐다. 계산이 막힐 때는 지금도 이 행렬식이 넓이를 몇 배로 바꾸는지부터 그려 본다.

함께 읽으면 좋은 글

역행렬 구하는 방법 — 공식과 존재 조건 정리 고유값 고유벡터 구하는 법 — 정의부터 예제까지 벡터의 내적이란? 정의와 공식, 기하학적 의미까지

참고 자료

Wikipedia — Determinant 위키백과 — 행렬식 MIT OpenCourseWare — 18.06 Linear Algebra