|
선형대수학 Linear Algebra |
|||
|
{{{#!wiki style="margin:0 -10px -5px;min-height:2em" {{{#!folding [ 펼치기 · 접기 ] {{{#!wiki style="margin:-6px -1px -11px" |
<colbgcolor=#006ab8> 기본 대상 | 일차함수 · 벡터 · 행렬 · 선형 변환 | |
| 대수적 구조 | 가군(모듈) · 벡터 공간 · 내적 공간 | ||
| 선형 연산자 | <colbgcolor=#006ab8> 기본 개념 | 연립방정식 · 행렬곱 · 단위행렬 · 역행렬과 크라메르 공식 · 가역행렬 · 전치행렬 · 행렬식( 라플라스 전개) · 주대각합 | |
| 선형 시스템 | 기본행연산과 기본행렬 · 가우스-조르당 소거법 · 행사다리꼴 · 행렬표현 · 라그랑주 보간법 | ||
| 주요 정리 | 선형대수학의 기본정리 · 차원 정리 · 가역행렬의 기본정리 · 스펙트럼 정리 | ||
| 기타 | 제곱근행렬 · 멱등행렬 · 멱영행렬 · 에르미트 행렬 · 야코비 행렬 · 방데르몽드 행렬 · 아다마르 행렬 변환 | ||
| 벡터공간의 분해 | 상사 · 고유치 문제 · 케일리-해밀턴 정리 · 대각화( 대각행렬) · 삼각화 · 조르당 분해 | ||
| 벡터의 연산 | 내적 · 외적( 신발끈 공식) · 다중선형형식 · [math(boldsymbolnabla)] · 크로네커 델타 | ||
| 내적공간 | 그람-슈미트 과정 · 수반 연산자( 에르미트 내적) | ||
| 다중선형대수 | 텐서 · 텐서곱 · 레비치비타 기호 | }}}}}}}}} | |
1. 개요
norm수학 용어로 노음이라고 하는 경우도 있으며 대한수학회의 표준용어로는 노름이지만 대부분은 그냥 '놈'
거리의 일반화가 거리함수(distance function, 혹은 metric)라면 노름은 크기의 일반화다. 실수의 크기(절댓값)를 [math(\lvert x \rvert)]로 표현하듯, 벡터의 크기(노름)은 일반적으로 [math(\lVert\bold{x}\rVert)] 라고 표현한다. 단, 저자에 따라서는 유클리드 공간의 노름을 [math(\lvert\bold{x}\rvert)]로 쓰기도 한다. 노름과 거리함수, 그리고 내적과의 관계는 아래를 참조.
2. 정의
[math(V)]가 복소수 체 [math(F)] 위의 벡터공간이고 함수 [math(f:V \rightarrow \mathbb{R})]가 다음을 모두 만족시킬 때,복소수체 [math(F)]의 임의의 원소 [math(a)]와 벡터공간 [math(V)]의 임의의 원소 [math(\bold{u}, \bold{v})]에 대하여
1. [math(f(a\bold{u}) = |a| \cdot f(\bold{u}))]
1. [math(f(\bold{u} + \bold{v}) \le f(\bold{u}) + f(\bold{v}))][1]
1. 만약 [math(f(\bold{u})=0)]이면 [math(\bold{u})]는 영벡터이다.
이 함수 [math(f)]를 (V 위에서의) 노름(a norm on V)라고 부른다. 노름을 나타내는 함수는 [math(f)]보다는 [math(\left\| \cdot \right\|)]로 표기하는 경우가 많다. 즉, [math(f(\bold{u}) = \left\| \bold{u} \right\|)] 로 표기.1. [math(f(a\bold{u}) = |a| \cdot f(\bold{u}))]
1. [math(f(\bold{u} + \bold{v}) \le f(\bold{u}) + f(\bold{v}))][1]
1. 만약 [math(f(\bold{u})=0)]이면 [math(\bold{u})]는 영벡터이다.
세가지 성질 중 1,2번만 만족하는 경우는 반노름(seminorm)이라고 한다.[2]
3. 성질
노름의 중요한 성질 중 하나는 물론 그 값이 항상 0보다 크거나 같다는 것이다. 이는 다음과 같이 정의의 1번과 2번 공리로부터 유도된다. 따라서 3번 공리를 따르지 않는 반노름도 [math(f(\bold{u})\geq 0)]이 항상 설립한다.우선 정의 문단의 1번 공리에 의해 [math(f(\bold{0})= f(0\cdot\bold{0})= 0f(\bold{0})= 0 )] 이다.[3] 다시 1번 공리에 의해, 임의의 [math(\bold{u}\in V)]에 대해 [math(f(\bold{-u})= \lvert -1\rvert f(\bold{u})= f(\bold{u}))]가 성립한다. 이제 임의의 [math(\bold{u}\in V)]를 생각하면, [math(0= f(\bold{0})= f(\bold{u}- \bold{u})\leq f(\bold{u})+ f(-\bold{u})= f(\bold{u})+ f(\bold{u})= 2f(\bold{u}))] 이다. 여기서 부등식은 2번 공리, 즉 삼각부등식이다. 양변을 2로 나누면 결과를 얻는다.
4. 예시
4.1. 절댓값 노름
우리가 흔히 알고 있는 a의 절댓값 [math(|a|)]은 1차원 유클리드 공간(=수직선)에서의 노름으로 볼 수 있다.[4]4.2. lp 노름
p가 1이상일 때,[math(\displaystyle \left\|\bold{x}\right\|_p = \sqrt[p]{|x_1|^p + |x_2|^p + \cdots + |x_n|^p} = \left( \sum_{k=1}^{n} |x_k|^p \right)^{1/p})]
4.2.1. 유클리드 노름
n차원 유클리드 공간(=좌표평면)에서의 노름은 유클리드 노름(Euclidean norm)이라고 부르고 다음과 같이 정의한다.[math(\displaystyle \left\|\bold{x}\right\|_2 = \sqrt{{x_1}^2 + {x_2}^2 + \cdots + {x_n}^2} = \sqrt{ \sum_{k=1}^{n} {x_k}^2 })]
lp 노름에서 p=2의 꼴이다.어디서 많이 본 듯한 모양이라면 정답이다. 평면좌표(n=2)나 공간좌표(n=3)에서 원점과 점 [math(\bold{x} = \left( x_1, x_2, \cdots, x_n \right))] 사이의 거리이다. 이 노름에서 유도되는 거리 함수가 유클리드 공간에서 일반적으로 정해지는 거리 함수이며, 유클리드 거리 함수(Euclidean metric)라고 칭한다. 옛 문헌에는 피타고라스 거리 함수(Pythagorean metric)라고 표기된 문헌도 존재하지만 지금은 사장된 표현.
4.2.2. 택시 노름
Taxicab norm. 다른 이름은 맨해튼 노름(Manhattan norm)으로, 다음과 같이 정의한다.[math(\left\|\bold{x}\right\|_1 = |x_1| + |x_2| + \cdots + |x_n| = \displaystyle\sum_{k=1}^{n} {|x_k|})]
lp 노름에서 p=1의 꼴이다.덧붙여 설명하자면, (0, 0)에서 (1, 1)까지 움직이고 싶을 때 대각선으로 가로질러 가는 거리는 유클리드 노름으로 계산하지만, 만약에 그 사이에 밑면의 한 변의 크기가 1인 정사각형 모양의 빌딩이 있고 田자 모양의 도로망이 있을 때에는 ㄱ자 형태로 가로 1, 세로 1만큼, 총 2의 거리를 가야 한다. 이 거리를 계산하는 방법이 택시 노름이다. 맨해튼의 도로 구조가 위와 같이 격자 모양에 가까워 다른 이름이 맨해튼 노름인 것. 당연히 여기서 유도되는 거리함수 이름은 택시 거리 함수(Taxicab metric) / 맨해튼 거리 함수(Manhattan metric)이다.
이름만 봐서는 재미로 만든 노름으로 생각할 수 있지만, 머신러닝이나 통계학을 전공한다면 L1 정규화(L1 regularization)라는 개념으로 자주 마주치게 될 것이다.
4.2.3. 상한 노름[5]
lp 노름에서 p를 무한대로 보내면 얻는 노름으로[math(\left\|\bold{x}\right\|_{\infty} = \max(|x_1|, |x_2|, \cdots, |x_n|) )]
즉 주어진 성분 중 최대값을 노름으로 삼는 방식이다. 상한 거리 함수, 혹은 최대 거리 함수(max metric)가 이 노름에서 정의된다.5. 내적 및 거리함수와의 관계
내적이 정의되면 노름은 그 내적에서 [math(\lVert\bold{x}\rVert:= \sqrt{\langle\bold{x},\bold{x}\rangle})]에 의해 자연스럽게 정의된다.[6] 그 역은 성립하지 않는다. 즉, 노름이 있다고 해서 그에 자연스럽게 대응되는 내적이 항상 존재하는 것은 아니다.한편, 노름이 정의되면 거리함수(distance function 혹은 metric) [math(d(\cdot, \cdot): V\times V\to\mathbb{R})]가 다음에 의해 자연스럽게[7] 정의된다. [math(d(\bold{x}, \bold{y}):= \lVert \bold{x}- \bold{y}\rVert)]. 그 역은 성립하지 않는다. 즉, 거리함수가 있다고 해서 그에 자연스럽게 대응하는 노름이 항상 존재하는 것은 아니다. 심지어 거리함수는 벡터공간이 아니라도 정의될 수 있다.[8]
노름은 위와 같은 '자연스러운' 거리함수(the norm-induced metric) 뿐만 아니라 다른 거리함수도 만들 수 있다. [math(d(\bold{x}, \bold{y}):= \lVert \bold{x}\rVert + \lVert \bold{y} \rVert)] 라 정의하고, 단 [math(\bold{x}= \bold{y})]일 때 [math(d(\bold{x}, \bold{y})= 0)]라 하면, 이것도 거리함수의 공리를 만족하며, 흔히 우체국 거리(post office metric)라고 불린다. 왜 이 이름이 붙었는지 이해하려면, 원점에 단 하나의 우체국이 있고, [math(\bold{x})]에서 [math(\bold{y})]로 편지를 보낼 때 우체국을 거쳐 편지가 이동하는 거리가 [math(d(\bold{x}, \bold{y}))]라고 생각해보자.
6. 바나하 공간(Banach Space)
노름 공간 [math(V)] 가 다음 조건을 만족할 때 이를 바나하 공간(혹은 바나흐 공간)이라 한다.완비성(Completeness) : 노름공간의 임의의 코시수열이 그 노름공간상의 한 점으로 수렴한다.
이에 관련된 -
Q: 노랗고, 선형이며, 노름이 있는 완비공간은?
A: 바나나하 공간.
참고로 선형공간은 벡터공간을 의미하며, 노름이 정의된 벡터공간은 노름공간이며, 완비 노름공간은 바나하 공간이다.A: 바나나하 공간.
[1]
흔히 '삼각부등식'이라고 부르는 것.
[2]
반노름의 예로는 [math(\lVert\bold{u}\rVert= 0~\forall\bold{u})]라는 자명한 경우가 있다. 또한, 비가역행렬 (정확히는 rank-deficient) [math(A)]를 고정하고 [math(\lVert\bold{u}\rVert^* = \lVert A\bold{u}\rVert)]라고 정의한다면 새로운 함수 [math(\lVert\cdot\rVert^*)]는 반노름이 된다.
[3]
3번은 이것의 역일 뿐, 이것을 함의하지 않음에 유의하자.
[4]
어떻게 보면 노름은
절댓값의 개념을 확장시켰다고 볼 수도 있기 때문에 당연하다고 볼 수 있다.
[5]
하한은 seminorm을 이룬다.
[6]
[math(\lVert\cdot\rVert)] is the norm induced by [math(\langle\cdot,\cdot\rangle)]. 유일성을 의미하는 the 가 붙었음을 유의하자. 이는 해당 내적과 관련된 노름이 유일하다는 의미가 아니라, [math(\lVert\cdot\rVert)]가 딱 이 유명한 노름을 가리킨다는 의미다.
[7]
이 문단과 윗 문단의 '자연스럽다'는 말은 사실 '2, 3차원 유클리드 공간의 직관을 확장했다'는 말이라는 것을 깨달을 수 있을 것이다.
[8]
예컨대 임의의 집합에서 함수 [math(d(x, y))]를 [math(x= y)]라면 0, 그 외에는 1의 값을 가지도록 한다면, 이는 거리함수의 공리를 만족한다. 이를 이산거리함수(discrete metric)이라 부른다.
[9]
링크 7번 항목