Ортогонализа́ция (процесс ортогонализации), алгоритм построения для данной линейно независимой системы векторов евклидова или эрмитова пространства $V$ ортогональной системы ненулевых векторов, порождающих то же самое подпространство в $V$. Наиболее известным является процесс ортогонализации Шмидта (или Грама – Шмидта), при котором по линейно независимой системе $a_1, \ldots, a_k$ строится ортогональная система $b_1, \ldots, b_k$ такая, что каждый вектор $b_i(i=1, \ldots, k)$ линейно выражается через $a_1, \ldots, a_i$, т. е. $b_i=\sum_{j=1}^i \gamma_{i j} a_j$, где $C=\left\|\gamma_{i j}\right\|$ – верхняя треугольная матрица. При этом можно добиться того, чтобы система $\left\{b_i\right\}$ была ортонормированной и чтобы диагональные элементы $\gamma_{i j}$ матрицы $C$ были положительны; этими условиями система $\left\{b_i\right\}$ и матрица $C$ определяются однозначно.

Процесс Грама – Шмидта состоит в следующем. Полагают $b_1=a_1$; если уже построены векторы $b_1, \ldots, b_i$, тo

$$b_{i+1}=a_{i+1}+\sum_{j=1}^i \alpha_i b_j,$$где

$$\alpha_j=-\frac{\left(a_{i+1}, b_j\right)}{\left(b_j, b_j\right)}, \quad j=1, \ldots, i,$$
найдены из условия ортогональности вектора $b_{i+1}$ к $b_1, \ldots, b_i$. Геометрический смысл описанного процесса состоит в том, что на каждом шагу вектор $b_{i+1}$ является перпендикуляром, восстановленным к линейной оболочке векторов $a_1, \ldots, a_i$ до конца вектора $a_{i+1}$. Произведение длин $\left|b_1\right| \ldots \left|b_k\right|$ равно объёму параллелепипеда, построенного на векторах системы $\left\{a_i\right\}$ как на рёбрах. Нормируя полученные векторы $b_i$, получают искомую ортонормированную систему. Явное выражение векторов $b_i$ через $a_1, \ldots, a_k$ даёт формула

$$b_i= \begin{vmatrix} (a_1,a_1)&\cdots&(a_1, a_{i-1})&a_1\\ \cdots&\cdots&\cdots&\cdots\\ (a_i,a_1)&\cdots&(a_i, a_{i-1})&a_i \end{vmatrix}$$(определитель в правой части следует формально разложить по последнему столбцу). Соответствующая ортонормированная система имеет вид

$$q_i=\frac{b_i}{\sqrt{\Gamma_{i-1} \Gamma_i}},$$где $\Gamma_i$ – определитель Грама системы $a_1,\ldots, a_j$.

Этот процесс применим также и к счётной системе векторов.

Процесс Грама – Шмидта может быть истолкован как разложение невырожденной квадратной матрицы в произведение ортогональной (или унитарной матрицы в случае эрмитова пространства) и верхней треугольной матрицы с положительными диагональными элементами, что есть частный случай разложения Ивасавы.