Максимиза́ция и минимиза́ция фу́нкций конечного числа переменных, задача поиска экстремума функции $f(x)$, $x=\left(x^1, \ldots, x^n\right) \in X \subseteq \mathbb{R}^n$; под этой задачей понимается:

1) нахождение $\bar{f}=\sup _{x \in X} f(x)$ или $\underline{f}=\inf _{x \in X} f(x)$;

2) отыскание точек максимума или минимума, если $\bar{f}$ или $\underline{f}$ достигаются на допустимом множестве;

3) построение максимизирующей последовательности $\left\{x_i\right\}$ или минимизирующей последовательности $\left\{x_i\right\}$ таких, что$$\lim _{i \rightarrow \infty} f\left(x_i\right)=\bar{f}, \quad \lim _{j \rightarrow \infty} f\left(x_j\right)=\underline{f},$$если $\bar{f}$ или $\underline{f}$ недостижимы на $X$.

Исследованием экстремумов функций дискретных аргументов занимается дискретное программирование и целочисленное программирование. Ниже освещены только методы максимизации и минимизации функций непрерывных аргументов.

Классические (непрямые) методы максимизации и минимизации функций применимы только для гладких функций. Они используют необходимое условие экстремума для поиска стационарных точек. Нули производных $\frac{\partial f}{\partial x^\alpha}$, $\alpha=1, \ldots, n$, вычисляются на практике чаще всего одним из многочисленных методов последовательных приближений (Берёзин. 1966). С другой стороны, каждую задачу решения конечных функциональных уравнений вида$$\varphi_m\left(x^1, \ldots, x^n\right)=0, \quad m \leqslant n,$$можно интерпретировать как задачу максимизации и минимизации функций, например функции$$f(x)=\varphi_1^2(x)+\ldots+\varphi_m^2(x) \longrightarrow \min,$$и применить для решения последней один из специфических методов максимизации и минимизации функций.

Прямые методы максимизации и минимизации функций основываются на непосредственном сравнении значений $f(x)$ в двух или нескольких точках.

Для практического отыскания экстремумов применяются итеративные алгоритмы вида:$$x_{i+1}=\hat{X}\left(i, x_i, x_{i-1}, \ldots, x_{i-j}\right),$$где $i$ – номер итерации, а $\hat{X}(\cdot)$ – некоторый оператор. При этом обычно предполагается:

1) сходимость алгоритма в том или ином смысле, чаще всего в смысле$$x_{\infty}=\bar{x}\left(x_{\infty}=\underline{x}\right) \text { или } f\left(x_{\infty}\right)=\bar{f}\left(f\left(x_{\infty}\right)=\underline{f}\right);$$2) локальность итерационной процедуры, т. е. $j \ll i$ [$j=o(i)$ при $i \rightarrow \infty$]; алгоритм «помнит» значения $x$ только для итераций в некоторой окрестности текущего положения $x_i$. При $j \equiv 0$ получается простой марковский вычислительный процесс без памяти.

Оператор $\hat{X}(\cdot)$ может быть детерминированным в детерминированных методах или содержать стохастические параметры. В вычислительной практике стохастические методы часто сочетают с детерминированными: например, в методе покоординатного спуска направление спуска может определяться случайным образом. Вероятностные характеристики стохастических параметров, в свою очередь, могут меняться от итерации к итерации (поиск с адаптацией и «самообучением», случайный поиск).

Широко применяют и комбинирование различных детерминированных методов, к которому относятся последовательное и параллельное вычисление экстремума несколькими методами, композиции алгоритмов вида $\widehat{X}=\widehat{X}_2\left(\hat{X}_1(\cdot)\right)$ и т. п. Например, метод Левенберга – Марквардта$$x_{i+1}=x_i-\left(\alpha_i \nabla \nabla f\left(x_j\right)+\beta_i I\right)^{-1} \nabla f\left(x_i\right),$$который при $\alpha_i=0$ совпадает с градиентным методом, а при $\beta_i=0$ с методом Ньютона.

Одномерная оптимизация, т. е. максимизация и минимизация функций $f(x)$, $x \in \mathbb{R}^1$, помимо самостоятельного интереса, является необходимым этапом большинства применяемых методов. К специфически одномерным относятся, например, метод Фибоначчи, метод половинного деления (метод дихотомии), метод парабол. Методами максимизации и минимизации функций многих переменных являются градиентный метод, метод наискорейшего спуска, метод покоординатного спуска, симплексный поиск, метод сканирования, метод сопряжённых градиентов, метод тяжёлого шарика, метод установления и др.

Алгоритмы большинства из перечисленных методов укладываются в схему метода спуска (подъёма):$$x_{i+1}=x_i \mp \varkappa_i y_i,$$причём $f\left(x_{i+1}\right) \leqslant f\left(x_i\right)$ или $f\left(x_{i+1}\right) \geqslant f\left(x_i\right)$ для всех $i$ (условие релаксации). Они различаются между собой либо выбором вектора направления $y_i$ спуска, либо выбором способов движения вдоль вектора спуска, определяемым шаговым множителем $\text\ae$.

Овражные методы разработаны для функций, рельеф которых имеет вид «оврагов с крутыми склонами» (см. в статье Методы минимизации овражных функций). Ординарные (неовражные) методы, будучи применёнными здесь, дают извилистый релаксационный путь, требующий чрезмерно больших затрат машинного времени для вычисления экстремума.

Сравнительная эффективность методов оценивается по многим и противоречивым критериям. Сюда входят: точность решения, скорость решения, надёжность метода, время подготовки задачи к счёту, сходимость алгоритма и др. Область применения каждого из апробированных методов весьма ограничена.

Для испытания методов разработаны наборы стандартных тест-функций, характерных для различных функциональных классов (Аоки. 1977). Усиленно исследуется сходимость методов максимизации и минимизации функций (Карманов. 1975; Пшеничный. 1975). Однако сходимость – это качество, которое не является ни необходимым, ни достаточным для эффективного окончания вычислений.

Все перечисленные выше методы приводят к одному из локальных экстремумов, если начальное приближение принадлежит области притяжения точки этого экстремума. Нахождение глобального экстремума гарантируется лишь для выпуклых и родственных им унимодальных функций. Теория отыскания глобального экстремума находится (1982) в начальной стадии развития (см. в статье Многоэкстремальная задача). Другим развивающимся направлением максимизации и минимизации функций является оптимизация негладких функций (Васильев. 1974; Федоров. 1979). В частности, к негладкой функции, как правило, приводит задача минимизации функции максимума (см. в статье Максимин; численные методы). По-видимому, все общеупотребительные методы оптимизации имеют содержательный физический, экономический или биологический смысл. Соответствующие исследования только разворачиваются (Разумихин. 1975) и приводят к созданию новых методов (см. также в статье Непрерывные аналоги итерационных методов). Если значения исследуемой функции определяются статистически со стохастической помехой, то для отыскания экстремума применяется один из методов стохастической аппроксимации. Сюда же примыкает и планирование эксперимента.

Экспериментальные методы максимизации и минимизации функций используют воспроизведение различных физических процессов для поиска экстремумов. К ним относится и моделирование на $\operatorname{ABM}$ (Towards global optimisation. 1975–1978). Несмотря на удобство и дешевизну использования в простейших автоматических оптимизаторах, последнее не обеспечивает высокой точности вычисления.

Графические методы пригодны только для прикидочных расчётов и построения начального приближения для итеративных методов.

Если допустимое множество задано в виде функциональных условий$$\varphi_m(x) \leqslant 0$$(связи и ограничения, условный экстремум), то для поиска экстремумов применяются методы математического программирования. Эта же задача может быть сведена к последовательности задач на безусловный экстремум с помощью штрафных и барьерных функций (см. в статье Метод штрафных функций).