Сло́жная фу́нкция, функция, представленная как композиция нескольких функций. Если множество значений $Y_i$ функции $f_i$ содержится во множестве определения $X_{i+1}$ функции $f_{i+1}$, т. е.

$$f_i: X_i \rightarrow Y_i \subset X_{i+1},\quad i=1,2, \ldots, n-1,$$то функция

$$f_n \circ f_{n-1} \circ \ldots \circ f_1,\quad n \geqslant 2,$$определяемая равенством

$$\left(f_{{n}} \circ f_{n-1} \circ \ldots \circ f_1\right)(x)=f_n\left(f_{n-1}\left(\ldots\left(f_1(x)\right) \ldots\right)\right),\quad x \in X_{1},$$называется сложной функцией или $(n-1)$-кратной композицией (суперпозицией) функций $f_1, f_2, \ldots, f_n$. Например, всякая рациональная функция любого числа переменных является композицией четырёх арифметических действий, т. е. композицией функций $x+y$, $x-y$, $x y$, $x / y$.

Сложная функция сохраняет многие свойства функций, композицией которых она является. Так, композиция непрерывных функций непрерывна. Это означает, что если функция $f_1: X \rightarrow Y$ непрерывна в точке $x_0 \in X$, а функция $f_2: Y \rightarrow Z$ непрерывна в точке $f_1\left(x_0\right) \in Y$, то сложная функция $f_2 \circ f_1$ также непрерывна в точке $x_0$ (здесь $X, Y$ и $Z$ являются, например, топологическими пространствами). Подобным образом, композиция $n$ раз (непрерывно) дифференцируемых функций представляет собой также $n$ раз (непрерывно) дифференцируемую функцию, $n=1,2, \ldots$ Композиция возрастающих (убывающих) функций есть возрастающая (соответственно убывающая) функция. При композиции функций иногда меняются количественные характеристики свойств функций: композиция функций $f_1$ и $f_2$, удовлетворяющих условию Гёльдера некоторых степеней, есть функция, удовлетворяющая условию Гёльдера степени, равной произведению степеней условий Гёльдера, которым удовлетворяют функции $f_{1}$ и $f_2$. Некоторые характеристики функций не сохраняются при композиции. Так, композиция функций, интегрируемых по Риману или по Лебегу, не является, вообще говоря, функцией, интегрируемой по Риману или, соответственно, по Лебегу; композиция абсолютно непрерывных функций может оказаться не абсолютно непрерывной функцией. Вместе с тем, согласно результатам Н. К. Бари и Д. Е. Меньшова (Bary. 1928), композиция трёх абсолютно непрерывных на отрезке функций не приводит к новому классу функций по сравнению с композицией двух абсолютно непрерывных функций. Н. К. Бари (Bary. Pt. 1. 1930; Bary. Pt. 2. 1930) доказала, что любая непрерывная на отрезке функция может быть представлена в виде суммы трёх композиций абсолютно непрерывных функций, и есть такие непрерывные функции, которые не могут быть представлены в виде суммы двух таких композиций. Вместе с тем, всякая непрерывная на отрезке функция является суммой двух композиций функций с ограниченным изменением; однако $n$-кратные композиции функций с ограниченным изменением для каждого $n=1,2, \ldots$ приводят к существенно новым классам функций и существуют однократные композиции функций с ограниченным изменением, не являющиеся непрерывными функциями (Бари. 1933).

Понятие композиции функций представляет собой наиболее широкое понимание термина «представление функции формулой». Задача о представлении функций в виде композиций возникла в связи с отысканием формул для решений алгебраических уравнений. Всякий корень уравнения степени не выше четвёртой может быть представлен формулой, выражающей его через коэффициенты уравнения и представляющей собой композицию четырёх арифметических действий и радикалов. Всякое уравнение степени $n \geqslant 5$ может быть с помощью подстановки (называемой преобразованием Чирнгаузена) приведено к виду

$$x^n+a_1 x^{n-4}+\ldots+a_{n-4} x+1=0.$$Таким образом, каждый корень уравнения степени $n \geqslant 5$ представляет собой функцию $n-4$ параметров. Задача состоит в выяснении: можно ли эти функции представить в виде композиции алгебраических функций меньшего числа переменных. Одна из 23 проблем Д. Гильберта, поставленных им на Международном конгрессе математиков в Париже в 1900 г., относилась к этой задаче. Именно, 13-я проблема состояла в следующем (Проблемы Гильберта. 1969): представляется ли корень $f$ уравнения

$$f^7+x f^3+y f^2+z f+1=0 \tag{*}$$через коэффициенты $x, y$ и $z$ этого уравнения посредством композиций каких-либо непрерывных функций двух переменных (следует отметить, что всякая функция конечного числа переменных является композицией разрывных функций двух переменных). Д. Гильбертом была показана невозможность получения всех аналитических функций трёх переменных в виде композиций аналитических функций двух переменных. Он же для уравнения 9-й степени доказал (Hilbert. 1927), что решение уравнения 9-й степени можно представить в виде композиции алгебраических функций четырёх переменных (вместо пяти, как это сразу следует из применения преобразования Чирнгаузена). Эти исследования были продолжены многими математиками (Bieberbach. 1931; Чеботарев. 1949; Чеботарев. 1954; Морозов. 1954; Витушкин. 1955; Колмогоров. 1956; Арнольд. 1957; Колмогоров. 1957; Витушкин. 1964).

А. Г. Витушкин в 1954 г. доказал (Витушкин. 1955), что если натуральные числа $m, n, m_1$ и $n_1$ удовлетворяют неравенству $\frac{m}{n}>\frac{m_1}{n_1}$, то можно указать $n$ раз дифференцируемую функцию $m$ переменных, не представимую в виде композиции $n_1$ раз дифференцируемых функций от $m_1$ переменных. В частности, при всяком $n$ можно указать функцию $n$ переменных наперёд заданной гладкости, не представимую композицией функций меньшего числа переменных той же гладкости. В этом смысле среди гладких функций любого числа переменных существуют функции, существенно зависящие от всех своих аргументов.

В 1956 г. А. Н. Колмогоров показал (Колмогоров. 1956), что всякая определённая на $n$-мерном $(n \geqslant 4)$ кубе непрерывная функция является композицией непрерывных функций трёх переменных. Затем В. И. Арнольд уменьшил число переменных с трёх до двух. Именно, он доказал (Арнольд. 1957), что любую непрерывную на кубе функцию трёх переменных можно представить в виде композиции непрерывных функций двух переменных (и даже, более точно, в виде суммы 9 функций, каждая из которых является однократной композицией непрерывных функций двух переменных). Тем самым было показано, что каждая непрерывная на $n$-мерном $(n \geqslant 3)$ кубе функция представима в виде композиции непрерывных функций двух переменных. Это явилось последним словом по опровержению гипотезы Гильберта о невозможности представления корней уравнения (*) в виде композиций непрерывных функций двух переменных. Работы А. Н. Колмогорова и В. И. Арнольда дали, в частности, положительный ответ на вопрос о представимости корней алгебраических уравнений любой степени в виде композиции непрерывных функций не более чем двух переменных. Для композиций аналитических и алгебраических функций аналогичный вопрос не решён. До сих пор (1983) неизвестно, являются ли корни уравнения (*) композицией аналитических функций или нет.

Этот цикл работ завершает следующая теорема Колмогорова (Колмогоров. 1957): любая непрерывная функция $n$ переменных может быть получена с помощью композиций непрерывных функций одного переменного и единственной функции двух переменных $g(x, y)=x+y$; именно, он доказал, что любая функция $f$, непрерывная на $n$-мерном кубе, может быть представлена в виде

$$f\left(x_1, \ldots, x_n\right)=\sum_{i=1}^{2 n+1} h_i\left(\sum_{j=1}^n \varphi_{i j}\left(x_j\right)\right),$$где функция $h_i$ и $\varphi_{i j}$ – непрерывны, а функции $\varphi_{i j}$, кроме того, стандартны, т. е. не зависят от выбора функции $f$.

А. Г. Витушкин показал (Витушкин. 1964), что для любых конечных наборов непрерывных функций $p_k$ и непрерывно дифференцируемых функций $q_k$, зависящих от $n$ переменных $k=1,2, \ldots,m$, $n=1,2, \ldots$, существуют даже аналитические функции $n$ переменных, не представимые композицией вида

$$\sum_{k=1}^m p_k \circ\left(f_k \circ q_k\right),$$где $f_k$ – произвольные непрерывные функции одного переменного.