Статисти́ческие зада́чи тео́рии случа́йных проце́ссов, раздел математической статистики, посвящённый статистическим выводам на основе наблюдений, представимых в виде случайного процесса. В самой общей постановке наблюдаются значения случайной функции $x(t)$ для $t\in T$ и на основании этих наблюдений надлежит сделать статистические выводы о некоторых характеристиках случайного процесса $x(t)$. При столь широком определении сюда формально включается и вся классическая статистика независимых наблюдений. На самом деле под статистикой случайных процессов понимают только статистику зависимых наблюдений, исключая, например, статистический анализ большого числа независимых реализаций случайного процесса. При этом основания статистической теории, основные постановки задач (статистическое оценивание, проверка статистических гипотез), основные понятия (достаточность, несмещённость, состоятельность и т. д.) те же, что и в классической теории. Однако при решении конкретных задач возникают порой значительные трудности и явления нового порядка. Частично эти трудности связаны с наличием зависимости, более сложной структуры наблюдаемого процесса, частично, в случае наблюдений с непрерывным временем, – с необходимостью рассматривать распределения в бесконечномерных пространствах.

При решении статистических задач теории случайных процессов существенно используется структура наблюдаемого процесса и в соответствии с классификацией случайных процессов рассматриваются статистические задачи гауссовских, марковских, стационарных, ветвящихся, диффузионных и т. д. процессов. При этом наиболее далеко продвинута статистическая теория стационарных процессов (анализ временны́х рядов).

Необходимость статистического анализа случайных процессов возникла в 19 в. [анализ метеорологических, экономических рядов, исследование циклических процессов (колебания цен, солнечные пятна)]. В настоящее время круг задач, связанных со статистическим анализом случайных процессов, чрезвычайно широк. Достаточно упомянуть статистический анализ случайных шумов, вибраций, турбулентных явлений, морского волнения, кардиограмм, энцефалограмм и т. д. Теоретические аспекты проблемы выделения сигнала на фоне шума в значительной степени являются статистической задачей теории случайных процессов.

В дальнейшем предполагается, что наблюдается отрезок $x(t)$, $0 \leqslant t \leqslant T$, случайного процесса $x(t)$, причём параметр $t$ пробегает либо весь отрезок $[0, T]$, либо целые числа этого отрезка. Обычно в статистических задачах о распределении $P^T$ случайного процесса $\{x(t), 0 \leqslant t \leqslant T\}$ известно лишь, что оно принадлежит некоторому семейству $\{P^T\}$ распределений. Это семейство всегда можно записать в параметрической форме.

Пример 1. Наблюдаемый процесс $x(t)$ представляет собой либо сумму неслучайной функции $s(t)$ («сигнал») и случайной функции $\xi(t)$ («шум»), либо одну случайную функцию $\xi(t)$. Надлежит проверить гипотезу $H_0:x(t)=s(t)+\xi(t)$ против альтернативы $H_1:x(t)=\xi(t)$ (задача обнаружения сигнала в шуме). Это пример задачи проверки статистических гипотез.

Пример 2. Наблюдаемый процесс $x(t)=s(t)+\xi(t)$, где $s(t)$ – неизвестная наблюдателю неслучайная функция (сигнал), а $\xi(t)$ – случайный процесс (шум). Надлежит оценить функцию $s$ или её значение $s(t_0)$ в заданной точке $t_0$. Сходным образом можно предположить, что $x(t)=s(t;\theta)+\xi(t)$, где $s$ – известная функция, зависящая от неизвестного параметра $\theta$, который и нужно оценить по наблюдению $x(t)$ (задачи выделения сигнала на фоне шума). Это примеры задач оценивания.

Отношение правдоподобия для случайных процессов

В статистических задачах отношение правдоподобия и функция правдоподобия играют большую роль (см. Лемма Неймана – Пирсона, Проверка статистических гипотез, Статистическое оценивание). Отношением правдоподобия двух распределений $P_u^T$ и $P_v^T$ называется плотность

$$p(x(\cdot); u, v)=p(x(\cdot))=\frac{d P_u^T}{d P_v^T}(x(\cdot)) .$$Функцией правдоподобия называют функцию

$$L(\theta)=\frac{d P_\theta^T}{d \mu}(x(\cdot)),$$где $\mu$ есть $\sigma$-конечная мера, относительно которой абсолютно непрерывны все меры $P_\theta^T$. В дискретном случае, когда $t$ пробегает целые точки отрезка $[0, T]$ и $T<\infty$, отношение правдоподобия, например, всегда существует, если распределения $P_u$ и $P_v$ имеют положительные плотности распределения, совпадая с отношением этих плотностей.

Если $t$ пробегает весь отрезок $[0, T]$, то возможны случаи, когда меры $P_u^T$ и $P_v^T$ не абсолютно непрерывны относительно друг друга; более того, встречаются ситуации, когда меры $P_u^T$ и $P_v^T$ взаимно сингулярны, т. е. для некоторого множества $A$ в пространстве реализаций $x(t)$

$$P_u^T\{x\in A\}=0, \quad P_v^T\{x\in A\}=1 .$$В этом случае $p(x ; u, v)$ не существует. Сингулярность мер $P_\theta^T$ приводит к важным и в какой-то степени парадоксальным статистическим следствиям, позволяя делать безошибочные выводы о параметре $\theta$. Пусть, например, $\Theta=\{0,1\}$; сингулярность мер $P_0^T$, $P_1^T$ означает, что с помощью критерия «принять $H_0$, если $x \notin A$, отвергнуть $H_0$, если $x\in A$» гипотезы $H_0:\theta=0$ и $H_1:\theta=1$ разделяются безошибочно. Наличие таких совершенных критериев часто указывает, что статистическая задача поставлена не совсем удачно и из неё исключены какие-то существенные случайные возмущения.

Пример 3. Пусть $x(t)=\theta+\xi(t)$, где $\xi(t)$ – стационарный эргодический процесс с нулевым средним, $\theta$ – действительный параметр. Пусть реализации $\xi(t)$ с вероятностью $1$ аналитичны в полосе, содержащей действительную ось. По эргодической теореме

$$\lim _{T\to\infty} \frac1T \int_0^T x(t) dt=\theta$$и все меры $P_\theta^{\infty}$ взаимно сингулярны. Т. к. аналитическая функция $x(t)$ полностью определяется своими значениями в окрестности нуля, параметр $\theta$ оценивается безошибочно по наблюдениям $\{x(t), 0\leqslant t\leqslant T\}$ для любого $T>0$.

Вычисление отношения правдоподобия в тех случаях, когда оно существует, – трудная задача. Вычисления часто основаны на предельном соотношении

$$p(x(\cdot) ; u, v)=\lim _{n \to \infty} \frac{p_n(x(t_1),\ldots,x(t_n))}{p_v(x(t_1), \ldots, x(t_n))},$$где $p_u$, $p_v$ – плотности распределения вектора $(x(t_1),\ldots,x(t_n))$, а $\{t_1, t_2, \ldots\}$ – плотное в $[0, T]$ множество. Исследование правой части последнего равенства полезно и при доказательстве сингулярности $P_u$, $P_v$.

Пример 4. Пусть либо наблюдение $x(t)=w(t)$, где $w(t)$ – винеровский процесс (гипотеза $H_0$), либо $x(t)=m(t)+w(t)$, $m$ – неслучайная функция (гипотеза $H_1$). Меры $P_0$, $P_1$ взаимно абсолютно непрерывны, если $m^{\prime}\in L_2(0,T)$, и взаимно сингулярны, если $m^{\prime}\notin L_2(0,T)$. Отношение правдоподобия

$$\frac{d P_1^T}{d P_0^T}(x)=\exp \left\{-\frac12 \int_0^T[m^{\prime}(t)]^2 dt +\int_0^T m^{\prime}(t) dx(t)\right\} .$$Пример 5. Пусть $x(t)=\theta+\xi(t)$, где $\theta$ – действительный параметр, а $\xi(t)$ – стационарный марковский гауссовский процесс с нулевым средним и известной корреляционной функцией $r(t)=e^{-\alpha|t|}$, $\alpha>0$.$$\begin{aligned} & \frac{d P_\theta^T}{d P_\theta^0}(x)=\exp \left\{\frac12 \theta x(0)+\frac12 \theta x(T)+\right. \\ & \left.+\frac12 \theta\alpha \int_0^T x(t) dt-\frac12 \theta^2-\frac14 \theta^2 \alpha T\right\} . \end{aligned}$$Меры $P_\theta^T$ взаимно абсолютно непрерывны с функцией правдоподобия

$$\begin{aligned} & \frac{d P_\theta^T}{d P_\theta^0}(x)=\exp \left\{\frac12 \theta x(0)+\frac12 \theta x(T)+\right. \\ & \left.+\frac12 \theta\alpha \int_0^T x(t) dt-\frac12 \theta^2-\frac14 \theta^2 \alpha T\right\} . \end{aligned}$$В частности, $x(0)+x(T)+\alpha\int_0^T x(t) dt$ – достаточная статистика для семейства $P_\theta^T$.

Линейные задачи статистики случайных процессов

Пусть наблюдается функция

$$x(t)=\sum_1^k \theta_j \varphi_j(t)+\xi(t), \tag{*}$$где $\xi(t)$ – случайный процесс с нулевым средним и известной корреляционной функцией $r(t, s)$, $\varphi_j$ – известные неслучайные функции, $\theta=(\theta_1,\ldots,\theta_k)$ – неизвестный параметр ($\theta_j$ – коэффициенты регрессии), параметрическое множество $\Theta$ – подпространство $R^k$. Линейные оценки для $\theta_j$ суть оценки вида $\sum c_j x(t_j)$ или их пределы в среднем квадратичном. Задача отыскания оптимальных в среднем квадратичном несмещённых линейных оценок сводится к решению линейных алгебраических или линейных интегральных уравнений, определяемых $r$. Именно такая оптимальная оценка $\hat{\theta}$ определяется уравнениями $\mathsf{E}_\theta \left(\hat{\theta}_j \xi\right)=0$ для любой величины $\xi$ вида $\xi=\sum b_j x(t_j)$, $\sum b_j \varphi_l(t_j)=0$. В ряде случаев оценки $\theta$, полученные по методу наименьших квадратов асимптотически, при $T \to \infty$, не хуже оптимальных линейных оценок. Оценки метода наименьших квадратов вычисляются проще и не зависят от $r$.

Пример 6. В условиях примера 5, $k=1$, $\varphi_1(t) \equiv 1$. Оптимальная несмещённая линейная оценка имеет вид

$$\hat{\theta}=\frac1{2+\alpha T}\left(x(0)+x(T)+\alpha\int_0^T x(t) dt\right).$$Оценка

$$\theta^*=\frac1T \int_0^T x(t) d t$$имеет асимптотически ту же дисперсию.

Статистические задачи гауссовских процессов

Пусть процесс $\{x(t), 0\leqslant t\leqslant T, P_\theta^T\}$ – гауссовский при всех $\theta\in\Theta$. Для гауссовских процессов имеет место альтернатива: любые две меры $P_u^T$, $P_v^T$ либо взаимно абсолютно непрерывны, либо сингулярны. Т. к. гауссовское распределение $P_\theta^T$ полностью определяется средним значением $m_\theta(t)=\mathsf{E}_\theta x(t)$ и корреляционной функцией $r_\theta(s, t)=\mathsf{E}_\theta x(s) x(t)$, отношение правдоподобия $dP_u^T/ dP_v^T$ выражается через $m_u$, $m_v$, $r_u$, $r_v$ сложным образом. Относительно прост тот случай, когда $r_u=r_v=r$, $r$ – непрерывная функция. Именно: пусть $\Theta=\{0,1\}$, $r_0=r_1=r$; $\lambda_i$ и $\varphi_i(t)$ – собственные значения и соответствующие им нормированные в $L_2(0, T)$ собственные функции интегрального уравнения

$$\lambda \varphi(s)=\int_0^T r(s, t) \varphi(t) dt;$$средние $m_0(t)$, $m_1(t)$ – непрерывные функции и пусть

$$m_{i j}=\int_0^T m_i(t) \varphi_i(t) dt .$$Меры $P_0$, $P_1$ абсолютно непрерывны в том и только в том случае, если

$$\sum_{j=1}^{\infty}(m_{0 j}-m_{1 j})^2 \lambda_j^{-1}<\infty.$$При этом

$$\begin{aligned} & \frac{d P_1^T}{d P_0^T}(x)=\exp \left\{\sum_{j=1}^{\infty} \frac{m_{1 j}-m_{0 j}}{\lambda_j} \times\right. \\ & \left.\times\left(\int_0^T x(t) \varphi_j(t) dt-\frac{m_{1 j}-m_{0 j}}{2}\right)\right\} . \end{aligned}$$Последнее равенство можно использовать для построения критерия для проверки гипотезы $H_0: m=m_0$ против альтернативы $H_1: m=m_1$ в предположении, что функция $r$ известна наблюдателю.

Статистические задачи стационарных процессов

Пусть наблюдение $x(t)$ – стационарный процесс со средним $m$ и корреляционной функцией $r(t)$; $f(\lambda)$ и $F(\lambda)$ – его спектральная плотность и спектральная функция. Основные задачи статистики стационарных процессов относятся к проверке гипотез или оцениванию, касающихся тех или иных характеристик $m$, $r$, $f$, $F$. В случае эргодического процесса $x(t)$ состоятельными оценками (при $T\to\infty$) для $m$ и $r(t)$ служат соответственно

$$m^*=\frac1T \int_0^T x(t) dt ,$$$$r^*(t)=\frac1T \int_0^{T-t} x(t+s) x(s) ds .$$Задачу оценки $m$ при известном $r$ часто рассматривают в рамках линейных задач. К этому последнему кругу задач относятся и более общие задачи оценки коэффициентов регрессии по наблюдениям вида (*) со стационарным $\xi(t)$.

Пусть $x(t)$ имеет нулевое среднее и спектральную плотность $f(\lambda; \theta)$, зависящую от конечномерного параметра $\theta\in\Theta$. Если процесс $x(t)$ – гауссовский, можно указать формулы для отношения правдоподобия $dP_\theta / dP_{\theta^0}$ (если последнее существует), которые в ряде случаев позволяют найти оценки максимального правдоподобия или «хорошие» (при больших $T$) приближения к ним. В достаточно широких предположениях эти оценки асимптотически нормальны $\left(\theta, \frac{c(\theta)}{\sqrt{T}}\right)$ и асимптотически эффективны.

Пример 7. Пусть $x(t)$ – стационарный гауссовский процесс с непрерывным временем и рациональной спектральной плотностью $f(\lambda)=\left|\frac{Q(\lambda)}{P(\lambda)}\right|^2$, $P$, $Q$ – многочлены. Меры $P_0^T$, $P_1^T$, отвечающие рациональным спектральным плотностям $f_0$, $f_1$, абсолютно непрерывны в том и только в том случае, если

$$\lim_{\lambda\to\infty} \frac{f_0(\lambda)}{f_1(\lambda)}=1.$$Параметром $\theta$ здесь служит совокупность всех коэффициентов многочленов $P,$ $Q$.

Пример 8. Важный класс стационарных гауссовских процессов образуют процессы авторегрессии $x(t)$:

$$x^{(n)}(t)+\theta_n x^{(n-1)}(t)+\ldots+\theta_1 x(t)=\varepsilon(t),$$где $\varepsilon(t)$ – гауссовский белый шум единичной интенсивности, $\theta=(\theta_1, \ldots, \theta_n)$ – неизвестный параметр. В этом случае спектральная плотность

$$f(\lambda; \theta)=(2\pi)^{-1}|P(i \lambda)|^{-2},$$где

$$P(z)=\theta_1+\theta_2 z+\ldots+\theta_n z^{n-1}+z^n .$$Функция правдоподобия

$$\begin{aligned} \frac{dP_\theta^T}{dP_{\theta^0}^T} =\sqrt{\frac{{K(\theta)}}{K(\theta)^0}} & \exp \left\{\frac{\theta_n-\theta_n^0}{T}-\right. \\ -\frac12 & \sum_{j=0}^{n-1}\left[\lambda_j(\theta)-\lambda_j\left(\theta^0\right)\right] \times \\ & \left.\times \int_0^T\left[x^{(j)}(t)\right]^2 dt-\frac12\left(\lambda(\theta)-\lambda\left(\theta^0\right)\right)\right\}. \end{aligned}$$Здесь $\lambda_j(\theta)$, $\lambda(\theta)$ суть квадратичные формы от $\theta$, зависящие от значений $x^{(j)}(t)$, $j=1,2,\ldots,(n-1)$, в точках $t=0$, $T$; $K(\theta)$ – определитель корреляционной матрицы вектора $(x(0), x^{(1)}(0),\ldots,x^{(n-1)}(0))$.

Оценки максимального правдоподобия для параметра авторегрессии $\theta$ асимптотически нормальны и асимптотически эффективны. Теми же свойствами обладает и решение $\theta_T^*$ приближённого уравнения правдоподобия

$$\frac1{2 T} \sum_{j=0}^{n-1} \frac{\partial \lambda_j(\theta)}{\partial \theta_i} \int_0^T[x^{(j)}(t)]^2 dt= \begin{cases}0, & 1\leqslant i<n, \\ \frac12, & i=n .\end{cases}$$Важную роль при статистическом исследовании спектра стационарного процесса играет периодограмма $I_T(\lambda)$. Эта статистика определяется как

$$\begin{aligned} & I_T(\lambda)=\frac1{2 \pi T}\left|\sum_{t=0}^T e^{-i t \lambda} x(t)\right| \text { (время дискретно), } \\ & I_T(\lambda)=\frac1{2 \pi T}\left|\int_0^T e^{-i t \lambda} x(t) dt\right|^2 \text { (время непрерывно). } \end{aligned}$$Периодограмма широко используется для построения различного рода оценок для $f(\lambda)$, $F(\lambda)$ и критериев для проверки гипотез об этих характеристиках. В широких предположениях статистики $\displaystyle\int I_T(\lambda)\varphi(\lambda) \,d\lambda$ являются состоятельными оценками для $\displaystyle\int f(\lambda)\varphi(\lambda)\, d\lambda$. В частности, $\displaystyle\int_\alpha^\beta I_T(\lambda)\,d\lambda$ служат оценкой для $F(\beta)-F(\alpha)$. Если последовательность $\varphi_T(\lambda; \lambda_0)$ сходится подходящим образом к $\delta$ функции $\delta(\lambda-\lambda_0)$, то интегралы $\displaystyle\int \varphi_T(\lambda; \lambda_0) I_T(\lambda) \,d\lambda$ будут состоятельными оценками для $f(\lambda_0)$. Часто в качестве функций $\varphi_T(\lambda; \lambda_0)$ выбирают функции вида $a_T \psi(a_T(\lambda-\lambda_0))$, $a_T\to\infty$. Если $x(t)$ – процесс с дискретным временем, эти оценки можно записать в виде

$$\frac{1}{2 \pi} \sum_{t=-T+1}^{T-1} e^{-i t \lambda} r^*(t) c_T(t),$$где эмпирическая корреляционная функция

$$r^*(t)=\frac{1}{T} \sum_{u=0}^{T-t} x(u+t) x(u),$$а неслучайные коэффициенты $c_T(t)$ определяются выбором $\psi$, $a_T$. Последний выбор, в свою очередь, зависит от априорных сведений о $f(\lambda)$. Аналогичное представление имеет место и для процессов с непрерывным временем.

Иногда к задачам статистического анализа стационарных процессов относят и задачи экстраполяции, интерполяции и фильтрации стационарных процессов.

Статистические задачи марковских процессов

Пусть наблюдения $X_0,X_1,\ldots,X_T$ связаны в однородную цепь Маркова. При достаточно широких предположениях функция правдоподобия

$$\frac{dP_\theta^T}{d\mu^T}=p_0(X_0; \theta) p(X_1 \mid X_0; \theta) \ldots p(X_T \mid X_{T-1}, \theta),$$где $p_0$, $p$ – начальная и переходная плотности распределения. Это выражение сходно с функцией правдоподобия для последовательности независимых наблюдений и при соблюдении условий регулярности (гладкость по $\theta\in\Theta\subset R^k$) можно построить теорию оценивания и проверки гипотез, аналогичную соответствующей теории для независимых наблюдений.

Более сложная ситуация возникает, если $x(t)$ – марковский процесс с непрерывным временем. Пусть $x(t)$ – однородный марковский процесс с конечным числом состояний $N$ и дифференцируемыми вероятностями перехода $P_{i j}(t)$. Матрица вероятностей перехода определяется матрицей $Q=\|q_{i j}\|$, $q_{i j}=P_{i j}^{\prime}(0)$, $q_i=-q_{i i}$. Пусть в начальный момент $x(0)=i_0$ независимо от $Q$. Выбирая какую-нибудь матрицу $Q_0=\left\|q_{i j}^0\right\|$, находят

$$\begin{aligned} \frac{dP_Q^T}{dP_{Q_0}^T}(x)=\exp \left\{\left(q_{i_n}^0-\right.\right. & \left.\left.q_{i_n}\right) T\right\} \cdot \prod_{\nu=0}^{n-1} \frac{q_{j_\nu j_{\nu+1}}}{q_{j_\nu j_{\nu+1}}^0} \times \\ & \times \exp \left\{t_\nu\left(q_{i_n}-q_{i_\nu}-q_{i_\nu}^0+q_{i_n}^0\right)\right\} . \end{aligned}$$Здесь статистики $n(x)$, $t_\nu(x)$, $j_\nu(x)$ определяются следующим образом: $n$ – это число скачков $x(t)$ на интервале $[0, T)$, $\tau_\nu$ – момент $\nu$-го скачка, $t_\nu=\tau_{\nu+1}-\tau_\nu$, $z_\nu=x(\tau_\nu)$. Из указанного выражения выводятся оценки максимального правдоподобия для параметров $q_{i j} : q_{i j}^*=\frac{m_{i j}}{\mu_i}$, где $m_{i j}$ – число переходов из $i$ в $j$ на отрезке $[0, T)$, а $\mu_i$ – время, проведённое процессом $x(t)$ в состоянии $i$.

Пример 9. Пусть $x(t)$ – процесс рождения и гибели с постоянными интенсивностями размножения $\lambda$ и гибели $\mu$. Это значит, что $q_{i, i+1}=i \lambda$, $q_{i, i-1}=i \mu$, $q_{i i}=1-i(\lambda+\mu)$, $q_{i j}=0$, если $|i-j|>1$. В этом примере число состояний бесконечно. Пусть $x(0) \equiv 1$. Отношение правдоподобия

$$\begin{gathered} \frac{dP_{\lambda \mu}^T}{dP_{\lambda_0, \mu_0}^T}(x)= \\ =\left(\frac{\lambda}{\lambda_0}\right)^B\left(\frac{\mu}{\mu_0}\right)^D \exp \left\{-\left(\lambda+\mu-\lambda_0-\mu_0\right) \int_0^T x(s) ds\right\} . \end{gathered}$$Здесь $B$ – общее число рождений (скачков размера $+1$), $D$ – смертей (скачков размера $-1$). Оценки максимума правдоподобия для $\lambda$ и $\mu$:

$$\lambda_T^*=\frac1B \int_0^T x(s)\,ds, \quad \mu_T^*=\frac1D \int_0^T x(s)\,ds.$$Пусть $x(t)$ – диффузионный процесс с коэффициентом сноса $a$ и коэффициентом диффузии $b$, так что $x(t)$ удовлетворяет следующему стохастическому дифференциальному уравнению

$$dx(t)=a(t, x(t)) dt+b(t, x(t)) dw(t), \; x(0)=x_0,$$где $w$ – винеровский процесс. Тогда при определённых ограничениях

$$\begin{gathered} \frac{dP_{a, b}^T}{dP_{a_0 b}^T}(x)=\exp \left\{-\int_0^T(b(t, x(t))^{-1}(a(t, x(t))- a_0(t, x(t)) \,dx(t)\right.+\\ +\frac12 \left.\int_0^T(b(t, x(t))^{-1}(a(t, x(t)-a_0(t, x(t))^2 \,dt\right\} \end{gathered}$$(здесь $a_0$ – фиксированный коэффициент).

Пример 10. Пусть

$$dx(t)=a(t, x(t); \theta) dt+dw,$$$a$ – известная функция, $\theta$ – неизвестный действительный параметр. Если обозначить через $\mu$ меру Винера, то функция правдоподобия

$$\frac{dP_\theta^T}{d\mu}=\exp \left\{\int_0^T a(t, x(t); \theta) dx-\frac12 \int_0^T a^2(t, x(t); \theta) \,dt\right\}$$и при условиях регулярности выполняется неравенство Крамера – Рао: для оценки $\tau$ со смещением $\Delta(\theta)=\mathsf{E}_\theta \tau-\theta$

$$\mathsf{E}_\theta|\tau-\theta|^2 \geqslant \frac{\left(1+\frac{d\Delta}{d \theta}\right)^2}{\mathsf{E}_\theta \int_0^T\left[\frac{\partial}{\partial \theta} a(t, x(t); \theta)\right]^2 dt}+\Delta^2(\theta).$$Если зависимость от $\theta$ линейная, оценки максимального правдоподобия

$$\left.\theta_T^*=\int_0^T a(t, x(t)) dt\left(\int_0^T a^2(t, x(t)) dt\right)\right)^{-1}.$$