Оценка максимального правдоподобия квадратичный риск. Метод максимального правдоподобия точечной оценки неизвестных параметров вероятностных распределений. Условный метод максимального правдоподобия

Задача оценки параметров распределения заключается в получении наиболее правдоподобных оценок неизвестных параметров распределения генеральной совокупности на основании выборочных данных. Кроме метода моментов для определения точечной оценки параметров распределения используется также метод наибольшего правдоподобия . Метод наибольшего правдоподобия был предложен английским статистиком Р. Фишером в 1912 г.

Пусть для оценки неизвестного параметра  случайной величины Х из генеральной совокупности с плотностью распределения вероятностей p (x )= p (x , ) извлечена выборка x 1 ,x 2 ,…,x n . Будем рассматривать результаты выборки как реализацию n -мерной случайной величины (X 1 ,X 2 ,…,X n ). Рассмотренный ранее метод моментов для получения точечных оценок неизвестных параметров теоретического распределения не всегда дает наилучшие оценки. Методом поиска оценок, обладающих необходимыми (наилучшими) свойствами, является метод максимального правдоподобия.

В основе метода максимального правдоподобия лежит условие определения экстремума некоторой функции, называемой функцией правдоподобия.

Функцией правдоподобия ДСВ Х

L (x 1 ,x 2 ,…,x n ; )=p (x 1 ; ) p (x 2 ; )… p (x n ; ),

где x 1, …, x n – фиксированные варианты выборки,  – неизвестный оцениваемый параметр, p (x i ; ) – вероятность события X = x i .

Функцией правдоподобия НСВ Х называют функцию аргумента :

L (x 1 ,x 2 ,…,x n ; )=f (x 1 ; ) f (x 2 ; )… f (x n ; ),

где f (x i ; ) – заданная функция плотности вероятности в точках x i .

В качестве точечной оценки параметров распределения  принимают такое его значение при котором функция правдоподобия достигает своего максимума. Оценку
называютоценкой максимального правдоподобия . Т.к. функции L и
L достигают своего максимума при одинаковых значениях , то обычно для нахождения экстремума (максимума) используют
L как более удобную функцию.

Для определения точки максимума
L надо воспользоваться известным алгоритмом для вычисления экстремума функции:

В том случае, когда плотность вероятности зависит от двух неизвестных параметров –  1 и  2 , то находят критические точки, решив систему уравнений:

Итак, согласно методу наибольшего правдоподобия, в качестве оценки неизвестного параметра  принимается такое значение *, при котором
распределения выборкиx 1 ,x 2 ,…,x n максимальна.

Задача 8. Найдем методом наибольшего правдоподобия оценку для вероятностиp в схеме Бернулли,

Проведем n независимых повторных испытаний и измерим число успехов, которое обозначим m . По формуле Бернулли вероятность того, что будет m успехов из n –– есть функция правдоподобия ДСВ.

Решение : Составим функцию правдоподобия
.

Согласно методу наибольшего правдоподобия, найдем такое значение p , которое максимизирует L , а вместе с ней и ln L .

Тогда логарифмируя L , имеем:

Производная функции lnL по p имеет вид
и в точке экстремума равна нулю. Поэтому, решив уравнение
, имеем
.

Проверим знак второй производной
в полученной точке:

. Т.к.
при любых значениях аргумента, то найденное значениеp есть точка максимума.

Значит, – наилучшая оценка для
.

Итак, согласно методу наибольшего правдоподобия, оценкой вероятности p события А в схеме Бернулли служит относительная частота этого события .

Если выборка x 1 , x 2 ,…, x n извлечена из нормально распределенной совокупности, то оценки для математического ожидания и дисперсии методом наибольшего правдоподобия имеют вид:

Найденные значения совпадают с оценками этих параметров, полученными методом моментов. Т.к. дисперсия смещена, то ее необходимо умножить на поправку Бесселя. Тогда она примет вид
, совпадая с выборочной дисперсией.

Задача 9 . Пусть дано распределение Пуассона
где приm = x i имеем
. Найдем методом наибольшего правдоподобия оценку неизвестного параметра .

Решение :

Составив функцию правдоподобия L и ее логарифм ln L . Имеем:

Найдем производную от lnL :
и решим уравнение
. Полученная оценка параметра распределения примет вид:
Тогда
т.к. при
вторая частная производная
то это точка максимума. Т.о., в качестве оценки наибольшего правдоподобия параметра для распределения Пуассона можно принять выборочное среднее.

Можно убедиться, что припоказательном распределении
функция правдоподобия для выборочных значенийx 1 , x 2 , …, x n имеет вид:

.

Оценка параметра распределения  для показательного распределения равна:
.

Достоинством метода наибольшего правдоподобия является возможность получить «хорошие» оценки, обладающие такими свойствами, как состоятельность, асимптотическая нормальность и эффективность для выборок больших объемов при самых общих условиях.

Основным недостатком метода является сложность решения уравнений правдоподобия, а также то, что не всегда известен анализируемый закон распределения.

непрерывная случайная величина с плотностью Вид плотности известен, но неизвестны значения параметров Функцией правдоподобия называется функция (здесь - выборка объема п из распределения случайной величины £). Легко видеть, что функции правдоподобия можно придать вероятностный смысл, а именно: рассмотрим случайный вектор компоненты которого независимые в совокупности одинаково распределенные случайные величины с законом Д(ж). Тогда элемент вероятности вектора Е имеет вид т.е. функция правдоподобия связана с вероятностью получения фиксированной выборки в последовательности экспериментов П. Основная идея метода правдоподобия состоит в том, что в качестве оценок параметров А предлагается взять такие значения (3), которые доставляют максимум функции правдоподобия при данной фиксированной выборке, т. е. предлагается считать выборку, полученную в эксперименте, наиболее вероятной. Нахождение оценок параметров pj сводится к решению системы к уравнений (к - число неизвестных параметров): Поскольку функция log L имеет максимум в той же точке, что и функция правдоподобия, то часто систему уравнений правдоподобия (19) записывают в виде В качестве оценок неизвестных параметров Д следует брать решения системы (19) или (20), действительно зависящие от выборки и не являющиеся постоянными. Вслучае, когда £ дискретна с рядом распределения, функцией правдоподобия называют функцию и оценки ищут как решения системы Метод максимального правдоподобия или эквивалентной ей Можно показать, что оценки максимального правдоподобия обладают свойством состоятельности. Следует отмстить, что метод максимального правдоподобия приводит к более сложным вычислениям, нежели метод моментов, но теоретически он более эффективен, так как оценки максимального правдоподобия меньше уклоняются от истинных значений оцениваемых параметров, чем оценки, полученные по методу моментов. Для наиболее часто встречающихся в приложениях распределений оценки параметров, полученные по методу моментов и по методу максимального правдоподобия, в большинстве случаев совпадают. Пршир 1. Отклонение (размера детали от номинала является нормально распределенной случайной личиной. Требуется по выборке определить систематическую ошибку и дисперсию отклонения. М По условию (- нормально распределенная случайная величина с математическим ожиданием (систематическая ошибка) и дисперсией, подлежащими оценке по выборке объема п: Х\>...уХп. В этом случае Функция правдоподобия Система (19) имеет вид Отсюда, исключай решения, не зависящие от Хх, получаем т е. оценки максимального правдоподобия в этом случае совпадают с уже известными нам эмпирическими средним и дисперсией > Пример 2. Оценить по выборке параметр /i экспоненциально распределенной случайной величины. 4 Функция правдоподобия имеет вид Уравнение правдоподобия приводит нас к решению совпадающему с оценкой этого же параметра, полученной по методу моментов, см. (17). ^ Пример 3. Пользуясь методом максимального правдоподобия, оценить вероятность появления герба, если при десяти бросаниях монеты герб появился 8 раз. -4 Пусть подлежащая оценке вероятность равна р. Рассмотрим случайную величину (с рядом распределения. Функция правдоподобия (21) имеет вид Метод максимального Уравнение правдоподобия дает в качестве оценки неизвестной вероятности р частоту появления герба в эксперименте Заканчивая обсуждение методов нахождения оценок, подчеркнем, что, даже имея очень большой объем экспериментальных данных, мы все равно не можем указать точного значения оцениваемого параметра, более того, как уже неоднократно отмечалось, получаемые нами оценки близки к истинным значениям оцениваемых параметров только «в среднем» или «в большинстве случаев». Поэтому важной статистической задачей, которую мы рассмотрим далее, является задача определения точности и достоверности проводимого нами оценивания.

До сих пор мы считали, что оценка неизвестного параметра известна и занимались изучением ее свойств с целью использования их при построении доверительного интервала. В этом параграфе рассмотрим вопрос о способах построения оценок.

Методы правдоподобия

Пусть требуется оценить неизвестный параметр, вообще говоря, векторный, . При этом предполагается, что вид функции распределения известен с точностью до параметра,

В таком случае все моменты случайной величины становятся функциями от:

Метод моментов требует выполнения следующих действий:

Вычисляем k «теоретических» моментов

По выборке строим k одноименных выборочных моментов. В излагаемом контексте это будут моменты

Приравнивая «теоретические» и одноименные им выборочные моменты, приходим к системе уравнений относительно компонент оцениваемого параметра

Решая полученную систему (точно или приближенно), находим исходные оценки. Они, конечно, являются функциями от выборочных значений.

Мы изложили порядок действий, исходя из начальных - теоретических и выборочных - моментов. Он сохраняется при ином выборе моментов, начальных, центральных или абсолютных, который определяется удобством решения системы (25.1) или ей подобной.

Перейдем к рассмотрению примеров.

Пример 25.1. Пусть случайная величина распределена равномерно на отрезке [ ; ] , где - неизвестные параметры. По выборке () объема n из распределения случайной величины. Требуется оценить и.

В данном случае распределение определяется плотностью

1) Вычислим первые два начальных «теоретических» момента:

2) Вычислим по выборке два первых начальных выборочных момента

3) Составим систему уравнений

4) Из первого уравнения выразим через

и подставим во второе уравнение, в результате чего придём к квадратному уравнению

решая которое, находим два корня

Соответствующие значения таковы

Поскольку по смыслу задачи должно выполнятся условие < , выбираем в качестве решения системы и оценок неизвестных параметров

Замечая, что есть не что иное, как выборочная дисперсия, получаем окончательно

Если бы мы выбрали в качестве «теоретических» моментов математическое ожидание и дисперсию, то пришли бы к системе (с учетом неравенства <)

которая линейна и решается проще предыдущей. Ответ, конечно, совпадает с уже полученным.

Наконец, отметим, что наши системы всегда имеет решение и при том единственное. Полученные оценки, конечно, состоятельны, однако свойствам несмещенности не обладают.

Метод максимального правдоподобия

Изучается, как и прежде, случайная величина, распределение которой задается либо вероятностями её значений, если дискретна, либо плотностью распределения, если непрерывна, где - неизвестный векторный параметр. Пусть () - выборка значений. Естественно в качестве оценки взять то значение параметра, при котором вероятность получения уже имеющейся выборки максимальна.

Выражение

называют функцией правдоподобия , она представляет собой совместное распределение или совместную плотность случайного вектора с n независимыми координатами, каждая из которых имеет то же распределение (плотность), что и.

В качестве оценки неизвестного параметра берется такое его значение, которое доставляет максимум функции, рассматриваемой как функции от при фиксированных значениях. Оценку называют оценкой максимального правдоподобия . Заметим, что зависит от объема выборки n и выборочных значений

и, следовательно, сама является случайной величиной.

Отыскание точки максимума функции представляет собой отдельную задачу, которая облегчается, если функция дифференцируема по параметру.

В этом случае удобно вместо функции рассматривать её логарифм, поскольку точки экстремума функции и её логарифма совпадают.

Методы дифференциального исчисления позволяют найти точки, подозрительные на экстремум, а затем выяснить, в какой из них достигается максимум.

С этой целью рассматриваем вначале систему уравнений

решения которой - точки, подозрительные на экстремум. Затем по известной методике, вычисляя значения вторых производных

по знаку определителя, составленного из этих значений, находим точку максимума.

Оценки, полученные по методу максимального правдоподобия, состоятельны, хотя могут оказаться смещенными.

Рассмотрим примеры.

Пример 25.2. Пусть производится некоторый случайный эксперимент, исходом которого может быть некоторое события А, вероятность Р(А) которого неизвестна и подлежит оцениванию.

Введем случайную величину равенством

если событие А произошло,

если событие А не произошло (произошло событие).

Распределение случайной величины задается равенством

Выборкой в данном случае будет конечная последовательность (), где каждое из может быть равно 0 либо 1.

Функция правдоподобия будет иметь вид

Найдем точку её максимума по р, для чего вычислим производную логарифма

Обозначим - это число равно количеству единиц «успехов» в выбранной последовательности.

Приравняем полученную производную к нулю

и решим полученное уравнение

Поскольку производная меняет знак с «+» на «-» при возрастании р от 0 до 1, точка есть точка максимума функции L, а - оценка максимального правдоподобия параметра р. Заметим, что отношение есть частота появления события А в первых n испытаниях.

Поскольку m есть число «успехов» в последовательности n независимых испытаний (в схеме Бернулли), то, и - несмещенная оценка. В силу закона больших чисел Бернулли стремится по вероятности к р, и оценка состоятельна.

Пример 25.3. Построим оценки неизвестных математического ожидания и дисперсии нормально распределенной случайной величины с параметрами.

Р е ш е н и е.

В условиях примера случайная величина определяется плотностью распределения

Сразу выпишем логарифм функции правдоподобия

Составим систему уравнений для нахождения экстремальных точек

Из первого уравнения находим, из второго, подставляя найденное значение, находим.

Вычислим вторые производные функции lnL в точке ():

А = ,В = ,С = .

Поскольку определитель

а А < 0, то найденная точка в самом деле точка максимума функции правдоподобия.

Заметим, что оценка есть выборочное среднее (несмещенная и состоятельная оценка математического ожидания), а - выборочная дисперсия (смещенная оценка дисперсии).

Аннотация: Цель работы: практически освоить метод максимального правдоподобия для точечной оценки неизвестных параметров заданного вероятностного распределения случайной величины. Среда программирования - MATLAB.

Теоретическая часть

Метод максимального или наибольшего правдоподобия предложен Р. Фишером [ , 13 ]. С помощью этого метода производится точечная оценка неизвестных параметров априорно известного закона распределения случайной величины.

Рассмотрим сначала суть метода при оценке параметров дискретного распределения случайной величины .

Обозначим вероятность того, что в результате испытания величина примет значение , через .

Определение . Функцией правдоподобия случайной дискретной величины называют функцию аргумента :

где - фиксированные числа, полученные при измерении случайной величины .

В качестве точечной оценки параметра принимают такое его значение , при котором функция правдоподобия достигает максимума. Оценку называют оценкой максимального правдоподобия .

Для упрощения расчетов в рассмотрение вводится логарифм функции правдоподобия , которую называют логарифмической функцией правдоподобия . Функции и достигают максимума при одном и том же значении своего аргумента, поэтому вместо отыскания максимума функции ищут максимум функции . Записывая необходимое условие экстремума функции правдоподобия в случае скалярного параметра, получаем уравнения правдоподобия

(7.2)

(7.3)

где - заданная выборка случайных величин.

Уравнение правдоподобия (7.3) с логарифмической функцией, как правило, более простое относительно функции правдоподобия (7.2).

Если распределение случайной величины зависит от вектора параметров , то уравнение (7.3) заменяется системой уравнений

(7.4)

Именно уравнения (7.3) и (7.4) принято называть уравнениями правдоподобия . Во многих случаях решение системы (7.4), являющейся, как правило, нелинейной, приходится искать численными методами.

Рассмотрим применение метода максимального правдоподобия для оценки параметров непрерывного распределения случайных величин генеральной совокупности .

Пусть - непрерывная случайная величина , которая в результате испытаний приняла значения . Предполагается, что вид плотности распределения задан, но неизвестен параметр , которым определяется эта функция .

Определение . Функцией правдоподобия непрерывной случайной величины называют функцию аргумента

где - фиксированные числа.

Оценку максимального правдоподобия неизвестного параметра распределения непрерывной случайной величины ищут так же, как в случае дискретной величины.

Замечание . Если плотность распределения непрерывной случайной величины определяется двумя неизвестными параметрами и , то функция правдоподобия является функцией двух независимых аргументов и :

Как для дискретных распределений, так и для непрерывных точку максимума логарифмической функции распределения аргумента можно искать через необходимое условие экстремума :

Найденную точку максимума принимают в качестве оценки максимального правдоподобия параметра .

Метод максимального правдоподобия имеет ряд достоинств: его оценки, вообще говоря, состоятельны (но они могут быть смещенными), распределены асимптотически нормально (при больших значениях приближенно нормально) и имеют наименьшую дисперсию по сравнению с другими асимптотически нормальными оценками; если для оцениваемого параметра существует эффективная оценка , то уравнение правдоподобия имеет единственное решение ; этот метод наиболее полно использует данные выборки об оцениваемом параметре, поэтому он особенно полезен в случае малых выборок. Недостаток метода состоит в том, что он часто требует сложных вычислений.

Практическая часть

1. Оценка параметра экспоненциального распределения

Рассматривается пример поиска методом максимального правдоподобия оценки параметра экспоненциального распределения случайной величины, для которой функция плотности имеет вид

(7.7)

К характеристикам экспоненциального распределения относятся математическое ожидание и дисперсия :

(7.8)

(7.9)

Замечание . Во встроенных функциях MATLAB параметром экспоненциального распределения является математическое ожидание случайной величины.

Возможная программная реализация точечной оценки параметра экспоненциального распределения:

clear,clc,close all %%% Проверка на закрытие диалоговых окон try global h11 close(h11); end try global n11 close(n11); end try global v11 close(v11) end %% ВВОД ТЕОРЕТИЧЕСКОГО ПАРАМЕТРА РАСПРЕДЕЛЕНИЯ options.Resize = "on"; options.WindowStyle = "modal"; %%"normal"; options.Interpreter = "tex"; P1 = inputdlg({"\bfВвод параметра:......................................................"},... sprintf("Теоретическая величина параметра"),1,{"1.23"},options); %% ПРЕОБРАЗОВАНИЕ К СТРОКОВОЙ ПЕРЕМЕННОЙ P2 = char(P1); %% ПРЕОБРАЗОВАНИЕ К ЧИСЛУ С ДВОЙНОЙ ТОЧНОСТЬЮ P0 = str2num(P2); %% КОНТРОЛЬ ВВОДА ПАРАМЕТРА if isempty(P0) h11 = errordlg("Параметр должен быть действительным положительным числом!","Ошибка ввода"); return end %% КОНТРОЛЬ ВВОДА ПАРАМЕТРА global h11 if P0 <= 0 | ~isreal(P0) | ~isfinite(P0) h11 = errordlg("Параметр должен быть конечным действительным положительным числом!","Ошибка ввода"); return end % ВВОД ЧИСЛА ПРОГОНОВ ПРОГРАММЫ n1 = inputdlg({"\bfВвод числа прогонов программы.........................."},... "Число прогонов программы",1,{"10"}, options); % ПРЕОБРАЗОВАНИЕ К ЧИСЛОВОЙ ПЕРЕМЕННОЙ n = str2num(char(n1)); %% Контроль ввода цифр if isempty(n) global n11 n11 = errordlg("Число прогонов программы должно быть целым положительным числом!", "Ошибка ввода"); return end if ~isreal(n) | ~isfinite(n) global n11 n11 = errordlg("Число прогонов программы должно быть целым положительным числом!", "Ошибка ввода"); return end %% Контроль целого положительного числа циклов if n <= 0 | n ~= round(n) global n11 n11 = errordlg("Число прогонов программы должно быть целым положительным числом!", "Ошибка ввода"); return end % ВВОД ЧИСЛА ИЗМЕРЕНИЙ СЛУЧАЙНОЙ ВЕЛИЧИНЫ v1 = inputdlg({"\bfВвод числа измерений случайной величины..................................."},... "Число измерений случайной величины",1,{"1234"}, options); % ПРЕОБРАЗОВАНИЕ К ЧИСЛОВОЙ ПЕРЕМЕННОЙ v = str2num(char(v1)); if isempty(v) global v11 v11 = errordlg("Число измерений должно быть положительным целым числом!","Ошибка ввода"); return end if ~isreal(v) | ~isfinite(v) global v11 v11 = errordlg("Число измерений должно быть положительным целым числом!","Ошибка ввода"); return end % КОНТРОЛЬ ЦЕЛОГО ЧИСЛА ИЗМЕРЕНИЙ % СЛУЧАЙНОЙ ВЕЛИЧИНЫ if v <= 0 | v ~= round(v) global v11 v11 = errordlg("Число измерений должно быть положительным целым числом!","Ошибка ввода"); return end syms m k = 0; %% ЦИКЛ ЗАДАННОГО ЧИСЛА ПРОГОНОВ ПРОГРАММЫ for I = 1:n k=k+1; %% ФОРМИРОВАНИЕ ЧИСЛА ИЗМЕРЕНИЙ СЛУЧАЙНОЙ ВЕЛИЧИНЫ t = exprnd(1/P0,v,1); %% ФОРМИРОВАНИЕ ФУНКЦИИ МАКСИМАЛЬНОГО %% ПРАВДОПОДОБИЯ L = m^(length(t))*exp(-m*sum(t)); %% ЛОГАРИФМИЧЕСКАЯ ФУНКЦИЯ МАКСИМАЛЬНОГО %% ПРАВДОПОДОБИЯ Lg = log(L); %% ДИФФЕРЕНЦИРОВАНИЕ dLg = diff(Lg,m); %% ПРЕОБРАЗОВАНИЕ СИМВОЛЬНОЙ ПЕРЕМЕННОЙ К СТРОКОВОЙ dLg = char(dLg); %% РЕШЕНИЕ УРАВНЕНИЯ ОТНОСИТЕЛЬНО ОЦЕНИВАЕМОГО %% ПАРАМЕТРА as1(k) = double(solve(dLg)); %% УСРЕДНЕНИЕ ОЦЕНИВАЕМОГО ПАРАМЕТРА as(k) = mean(as1); end %% ОКОНЧАНИЕ ЦИКЛА ЗАДАННОГО ЧИСЛА ПРОГОНОВ ПРОГРАММЫ mcp = mean(as); %% ВЫВОД РЕЗУЛЬТАТОВ В КОМАНДНОЕ ОКНО fprintf("\n\t%s%g\n \t%s%g\n","Теоретический параметр: ",P0,... "Оценка параметра: ", mcp) fprintf("\tОтносительная погрешность: %g%s\n",abs(P0-mcp)/P0*100,"%") %% ГРАФИЧЕСКИЕ ПОСТРОЕНИЯ figure(1) %% set(gcf,"position",) plot(1:n,as1,"r:","linew",2),grid off,hold on, plot(1:n,as,"linew",2), title(sprintf("%s%g","\bfТеоретический параметр\fontsize{12} \lambda\fontsize{10} = ",P0)) xlabel("\bf Количество циклов"), ylabel("\bf Эмпирический параметр\fontsize{14} \lambda"), legend("\bf Измеряемая величина\fontsize{12} \lambda",... "\bf Средняя величина\fontsize{12} \lambda"), set(gcf,"color","w") %% ПОСТРОЕНИЕ ТЕОРЕТИЧЕСКОЙ И ЭМПИРИЧЕСКОЙ %% ФУНКЦИИ ПЛОТНОСТИ t = 0: 0.1: 4; y1 = P0*exp(-P0*t); %exppdf(t,1/P0); % встроенная функция y2 = mcp*exp(-mcp*t); %exppdf(t,1/mcp); figure(2) plot(t, y1, "r", "linew",2), hold on plot(t, y2, "bo", "linew",2) grid off legend("\bf Теоретическая функция плотности (PDF)",... "\bf Эмпирическая функция плотности"), text(t(end)/3,2/3*max(max()),["\bf",... sprintf("Теоретический параметр: %g\n Эмпирический параметр: %g",P0,mcp)]) xlabel("\bf Случайная величина"), ylabel("\bf Функция плотности"), set(gcf,"color","w")

Сущность задачи точечного оценивания параметров

ТОЧЕЧНАЯ ОЦЕНКА ПАРАМЕТРОВ РАСПРЕДЕЛЕНИЯ

Точечная оценка предполагает нахождение единственной числовой величины, которая и принимается за значение параметра. Такую оценку целесообразно определять в тех случаях, когда объем ЭД достаточно велик. Причем не существует единого понятия о достаточном объеме ЭД, его значение зависит от вида оцениваемого параметра (к этому вопросу предстоит вернуться при изучении методов интервальной оценки параметров, а предварительно будем считать достаточной выборку, содержащую не менее чем 10 значений). При малом объеме ЭД точечные оценки могут значительно отличаться от истинных значений параметров, что делает их непригодными для использования.

Задача точечной оценки параметров в типовом варианте постановки состоит в следующем.

Имеется: выборка наблюдений (x 1 , x 2 , …, x n ) за случайной величиной Х . Объем выборки n фиксирован.

Известен вид закона распределения величины Х , например, в форме плотности распределения f(Θ , x), где Θ – неизвестный (в общем случае векторный) параметр распределения. Параметр является неслучайной величиной.

Требуется найти оценку Θ* параметра Θ закона распределения.

Ограничения: выборка представительная.

Существует несколько методов решения задачи точечной оценки параметров, наиболее употребительными из них являются методы максимального (наибольшего) правдоподобия, моментов и квантилей.

Метод предложен Р. Фишером в 1912 г. Метод основан на исследовании вероятности получения выборки наблюдений (x 1 , x 2, …, x n) . Эта вероятность равна

f(х 1 , Θ) f(х 2 , Θ) … f(х п, Θ) dx 1 dx 2 … dx n .

Совместная плотность вероятности

L(х 1 , х 2 …, х n ; Θ) = f(х 1 , Θ) f(х 2 , Θ) … f(х n , Θ), (2.7)

рассматриваемая как функция параметра Θ , называется функцией правдоподобия .

В качестве оценки Θ* параметра Θ следует взять то значение, которое обращает функцию правдоподобия в максимум. Для нахождения оценки необходимо заменить в функции правдоподобия Т на q и решить уравнение

dL/d Θ* = 0.

Для упрощения вычислений переходят от функции правдоподобия к ее логарифму lnL . Такое преобразование допустимо, так как функция правдоподобия – положительная функция, и она достигает максимума в той же точке, что и ее логарифм. Если параметр распределения векторная величина

Θ* =(q 1 , q 2 , …, q n),

то оценки максимального правдоподобия находят из системы уравнений

d ln L(q 1 , q 2 , …, q n) /d q 1 = 0;

d ln L(q 1 , q 2 , …, q n) /d q 2 = 0;

. . . . . . . . .

d ln L(q 1 , q 2 , …, q n) /d q n = 0.

Для проверки того, что точка оптимума соответствует максимуму функции правдоподобия, необходимо найти вторую производную от этой функции. И если вторая производная в точке оптимума отрицательна, то найденные значения параметров максимизируют функцию.

Итак, нахождение оценок максимального правдоподобия включает следующие этапы: построение функции правдоподобия (ее натурального логарифма); дифференцирование функции по искомым параметрам и составление системы уравнений; решение системы уравнений для нахождения оценок; определение второй производной функции, проверку ее знака в точке оптимума первой производной и формирование выводов.

Решение. Функция правдоподобия для выборки ЭД объемом n

Логарифм функции правдоподобия

Система уравнений для нахождения оценок параметров

Из первого уравнения следует:

или окончательно

Таким образом, среднее арифметическое является оценкой максимального правдоподобия для математического ожидания.

Из второго уравнения можно найти

Эмпирическая дисперсия является смещенной. После устранения смещения

Фактические значения оценок параметров: m =27,51, s 2 = 0,91.

Для проверки того, что полученные оценки максимизируют значение функции правдоподобия, возьмем вторые производные

Вторые производные от функции ln(L(m,S )) независимо от значений параметров меньше нуля, следовательно, найденные значения параметров являются оценками максимального правдоподобия.

Метод максимального правдоподобия позволяет получить состоятельные, эффективные (если таковые существуют, то полученное решение даст эффективные оценки), достаточные, асимптотически нормально распределенные оценки. Этот метод может давать как смещенные, так и несмещенные оценки. Смещение удается устранить введением поправок. Метод особенно полезен при малых выборках.