Теория вероятностей и математическая статистика. Презентация

Демонстрационная презентация курса
Теория вероятностей и
математическая
статистика
Для студентов Института экономики
СФУ 2011
Т.В. Крупкина
Лекция 1. Введение в теорию
вероятностей
Предметом теории вероятностей является
математический анализ случайных явлений, то
есть разработка и применение математического
аппарата для изучения явлений, имеющих
случайную природу.
Главным обстоятельством, которое определяет
границы применимости теории вероятностей,
является наличие у изучаемых явлений свойства
«статистической устойчивости».
СФУ Т.В. Крупкина
2
Равновозможные исходы
Рассмотрим некоторый опыт с конечным числом
n всевозможных взаимоисключающих друг
друга исходов, которые являются
равновозможными. Пусть А – некоторое
событие, связанное с этим исходом.
Вероятность p(A) можно определить, как долю
тех исходов, в результате которых это событие
осуществляется.
СФУ Т.В. Крупкина
3
Классическое определение
вероятности
Пусть n – число всех исходов, n(A) – число
благоприятных исходов, в результате
которых осуществляется событие A.
n A
P  A 
n
СФУ Т.В. Крупкина
4
Формулы комбинаторики
 Число перестановок
Число перестановок из n элементов равно
Pn  n!
СФУ Т.В. Крупкина
5
Выбор без возвращения
 Число размещений
С помощью этой формулы можно подсчитать,
сколько существует различных способов
выбрать и разместить по различным местам k
из n различных элементов.
Формула числа размещений имеет вид:
k
n
A
n!

( n  k )!
СФУ Т.В. Крупкина
6
Выбор без возвращения
 Число сочетаний
С помощью этой формулы можно подсчитать,
сколько существует различных способов
выбора из n элементов k, не учитывая порядок
элементов в выбранной последовательности.
Формула числа сочетаний имеет вид:
n!
C 
(n  k )! k!
k
n
СФУ Т.В. Крупкина
7
Статистическое определение
вероятности
Пусть
рассматриваемый
опыт
можно
повторять многократно, и пусть N – число
всех повторений опыта, а N(А) – число тех из
них, в которых осуществлялось событие А.
Отношение N(А)/N называется частотой
события А в данной серии испытаний.
СФУ Т.В. Крупкина
8
Статистическое определение
вероятности
Практика показывает, что для многих
событий частота при больших п мало
меняется, колеблясь около некоторого
постоянного значения P*, которое можно
назвать статистической вероятностью
события А,
N  A
P  A 
N

СФУ Т.В. Крупкина
9
Лекция 2. Основания теории
вероятностей
 Пространством элементарных исходов Ω
называется множество, содержащее все
возможные результаты данного случайного
эксперимента, из которых в эксперименте
происходит ровно один. Элементы этого
множества называют элементарными
исходами и обозначают буквой ω.
  1 , 2 ,
, n 
СФУ Т.В. Крупкина
10
 Событиями мы будем называть некоторые
наборы элементарных исходов, то есть
подмножества множества Ω. Говорят, что в
результате эксперимента произошло событие
A, если в эксперименте произошел один из
элементарных исходов, входящих в
множество.
СФУ Т.В. Крупкина
11
Элементарные события
 Достоверное событие  наступает при любом
исходе.
 Невозможное событие не может произойти в
результате эксперимента, оно не происходит
никогда.
 Случайное событие может произойти или не
произойти в результате эксперимента, оно
происходит иногда.
СФУ Т.В. Крупкина
12
Комбинации событий
Рассмотрим комбинации событий, такие, как
сумма, произведение, разность и т.д.
Поскольку события – это множества исходов,
будем использовать соответствующие
определения для множеств.
Сумма событий соответствует объединению
множеств, произведение событий
соответствует пересечению множеств и т.д.
СФУ Т.В. Крупкина
13
Сумма (объединение) событий
Суммой событий A1 и A2 называют событие A,
состоящее в осуществлении хотя бы одного из
событий A1 или A2: A  A  A  A  A
1
A2
2
1
2
A1

Аналогично определяется
A   Ak
СФУ Т.В. Крупкина
k
14
Противоположное событие
Противоположным событием к событию A
называют событие A, состоящее в том, что
событие A не произошло:
A \ A
A
A

СФУ Т.В. Крупкина
15
Вероятность в дискретном
пространстве
 Чтобы определить вероятность любого
события на дискретном пространстве
элементарных исходов, достаточно присвоить
вероятность каждому элементарному исходу.
Тогда вероятность любого события
определяется как сумма вероятностей
входящих в него элементарных исходов.
P( A)   p( i ). (*)
i:i A
СФУ Т.В. Крупкина
16
Несчетное множество исходов
 Но множество исходов не обязательно конечно
или счетно.
 Пусть, например, опыт состоит в выборе точки
из отрезка [0, 1]. Исходом является любая
точка, а множество точек отрезка несчетно.
Как ввести вероятность в этом случае?
 Ответ дает аксиоматика Колмогорова.
СФУ Т.В. Крупкина
17
Аксиоматическое определение
вероятности
Вероятность события есть числовая функция
P(A), удовлетворяющая аксиомам:
1. P  A  0
2. P     1
3. Для несовместных слагаемых { Ai }:
  
P  Ai    P  Ai 
 i 1  i 1
СФУ Т.В. Крупкина
18
Лекция 3.
Исчисление вероятностей
Определение
События A и B называются независимыми,
если
P  AB   P  A P  B  .
СФУ Т.В. Крупкина
19
Условная вероятность
Условной вероятностью события A при
условии, что произошло событие B, называется
число
P AB 
P A | B  
P B 
Считают, что условная вероятность определена
только в случае, когда
P(B) > 0.
СФУ Т.В. Крупкина
20
Теорема сложения
P  A  B   P  A  P  B   P  AB 
 n  n
P  Ai    P  Ai    P  Ai Aj  
1i  j  n
 i 1  i 1

 P  A A A   ...   1
1i  j  k  n
i
j
k
СФУ Т.В. Крупкина
n 1
P  A1... An 
21
Теорема умножения для двух
событий
P  AB   P  A  P  B | A  P  B   P  A | B  ,
если соответствующие условные вероятности
определены
(то есть если P(A) > 0, P(B) > 0).
Доказательство следует из определения
условной вероятности.
СФУ Т.В. Крупкина
22
Теорема (формула полной
вероятности)
Пусть A – случайное событие, H1, H2, …, Hn –
полная группа событий (гипотезы),
P  H i   0,
A
n
Hi .
i 1
Тогда вероятность события А может быть
вычислена по формуле:
n
P A    P H i   P A | H i 
i 1
СФУ Т.В. Крупкина
23
Теорема (формула Байеса)
Пусть A – случайное событие, H1, H2, …, Hn –
n
полная группа событий (гипотезы),
P H i   0,
A   Hi .
i 1
Тогда условная вероятность того, что имело
место событие Hk, если наблюдалось событие
А, может быть вычислена по формуле:
P H k | A  
P H k   P A | H k 
n
 P H   P A | H 
i
i 1СФУ Т.В. Крупкина
i
24
Лекция 4. Схемы испытаний
Схемой испытаний Бернулли называется
последовательность независимых испытаний, в
каждом из которых возможны лишь два
исхода — «успех» и «неудача», при этом
«успех» в одном испытании происходит с
вероятностью p, а «неудача» — с
вероятностью q = 1 – p.
СФУ Т.В. Крупкина
25
Теорема (формула Бернулли)
 Обозначим через m число успехов в n
испытаниях схемы Бернулли. Тогда
Pn m  C p q
m m nm
n
СФУ Т.В. Крупкина
26
Предельные теоремы для схемы
Бернулли
При числе испытаний, превышающем 20,
вычисление точного значения Pn(m)
затруднительно. В этих случаях применяют
приближенные формулы, вытекающие из
предельных теорем.
Различают два случая:
 когда р мало, используют приближение
Пуассона,
 когда р не мало (и не очень близко к единице),
справедливо приближение Муавра –Лапласа.
СФУ Т.В. Крупкина
27
Теорема Пуассона
Если при n  , р  0 так, что np  , 0 <  <
,
то
для
любого
фиксированного
mN
справедливо:
Pn m   C p 1  p 
m
n
m
n m
СФУ Т.В. Крупкина
 p m  
m e  
m!
28
Приближенная формула Пуассона
Pn m   p m  
 e
m

m!
где  = np. Приближенную формулу Пуассона
применяют при
n > 30,
р < 0.1,
0.1 <  = np < 10.
СФУ Т.В. Крупкина
29
Локальная приближенная формула
Муавра –Лапласа
Pn m  
 x m 
npq
m  np
xm 
npq
Локальную приближенную формулу Муавра –
Лапласа применяют при
n > 30, 0.1  p  0.9, nрq > 9.
СФУ Т.В. Крупкина
30
График биномиальных вероятностей при
n=30, p=0,2 и график φ(X)
СФУ Т.В. Крупкина
31
Свойства функции (x)
  x    x 
0.45
0.4
1
 0  
 0.3989
2
lim  x   0
0.35
  4   0.001
0.1
x  
0.3
0.25
0.2
0.15
0.05
0
СФУ Т.В. Крупкина
32
Интегральная приближенная формула
Муавра –Лапласа


m

np
lim p x1 
 x 2   x 2   x1 ,
n 
npq


 x  
x
1
e

2 
t2

2
x
dt    t dt

Интегральную приближенную формулу Муавра –
Лапласа применяют при
n > 30, 0.1  p  0.9, nрq > 9.
СФУ Т.В. Крупкина
33
Свойства функции Ф(x)
 x    x   1
lim x   0
x  
lim x   1
x  
1
 0  
2
 3.8   0.9999
  3.8   0.0001
1
2
Лекция 5.
Дискретные случайные величины
Пусть есть случайный эксперимент,  ─
пространство элементарных событий.
Определение
Случайной величиной  называется функция,
отображающая  в R.
:   R
(То есть  = (ω)).
Смысл: случайная величина – это числовая
функция, принимающая значения случайным
образом.
СФУ Т.В. Крупкина
35
Дискретные распределения
Случайная величина  имеет дискретное
распределение, если она принимает не более
чем счетное число значений.
Значения: a1, a2,…,
Вероятности значений: pi = P( = ai) > 0

 p  1.
i 1
i
СФУ Т.В. Крупкина
36
Ряд распределения
Если случайная величина  имеет дискретное
распределение, то рядом распределения
называется соответствие ai pi, которое имеет
вид :

a1
a2
a3
…
P
p1
p2
p3
…
СФУ Т.В. Крупкина
37
Биномиальное распределение B(n, p)
Случайная величина  имеет биномиальное
распределение с параметрами n и p, где 0  p  1,
если  принимает значения 0, 1, 2, …n с
вероятностями P{ = k} = Cnk pk q n –k.
Случайная величина с таким распределением
имеет смысл числа успехов в n испытаниях схемы
Бернулли
с
вероятностью
успеха
p.

P qn
0
1
…
npqn –1
k
Cnk pk qn –k
СФУ Т.В. Крупкина
… n
pn
38
Пример
 Распределение вероятностей биномиально
распределенной случайной величины для n =
10 и p = 0.2
СФУ Т.В. Крупкина
39
Распределение Пуассона P
Сл. в.  имеет распределение Пуассона с
параметром , где >0, если
 принимает
значения 0, 1, 2,… с вероятностями
P   k  

0
P e

1
e

k
k!
e

…

…
СФУ Т.В. Крупкина
k
…
e 
…
k
k!
40
Функция распределения
Определение
Функцией распределения случайной величины
 называется функция F(x),
при каждом xR равная
F(x) = P{ < x}.
СФУ Т.В. Крупкина
41
Лекция 6.
Непрерывные распределения
Случайная величина  имеет
непрерывное
распределение,
если
существует
неотрицательная функция f(x) такая, что для
любого
x0R
функция
распределения
представима в виде
x0
F  x0    f  x  dt

При этом функция f(x) называется плотностью
распределения случайной величины .
СФУ Т.В. Крупкина
42
Геометрический смысл функции
распределения
СФУ Т.В. Крупкина
43
Равномерное распределение R [a, b]
x  a, b 
 0,
f x    1


b
,
a

x
,
 b  a
xa
 0,
x  a
, axb
F x   
b  a
xb
1,
СФУ Т.В. Крупкина
44
Нормальное распределение N (a,)
1
f  x   a , ( x) 
e
 2
2
xa


2 2
x
1
F  x    a , ( x) 
e

 2 
СФУ Т.В. Крупкина
2
t a 


2 2
dt
45
Нормальное распределение N (a,)
 Графики нормальных плотностей имеют
симметричную, колоколообразную форму.
 а – это величина, которая характеризует
положение кривой плотности на оси абсцисс.
 Изменение  приводит к изменению формы
кривой плотности, с увеличением  кривая
делается менее островершинной и более
растянутой вдоль оси абсцисс.
СФУ Т.В. Крупкина
46
Кривые плотностей N(a, σ) с
различными а и σ
СФУ Т.В. Крупкина
47
Плотность и функция распределения
N(0,1)
Probability Density Function
y=normal(x;0;1)
Probability Distribution Function
p=inormal(x;0;1)
0,6
1,0
0,5
0,8
0,4
0,6
0,3
0,4
0,2
0,2
0,1
0,0
0,0
-3
-2
-1
0
1
2
3
-3
-2
-1
0
1
2
3
Многомерные СВ
n – мерной случайной величиной  называется
вектор (ω)=(1(ω), 2(ω), … , n(ω)),
компонентами которого являются одномерные
случайные величины.
Функцией распределения n–мерной случайной
величины  называется функция
F1,2,…,n(x1, x2, …, xn)= P(1 < x1, …, n < xn)
СФУ Т.В. Крупкина
49
Лекция 7.
Числовые характеристики
Математическим ожиданием M сл. вел.  с
дискретным
распределением,
задаваемым
законом распределения P(=xi) = pi, называется
число
n
M    xi pi
i 1
 Смысл: Математическое ожидание – это
среднее значение случайной величины.
СФУ Т.В. Крупкина
50
Математическое ожидание н.сл.в.
Математическим ожиданием M непрерывно
распределенной сл. в.  с с плотностью
распределения f(x) называется число

M    x f  x  dx.

Математическое ожидание существует, если
M|ξ| < ∞.
Математическое ожидание функции
случайной величины
M [ ( )]    ( xi )  pi ,
i
где pi  p(  xi ).

M  ( )    ( x ) f ( x )dx

Дисперсия случайной величины
 Если случайная величина ξ имеет
математическое ожидание M ξ , то дисперсией
случайной величины ξ называется величина
D ξ = M(ξ - M ξ )2.
 Смысл: Дисперсия случайной величины
характеризует меру разброса случайной
величины около ее математического ожидания.
Числовые характеристики
Распределение
Mξ
Dξ
B(n, p)
np
npq
P
λ
λ
N(a,σ)
a
σ2
R [a, b]
(a+b)/2
(b-a)2/12
E
1/λ
1/λ2
Начальные и центральные моменты
 Начальным моментом k-го порядка случайной
величины ξ называется величина
αk = Mξ k.
 Центральным моментом k-го порядка
случайной величины ξ называется величина
μk, определяемая формулой
μk = M(ξ - Mξ )k.
3
Коэффициент асимметрии A  3  0

Probability Density Function
y=beta(x;14;4)
4,642
3,481
2,321
1,160
0,000
0,535
0,642
0,749
0,855
Коэффициент асимметрии
3
A 3 0

Probability Density Function
y=lognorm(x;0;0,5)
0,994
0,746
0,497
0,249
0,000
0,722
1,444
2,166
2,888
4
E  4 3 0

Коэффициент эксцесса
Probability Density Function
y=laplace(x;0;1)
0,5
0,4
0,3
0,2
0,1
0,0
-3
-2
-1
0
1
2
3
Лекция 8. Линейная зависимость
 Определение. Ковариацией случайной
величины (ξ, η) называется центральный
смешанный момент второго порядка
Kξ,η = cov(ξ, η) = M[(ξ – Mξ)∙(η – Mη)].
Ковариация есть мера линейной зависимости
между ξ, η. Вычисляется по формуле
 cov(ξ, η) = M(ξ∙η) – M ξ∙M η.
Коэффициент корреляции
 Коэффициентом корреляции между
случайными величинами ξ, η называется
число
cov( , )
  , 
  
Свойства коэффициента
корреляции
 1. │ρξη│≤ 1.
 2. Если ξ,η независимы, то ρξη= 0.
 Если │ρξη│=1, то ξ, η линейно зависимы,
то есть существуют такие a и b, что
ξ = aη + b.
Смысл коэффициента корреляции
 Коэффициент корреляции есть мера
линейной зависимости между ξ, η.
 Его модуль указывает на силу линейной
связи
(чем ближе к 1, тем сильнее),
 а знак указывает на направление связи.
Уравнение линейной регрессии
 Уравнением линейной регрессии η на ξ
называется уравнение
ηˆ = aξ + b, параметры которого минимизируют
остаточную дисперсию
S2ост= M (η – ηˆ)2 = M(η – (aξ + b))2.
Смысл. Уравнение линейной регрессии η на ξ
выражает линейную зависимость η от ξ.
Формулы уравнения линейной
регрессии

  M   (  M  ).

  M 
cov( , )
 
2
(  M  ).
СФУ Т.В. Крупкина
64
Лекция 9. Условные распределения
 Пусть (ξ, η) – двумерная случайная величина.
Рассмотрим распределение η при условии, что
ξ = x. Оно называется условным.
 Определение. Условной функцией
распределения случайной величины
η при условии, что ξ = x, называется
Fη/ξ = x = P(η < y/ξ = x).
Нахождение условной функции
распределения
 Условная функция распределения случайной
величины η при условии, что ξ = x
y
 f   ( x, v)dv
,
F/  x (y)  
.
 f   ( x, v)dv
,

Условная плотность
 Если условная функция распределения
случайной величины η при условии, что ξ = x,
непрерывна, то производная от нее называется
условной плотностью распределения
случайной величины η при условии, что ξ = x.
f/  x (y)   
f , ( x, y )
 f  ( x, v)dv
,

.
Условное математическое ожидание
 Условным математическим ожиданием
 M(η/ξ = x) случайной величины η при
условии, что ξ = x, называется
математическое ожидание, найденное с
помощью условного закона распределения.
 Условная функция распределения, условная
плотность, условное математическое
ожидание обладают свойствами функции
распределения, плотности, математического
ожидания соответственно.
Регрессия
 Определение. Регрессией η на ξ называется
случайная величина r(ξ), равная при каждом x
условному математическому ожиданию
случайной величины η при условии, что ξ = x.
 Определение. Линией регрессии называется
линия y = r(x), где
r(x) = M(η/ξ = x).
Корреляционное отношение
 Корреляционным отношением η на ξ называется
числовая характеристика, равная
 2 
M (r ( )  M ) 2
 
2
 Смысл: корреляционное отношение
измеряет силу зависимости η от ξ
Лекция 10. Предельные теоремы
 Неравенство Маркова. Для любого ε > 0
P(|  |   ) 
M | |

k
k
Неравенство Чебышева. Для любого ε > 0
P(|  M  |   ) 
D

2
Сходимость по вероятности
Последовательность случайных величин
ξ1, ξ2 ,…, ξn сходится по вероятности
к сл. в. ξ,
p
n  
если для любого ε > 0
lim P (|  n   |  )  0
n 
Закон больших чисел (ЗБЧ)
 Определение. Говорят, что к
последовательности случайных величин
 ξ1, ξ2 ,…, ξn с математическими ожиданиями
 Mξi = ai, i = 0,1,…,n, применим закон больших
чисел, если
n

i 1
n
n
i
p

a
i 1
n
i
Закон больших чисел
 Смысл: среднее значение случайных величин
стремится по вероятности к среднему их
математических ожиданий (то есть к
постоянной величине).
 Замечание. ЗБЧ справедлив при некоторых
условиях. Различные группы условий
определяют разные формы закона больших
чисел.
ЗБЧ в форме Чебышева
Теорема. Если для последовательности
случайных величин {ξn} с
математическими ожиданиями Mξi=ai
и с дисперсиями Dξi=σ2i, i=0,1,…,n,
выполняются условия:
1)
сл.в. {ξn} независимы;
2)
дисперсии всех сл.в. {ξn} ограничены одним
и тем же числом, (σ2i ≤ A для всех i),
то к {ξn} применим ЗБЧ.
ЗБЧ в форме Бернулли
 Теорема. Пусть осуществляется серия из n
независимых опытов, проводимых по схеме
Бернулли с параметром p, пусть m – число
успехов, m/n – частота успехов в данной серии
испытаний. Тогда
m p
p
n
ЗБЧ в форме Хинчина
Теорема. Для того, чтобы к последовательности
случайных величин {ξn} был применим ЗБЧ,
достаточно выполнения условий:
1) сл.в. {ξn} независимы;
2)
сл.в. {ξn} одинаково распределены.
Тогда
n

i 1
n
i
p
a
Центральная предельная теорема
(ЦПТ)
 В теоремах этой группы выясняются условия,
при которых возникает нормальное
распределение. Общим для этих теорем
является следующее обстоятельство: закон
распределения суммы достаточно большого
числа независимых случайных величин при
некоторых условиях неограниченно
приближается к нормальному.
Центральная предельная теорема для независимых
одинаково распределенных сл. в.
 Если случайные величины {ξn} независимы,
одинаково распределены и имеют конечные
математические ожидания Mξi=a и дисперсии
Dξi=σ2,… i=0,1,…,n, то при n→∞
 n

   i  na

P i 1
 x    ( x)


 n




n
   na
т.е., i 1

i
n
 u  N (0,1)
Зависимость от числа слагаемых
Практическое значение ЦПТ
 Многие случайные величины можно
рассматривать как сумму отдельных
независимых слагаемых.
 Например: числа продаж некоторого товара;
 объемы прибыли от реализации однородного
товара различными производителями;
 валютные курсы.
 Из ЦПТ следует, что они приближенно
нормально распределены.
Лекция 11. Введение в
математическую статистику
Математическая статистика – это раздел
математики который занимается разработкой
методов сбора, описания и анализа
экспериментальных результатов наблюдений,
массовых случайных явлений.
Фундаментальными понятиями
математической статистики являются
генеральная совокупность и выборка.
СФУ Т.В. Крупкина
82
Основные понятия
Совокупность наблюдаемых случайных
величин Х = (Х1, ..., Хn) называется выборкой,
сами величины Xi , i =1,..., n, – элементами
выборки, а их число n – ее объемом.
 Реализации выборки Х будем обозначать
строчными буквами х = (x1,..., xn).

 Статистической моделью <F> называется
класс распределений, допустимых для
выборки.
Простая выборка
 Таким образом, мы рассматриваем
генеральную совокупность как случайную
величину , а выборку – как n – мерную
случайную величину (1, …, n), компоненты
которой независимы и одинаково
распределены (так же, как ).
 Такие выборки называются простыми.
Эмпирическая функция
распределения
Эмпирической функцией распределения
называется случайная функция от Fn(x),
вычисляемая по формуле
Fn  x  
n
n
,
где νn – число элементов выборки Х, значения
которых меньше х.
Свойства эмпирической функции
распределения
Пусть Fn(x) – эмпирическая функция
распределения, построенная по выборке Х из
распределения , и F(x) – соответствующая
теоретическая функция.
Тогда:
1) M [Fn (x)]  F (x)
p
2) Fn (x)  F (x)
Группировка выборки
При большом объеме выборки ее элементы
объединяют в группы, представляя результаты
опытов
в
виде
группированного
статистического ряда.
Для этого интервал, содержащий все элементы
выборки, разбивается на k непересекающихся
интервалов длины h. Результаты сводятся в
таблицу, называемую таблицей частот
группированной выборки.
Параметры группировки
 Разность между максимальным и
минимальным элементами выборки
называется размахом выборки R.
 Число интервалов k находится из условия
2k –1 ≈ n,
где n – объем выборки.
 Длину интервала h находят по формуле
h = R/k.
Все интервалы имеют одинаковую длину.
Графические характеристики
выборки
 Если на каждом интервале построить
прямоугольник с высотой ni/h, получим
гистограмму.
 Кривая, соединяющая середины верхних
оснований гистограммы, называется полигоном
(частот).
Полигон — непрерывная функция (ломаная).
Гистограмма и плотность
Гистограмма относительных частот является
статистическим
аналогом
плотности
распределения генеральной совокупности.
СФУ Т.В. Крупкина
90
Лекция 12.
Числовые характеристики выборки
 Выборочное среднее
 Выборочная дисперсия
 Выборочная исправленная дисперсия
 Выборочное среднеквадратическое отклонение
 Выборочный начальный момент порядка l
 Выборочный центральный момент
порядка l
СФУ Т.В. Крупкина
91
Числовые характеристики выборки
 Выборочный коэффициент асимметрии
 Выборочный коэффициент эксцесса
 Коэффициент вариации
 Выборочная мода
 Выборочная медиана
 Выборочная квантиль порядка q
92
Способ получения выборочных
формул
 Чтобы из формулы числовой характеристики сл.в.
получить формулу выборочной характеристики,
нужно:
 заменить обозначение сл.в. обозначением элемента
выборки (xi)
 заменить знак математического ожидания М[..] на
1 n
[..]

n i 1
93
Замечание
 Если в формуле встречается числовая характеристика,
для которой уже известна соответствующая ей
выборочная, то числовая характеристика заменяется на
выборочную.
 Например,
M  x
94
Выборочное среднее
X X1
X2
…
Xn
Выборочное среднее
(по вариационному ряду
x1,x2,…,xn)
P 1/n
1/n
…
1/n
1 n
MX   xi
n i 1
n
1
x   xi
n i 1
95
Выборочная дисперсия
n




2

n
2
1
1
2
S   xi  x   xi  x
n i 1
n i 1
2
k
2
k

2
1
1
2
S   xi  x  ni   xi ni  x
n i 1
n i 1
2
96
Выборочный начальный момент
порядка l
 Теоретический
 l  M
l
 Выборочный по
вариационному ряду
 Выборочный по
1 n l
al   xi
n i 1
статистическому ряду
k
1
l
al   xi  ni
n i 1
97
Выборочный центральный момент
порядка l
 Теоретический
l  M (  M )
l
 Выборочный по
вариационному ряду
 Выборочный по
n
1
l
ml   ( xi  x)
n i 1
статистическому ряду
k
1
l
ml   ( xi  x)  ni
n i 1
98
Лекция 13. Распределение выборочных
характеристик
 Распределением 2 с k степенями свободы
называется распределение случайной
величины 2(k), равной сумме квадратов k
независимых нормально распределенных по
закону N(0,1) случайных величин Ui i =
1,2,…,k, то есть распределение случайной
величины
 2 k   U12  U 22    U k2
99
Плотность распределения χ2
при k = 7
100
Плотность распределения χ2
при разных k
k1<k2<k3
k1
k2
k3
101
Распределение Стьюдента
Распределением Стьюдента с k степенями свободы
называется распределение случайной величины Т(k),
равной
T k  
U
 k 
2
k
где U имеет нормальное распределение N(0, 1). Величина,
имеющая распределение Стьюдента с k степенями
свободы будет также обозначаться t(k).
102
Плотность распределения
Стьюдента
k = ∞ – нормальное распределение
103
Распределение Фишера
Распределением Фишера с k1 и k2 степенями
свободы называется распределение случайной
величины F(k1, k2), равной
  k1 
2
F  k1 , k2  
  k2 
k1
2
.
k2
104
Теорема Фишера
Пусть (X1, X2,..., Xn) – выборка из N(a, ).
Тогда:
1) x  N ( a ,
2)
xa


n
)
 N (0;1)
n
3)
nS 2
2
  2 n1
4) X и S 2 независимы.
105
Теорема
Пусть (X1, X2,..., Xn) – выборка из N(a, ).
Тогда:
xa
 Tn 1.
s
n 1
106
Лекция 14. Точечное оценивание
параметров
 Основная задача математической статистики
состоит в нахождении распределения
наблюдаемой случайной величины Х по
данным выборки. Во многих случаях вид
распределения Х можно считать известным, и
задача сводится к получению приближенных
значений неизвестных параметров этого
распределения.
107
Точечные оценки
Рассмотрим параметрическую модель (Fθ) и
выборку (X1, X2,..., Xn) . (То есть известен вид
функции распределения F, и F зависит от
одного неизвестного параметра θ).
Точечной оценкой неизвестного параметра θ
называется функция элементов выборки,
используемая для получения приближенного
значения θ.
108
Несмещенность
 Оценка параметра θ называется
несмещенной, если

M ( )  
Доказывали, что M x  a.
Значит, в любом распределении, у
которого математическое ожидание равно
параметру, выборочное среднее есть
несмещенная оценка этого параметра.
109
Несмещенные оценки в N(a,σ)
n 1 2
2
2
MS


.
MS   .
M x  a.
n
2
В N(a,σ):
 выборочное среднее – несмещенная оценка
параметра a,
 выборочная дисперсия – смещенная оценка
σ2,
исправленная выборочная дисперсия –
несмещенная оценка σ2.
110
Состоятельность
 Оценка

 параметра θ называется
состоятельной, если
 p
 
т.е.


P      0
при n  
111
Оптимальность
Для параметра θ может быть предложено
несколько несмещенных оценок. Мерой
D( ).
точности несмещенной оценки считают ее
дисперсию
Несмещенная оценка параметра θ называется
оптимальной, если она имеет минимальную
дисперсию среди всех несмещенных оценок
этого параметра.
112
Нижняя граница дисперсий
Для дисперсии несмещенной оценки 
параметра θ выполняется неравенство Рао
Крамера:

D( ) 
–
1
I n  
  ln f X  X ,    2 
I n    nM 
 

 

  ln p X ,    2 
I n    nM 
 

 

113
Эффективность
Несмещенная оценка параметра θ называется
эффективной, если ее дисперсия равна нижней
границе Рао –Крамера:

D ( ) 
1
I n  
114
Оценка максимального
правдоподобия
 Оценкой максимального правдоподобия
(о.м.п.) неизвестного параметра θ называют
значение, при котором функция
правдоподобия достигает максимума (как
функция от θ при фиксированных (X1, X2,...,
Xn). Это значение параметра зависит от
выборки и является искомой оценкой.
115
Метод максимального
правдоподобия
 Для нахождения максимума функции
правдоподобия L можно искать максимум
ln L и решать уравнение правдоподобия
 (ln L)
 0.

116
Метод моментов
 Теоретические моменты случайной величины
зависят от параметра, а выборочные моменты зависят
от элементов выборки. Но выборочные приближенно
равны теоретическим. Приравняем их, и получим
уравнения, связывающие параметр и элементы
выборки. Выразим из них параметр. Полученная
функция и называется оценкой метода моментов
(о.м.м.).
117
Лекция 15. Интервальное
оценивание параметров
Доверительным интервалом уровня значимости
α (0< α <1) для параметра θ называется
интервал I=[I1, I2], для которого выполняется
условие:
P(I1(X) ≤ θ ≤ I2 (X)) = 1 – α.
 Число 1 – α называется доверительной
вероятностью, а I1(X), I2 (X)
– нижней и верхней доверительными
границами.
СФУ Т.В. Крупкина
118
Уровень значимости α
 Его обычно берут равным одному из чисел 0.001,
0.005, 0.01, 0.05, 0.1. Уровень значимости
выражает ошибку доверительного интервала. Чем
меньше α, тем больше доверительная вероятность
и тем надежнее доверительный интервал, но
более надежный интервал является более
широким и менее информативным. Стандартный
уровень значимости α =0.05. Соответствующий
доверительный интервал называется 95% –м.
Схема построения доверительного
интервала
 Надо взять статистику G(x, θ), такую, что она
сама зависит от параметра θ, а ее
распределение от θ не зависит, записать
уравнение
P(γ1 ≤ G(x, θ) ≤ γ2) = 1 – α,
и разрешить неравенство под знаком
вероятности относительно параметра θ.
Доверительный интервал для
параметра a распределения N(a, σ)


I a   x  u1 / 2 
,
n

x  u1 / 2 
 
.

n 
Квантили нормального
распределения
Доверительный интервал для
параметра a (при неизвестном σ) :
s

I a   x  tn 1,1 / 2 
,
n

s 
x  tn 1,1 / 2 
.

n 
Доверительный интервал для
параметра σ распределения N(a, σ)

S n
I  
,
2
  n 1 ,1 / 2

.

2
 n 1 , / 2 
S n
Асимптотический доверительный
интервал
Если
 
D
 u  N (0,1), то
можно записать уравнение :
P(u / 2 
 
D
 u1 / 2 )  1   .
 Разрешив неравенство относительно θ,
получим доверительный интервал для
параметра θ значимости α.
Лекция 16. Проверка статистических
гипотез
 Статистической гипотезой называется
утверждение о виде распределения
генеральной совокупности.
Проверяемая гипотеза называется нулевой и
обозначается H0. Наряду с ней рассматривают
альтернативную гипотезу H1.
 Правило, согласно которому проверяют
гипотезу H0 (принимают или отвергают),
называется статистическим критерием.
Проверка гипотезы
 Определим для малого α >0 область V так, чтобы
в случае справедливости гипотезы H0 вероятность
осуществления события P(T(x) € V ) = α.
 По выборке вычислим значение статистики Т = tв.
 Если окажется, что tв € V, то в предположении
справедливости гипотезы H0, произошло
маловероятное событие и эта гипотеза должна
быть отвергнута как противоречащая
статистическим данным. В противном случае нет
основания отказываться от гипотезы H0 .
Критическая область
 Статистика T(X), определенная выше,
называется статистикой критерия, V –
критической областью критерия, α – уровнем
значимости критерия (вероятностью
ошибочного отвержения гипотезы H0, когда она
верна).
 В конкретных задачах величину α берут
равной 0,005; 0,01; 0,05; 0,1.
Если значение статистики попадает
критическую область, то H0 отвергается.
Ошибка первого рода
 Ошибка первого рода состоит в том, что H0
отвергается, когда она верна.
Вероятность ошибки 1 – го рода обозначается α,
α=P(T€ V/ H0) (значение статистики Т
принадлежит критической области V при
условии, что верна H0) .
α – это уровень значимости.
Ошибка второго рода
 Ошибка второго рода состоит в том, что H0 не
отвергается, когда она не верна.
Вероятность ошибки 2 – го рода обозначается β.
β – это вероятность того, что значение
статистики Т не принадлежит критической
области V при условии, что верна H1.
Мощность критерия
 Мощностью критерия
называется величина М= 1 – β. Мощность
критерия М равна вероятности отвергнуть H0,
когда она не верна.
М – это вероятность того, что значение
статистики Т принадлежит критической
области V при условии, что верна H1.
Лекция 17. Проверка гипотез о
параметрах
Общая схема проверки
1.Сформулировать статистическую
параметрическую модель, нулевую и
альтернативную гипотезы, задать уровень
значимости α.
2. Выбрать статистику Т, такую, что она сама
зависит от параметра θ, а ее распределение
от θ не зависит, и различается при H0 и при H1.
СФУ Т.В. Крупкина
133
Общая схема проверки
параметрических гипотез
3. Найти критическую область V.
4. Рассчитать по выборке значение ст –ки Тв.
5. Если Тв попадает в критическую область V,
то нулевая гипотеза отвергается (в пользу
альтернативной). Если Тв не попадает в
критическую область V, то нулевая
гипотеза не отвергается.
6. Сформулировать ответ в терминах вопроса.
Проверка гипотез о параметрах
нормального распределения
 Гипотезы о параметрах одного распределения
(одна выборка).
 Гипотезы о параметрах двух распределений
(две независимые выборки).
 Гипотезы о параметрах двух распределений
(две парные выборки).
H0: σ = σ0.
Гипотеза о дисперсии.
T
nS
2
0
2

(n  1) S
0
2
2
.
При справедливой гипотезе H 0
nS
2
0
2
  n 1
2
Гипотеза о среднем. H0: a = a0.
1) (X1,, X2,...,Xn) €, N(θ1, σ), то есть параметр σ
известен, а параметр a не известен.
T
x  a0

n
В случае, если справедлива H 0 ,
T  N (0,1)
Гипотеза о среднем. H0: a = a0.
2) (X1,, X2,..., Xn) € N(θ1,θ2), то есть оба параметра
неизвестны.
x  a0 x  a 0
T

S
S
n 1
n
В случае, если справедлива H 0 ,
T  Tn 1
Гипотеза о дисперсиях.
H0: σ1 = σ2.
 Критерий Фишера
S12
T  2.
S
При справедливой гипотезе H 0
T  Fn 1,m 1
Гипотеза о средних. H0: a1 = a2.
 Критерий Стьюдента
T
xy
S12 (n  1)  S2 2 (m  1) 1 1

nm2
n m
При справедливой гипотезе H 0
T  Tn m 2
.
Лекция 18. Проверка гипотез о виде
распределения.
Критерии согласия
 Критериями согласия называют
критерии, предназначенные для проверки
простой гипотезы H0: F = F0, при сложной
альтернативной H1: F ≠ F0.
Для проверки гипотезы возьмем статистику
T = T(X), характеризующую отклонение
эмпирических данных от соответствующих
гипотезе теоретических значений.
H0: F=F0. Критерий согласия Колмогорова
 Критерий применяется для непрерывных сл.в.
 В качестве статистики T выбирают величину
 Dn = Dn(x) = max|Fn(x) – F0(x)|,
 где Fn(x) – эмпирическая функция
распределения, а в качестве критической
области – область вида V = (t*,+∞).
Применение критерия Колмогорова
 При n → ∞, если H0 – верная гипотеза,
распределение статистики √n Dn сходится к
функции Колмогорова К(t). Функция
Колмогорова задается таблично. При
практических расчетах значения К(t) можно
применять уже при n > 20.
t* находится из таблиц К(t) по заданному α.
Например, при α = 0,05 находим, что t* = 1,358.
Правило проверки
 Таким образом, при заданном уровне
значимости α правило проверки
гипотезы H0 при n>20 сводится к
следующему:
 если значение статистики √n Dn ≥ t*,
то H0 отвергают, в противном случае
делают вывод, что статистические
данные не противоречат гипотезе.
Критерий согласия Пирсона χ2
 Критерий применяется к группированной
выборке.
 Пусть n – объем выборки (n ≥ 50),
 k – число интервалов группировки,
 ni – число значений, попавших в i –й интервал,
 i = 1,…,k, (ni ≥ 5),
 pi – теоретическая вероятность попадания одного
элемента выборки в i – й интервал,
 npi = niТ ( теоретические частоты).
Статистика критерия Пирсона
Т
k
(ni  npi ) 2
(ni  ni ) 2
T 

.
Т
npi
ni
i 1
i 1
k
 Если для оценки параметров используются оценки
максимального правдоподобия, то:
(ni  npi ) 2
T 
 2 ( ),
npi
i 1
k
Правило проверки
ν = k – r –1, где r – число параметров, оцененных
по выборке.
Критическая область имеет вид (t*, +∞), где t*
– квантиль распределения χ2 порядка 1 – α.
 Если значение статистики T ≥ t*, то H0
отвергают, в противном случае делают
вывод, что статистические данные не
противоречат гипотезе.