Последовательности случайных величин Х 1 , Х 2 , . . ., Х n
, . . ., заданных на нек-ром вероятностном пространстве к случайной величине X,
определяемая следующим образом: если для любого при
В математич. анализе этот сходимости называют сходимостью по мере. Из С. по в. вытекает сходимость по распределению.
В. И. Битюцков.
Математическая энциклопедия. - М.: Советская энциклопедия . И. М. Виноградов . 1977-1985 .
Смотреть что такое "СХОДИМОСТЬ ПО ВЕРОЯТНОСТИ" в других словарях:
- … Википедия
Сходимость с вероятностью единица, сходимость последовательности случайных величин X1, Х2, . . ., Х п. . . ., заданных на нек ром вероятностном пространстве к случайной величине X, определяемая следующим образом: (или п. н.), если В математич.… … Математическая энциклопедия
В теории вероятностей вид сходимости случайных величин. Содержание 1 Определение 2 Замечания … Википедия
В математике Сходимость означает то, что бесконечная последовательность или сумма бесконечного ряда или несобственный интеграл имеют предел. Понятия имеют смысл для произвольных последовательностей, рядов и интегралов: Предел последовательности… … Википедия
У этого термина существуют и другие значения, см. Сходимость. Последовательность функций сходится почти всюду к предельной функции, если множество точек, для которых сходимость отсутствует, имеет нулевую меру. Содержание 1 Определение 1.1 Термин … Википедия
У этого термина существуют и другие значения, см. Сходимость. Сходимость в в функциональном анализе, теории вероятностей и смежных дисциплинах вид сходимости измеримых функций или случайных величин. Определение Пусть пространство с… … Википедия
- (по вероятности) в функциональном анализе, теории вероятностей и смежных дисциплинах это вид сходимости измеримых функций (случайных величин), заданных на пространстве с мерой (вероятностном пространстве). Определение Пусть пространство с мерой.… … Википедия
Математическое понятие, означающее, что некоторая переменная величина имеет Предел. В этом смысле говорят о С. последовательности, С. ряда, С. бесконечного произведения, С. непрерывной дроби, С. интеграла и т. д. Понятие С. возникает,… … Большая советская энциклопедия
Тоже, что сходимость по вероятности … Математическая энциклопедия
Общий принцип, в силу к рого совместное действие случайных факторов приводит при нек рых весьма общих условиях к результату, почти не зависящему от случая. Сближение частоты наступления случайного события с его вероятностью при возрастании числа… … Математическая энциклопедия
Книги
- Теория вероятностей и математическая статистика в задачах Более 360 задач и упражнений , Борзых Д.. В предлагаемом пособии содержатся задачи различного уровня сложности. Однако основной акцент сделан на задачах средней сложности. Это сделано намеренно с тем, чтобы побудить студентов к…
- Теория вероятностей и математическая статистика в задачах. Более 360 задач и упражнений , Борзых Д.А.. В предлагаемом пособии содержатся задачи различного уровня сложности. Однако основной акцент сделан на задачах средней сложности. Это сделано намеренно с тем, чтобы побудить студентов к…
Транскрипт
1 С.Я. Шатских Лекции по теории вероятностей Виды сходимости последовательностей случайных величин Черновик Сходимость по вероятности. Будем считать, что все интересующие нас случайные величины определены на одном вероятностном пространстве Ω, A, }. Вспомним определение сходимости случайных величин по вероятности, которое нам встречалось при изучении закона больших чисел в форме П.Л. Чебышева. Определение 1. Говорят, что последовательность случайных величин X n (ω)} сходится к случайной величине X(ω) по вероятности, если для любого ε > 0 ω : X n (ω) X(ω) > ε} 0, n. Обозначение: X n (ω) X(ω). Сходимость по вероятности является полным аналогом сходимости по мере, которая рассматривается в курсах функционального анализа и "Интеграл Лебега". Теорема. Если при n X n (ω) X(ω), X n (ω) Y (ω), то ω : X(ω) = Y (ω)} = 1 (единственность предела почти наверное). Теорема. Если при n X n (ω) X(ω), Y n (ω) Y (ω), то 1 ax n (ω) + b Y n (ω) 2 X n (ω) Y n (ω) ax(ω) + b Y (ω) 3 X n (ω) X(ω) Y (ω), X(ω). (a, b const), Теорема. Для случайных величин X(ω), Y (ω) функционал } X(ω) Y (ω) d(x(ω), Y (ω)) = M 1 + X(ω) Y (ω) 1
2 задает метрику в постранстве случайных величин 1. Сходимость по этой метрике эквивалентна сходимости по вероятности. Доказательство. Сначала докажем эквивалентность сходимостей. Рассмотрим возрастающую на полуоси ; A = B()- борелевская σ алгебра отрезка ; мера Лебега. Положим [ k 1 Xn(ω) k:= 1 A k n (ω), где A k n = n, k ], k = 1, n. n Рассмотрим последовательность случайных величин X 1 1(ω), X 1 2(ω), X 2 2(ω), X 1 3(ω), X 2 3(ω), X 3 3(ω),... (6) Ясно, что для любого ω построенная последовательность представляет собой объединение бесконечных последовательностей нулей и единиц. Поэтому в любой точке ω эта последовательность не имеет предела и ее множество сходимости является пустым. С другой стороны, для любого ε (0, 1) ω : Xn(ω) k > ε} = 1, k = 1, n, n поэтому последовательность (6) сходится по вероятности к (тождественному) нулю. Хотя из сходимости по вероятности не следует сходимость почти наверное, тем не менее справедлива следующая теорема. Теорема 4 (Ф. Рисс). Если при n X n (ω) X(ω), то существует подпоследовательность n k } такая, что при k X nk (ω) п.н. X(ω). 7
8 Доказательство 3. Вначале построим требуемую подпоследовательность n k }. Положим n 0 = 1 и далее при k N определим по индукции n k как наименьшее натуральное число, для которого выполняются неравенства: n k > n k 1, ω : X nk (ω) X(ω) 1 } < 1 k 2 k Такое число существует в силу сходимости по вероятности ω : X n (ω) X(ω) 1 } 0, (n). k Теперь установим сходимость X nk (ω) п.н. X(ω), (k). Ввиду соотношения (9) (см. доказательство теоремы 2) } ω : sup X nk (ω) X(ω) > ε k m = k=m ω : X nk (ω) X(ω) > ε }. Поэтому } ω : sup X nk (ω) X(ω) > ε k m ω : X nk (ω) X(ω) > ε }. k=m () Для любого ε > 0 найдется такое натуральное M ε, что Следовательно при при m > M ε 1 m < ε. m > M ε по выбору n k ω : X nk (ω) X(ω) > ε } k=m k=m ω : X nk (ω) X(ω) > 1 k } k=m 1 2 k. Таким образом, принимая во внимание (), будем иметь } ω : sup X nk (ω) X(ω) > ε k m k=m 1 2 k. Переходя к пределу в этом неравенстве при m, ввиду конечности суммы геометрической прогрессии, получим } lim ω : sup X nk (ω) X(ω) > ε = 0. m k m Для доказательства нашей теоремы осталось применить критерий сходимости почти наверное (см. теорему 2). 3 Эта теорема рассматривается в курсе функционального анализа. 8
9 Вопрос о метризации сходимости почти наверное. Рассмотрим вопрос о метризации сходимости почти наверное. Как мы увидим, вообще говоря, ответ на этот вопрос отрицательный: в отличие от сходимости по вероятности, сходимость почти наверное неметризуема. Однако здесь необходимо сделать некоторые замечания. Существуют примеры вероятностных пространств, для которых сходимость по вероятности эквивалентна сходимости почти наверное. В таких пространствах каждая сходящаяся по вероятности последовательности случайных величин являются обязательно почти наверное сходящейся. В такой ситуации сходимость почти наверное метризуема в силу метризуемости сходимости по вероятности (см. теорему?). Однако в противном случае, как показывает следующая теорема, метризация сходимости почти наверное невозможна. Теорема 5. Если во множестве случайных величин, определенных на некотором вероятностном пространстве понятия сходимости с вероятностью единица и сходимости по вероятности не совпадают, то для такого множества случайных величин не существует метрики, сходимость в которой эквивалентна сходимости почти наверное. Доказательство. Предположим обратное, т.е. во множестве случайных величин существует метрика ρ (,) соответствующая сходимости почти наверное: при n X n (ω) п.н. X(ω) ρ (X n (ω), X(ω)) 0. Рассмотрим последовательность случайных величин X n (ω)}, которая сходится к случайной величине X(ω) по вероятности, но не почти наверное 4. Тогда, с одной стороны, для некоторого δ > 0 существует подпоследовательность n k }, для всех членов которой выполняется неравенство ρ (X nk (ω), X(ω)) > δ. () А с другой стороны, сохраняется сходимость по вероятности: X nk (ω) X(ω), при k. Однако, в силу теоремы 4 можно утверждать, что у подпоследовательности n k } найдется "подподпоследовательность" n km }, для которой при m Следовательно X nkm (ω) п.н. X(ω). lim m ρ (X nkm (ω), X(ω)) = 0, что противоречит (). Теорема доказана. Теперь приведем примеры вероятностных пространств для которых сходимость по вероятности эквивалентна сходимости почти наверное. Вначале напомним определение атомического вероятностного пространства 5 (см. Энциклопедия ТВ и МС под.ред Ю.В.Прохорова, Невё Ж. "МОТВ"). 4 Пример подобной последовательности был рассмотрен выше. 5 Грубо говоря, атомическое вероятностное пространство состоит из конечного или счетного множества точек, каждая из которых имеет положительную вероятность. Примером конечного атомического пространства может служить схема Бернулли. 9
10 Определение. Вероятностное пространство Ω, A, } называется атомическим, если существует конечное или счетное разбиение Ω на атомы A i A: 1 Ω = A i, A i A j =, (i j), множество индексов I конечно или счетно. i I 2 A i } > 0, для любого i I; 3 для любого B A каждый атом A i обладает одним из двух свойств или B A i } = 0, или B A i } = A i }; } 4 A i = A i } = 1. i I i I Теорема 6. Для атомического вероятностного пространства сходимость с вероятностью единица эквивалентна сходимости по вероятности. Доказательство. На атомическом вероятностном пространстве из сходимости по вероятности следует сходимость на каждом атоме. Действительно, если для каждого ε > 0, при n ω : X n (ω) X(ω) ε} 0, то для любого i I Поэтому множество сходимости ω A i: X n (ω) X(ω) ε} 0. ω : X n (ω) X(ω)} содержит все атомы и следовательно его вероятность равна единице. Отсюда, используя теорему 3 получаем доказательство нашей теоремы. Замечание. Справедливо и обратное утверждение 6: если в некотором вероятностном пространстве совпадают понятия сходимости с вероятностью единица и сходимости по вероятности, то такое вероятностное пространство является атомическим (см. Невё "МОТВ стр. 37; Прохоров А.В., Ушаков В.Г., Ушаков Н.Г. "Сборник задач по ТВ задача 5.25, стр.107.). Сходимость в среднем Определение 4. Говорят, что последовательность случайных величин X n (ω)} сходится в среднем порядка p > 0 к случайной величине X(ω), если при n M X n (ω) X(ω) p } 0. При p = 2 говорят о сходимости в среднем квадратичном. Разумеется, говоря о сходимости в среднем порядка p мы предполагаем конечность математических ожиданий M X n (ω) p } <, M X(ω) p } <. В следующей теореме мы установим, что сходимость по вероятности является необходимым условием сходимости в среднем порядка p > 0. 6 Для нашего элементарного курса теории вероятностей доказательство этого утверждения является слишком техническим. 10
11 Теорема. Если для некоторого p > 0 при n M X n (ω) X(ω) p } 0. то X n (ω) X(ω). Доказательство. Чебышева И заметить, что Достаточно перейти к пределу при n в неравенстве П.Л. X n (ω) X(ω) p > ε} < M X n(ω) X(ω) p } ε 2. X n (ω) X(ω) p > ε} = X n (ω) X(ω) > ε 1/p}. Следующий простой пример показывает, что сходимость по вероятности не может быть достаточным условием для сходимости в среднем. Пример. Будем считать, что Положим Ω = , A = B(), } = λ } мера Лебега на отрезке . Тогда для любого ε > 0, Однако, при p 1 X(ω) 1, X n (ω), = n когда ω [ 0, 1/n ], 1, когда ω (1/n, 1 ]. X n (ω) X(ω) > ε} = λ[ 0, 1/n ]} = 1/n 0, n. M X n (ω) X(ω) p } = n p 1 n = np 1 1 для всех n N. Отсутствие сходимости в среднем в этом примере связано с "уходом площади в бесконечность". В следующей теореме важную роль играет условие равномерной ограниченности интегрируемых случайных величин, которое препятствует такому "уходу". Теорема. Если для последовательности случайных величин X n (ω)} существует действительное число 0 < C < + такое, что ω : X n (ω) C} = 1, для любого n N, и при n имеет место сходимость по вероятности X n (ω) X(ω), то M X(ω) } C и lim M X n (ω) X(ω) } = 0. Доказательство. Вначале покажем, что из условия равномерной ограниченности случайных величин X n (ω)} с вероятностью единица следует ограниченность предельной случайной величины с вероятностью единица: ω : X(ω) C} = 1. 11
12 Действительно, из сходимости по вероятности следует сходимости п.н. для некоторой подпоследовательности Поэтому, по свойствам пределов, если Следовательно, и ω : X n(m) (ω) X(ω)} = 1, при m. ω ω : X n(m) (ω) X(ω)}, то X(ω) C. ω : X n(m) (ω) X(ω)} ω : X(ω) C} ω : X(ω) C} = 1. Отсюда получаем существование и ограниченность математического ожидания случайной величины X(ω) M X(ω) } C. Теперь нетрудно убедиться в справедливости неравенства ω : X n (ω) X(ω) 2C} = 1. Далее, по свойствам математических ожиданий, MX n (ω)} MX(ω)} M X n (ω) X(ω) } X n (ω) X(ω) d + X n (ω) X(ω) d ω: X n(ω) X(ω) ε} ω: X n(ω) X(ω) > ε} ε + 2C ω : X n (ω) X(ω) > ε}. Переходя к пределу при n, ввиду произвольности ε получаем доказательство нашей теоремы. В следующей теореме вместо условия равномерной ограниченности константой, будет рассматриваться более слабое условие равномерной ограниченности (неотрицательной) интегрируемой случайной величиной. Теорема Лебега о мажорируемой сходимости. Если для последовательности случайных величин X n (ω)} существуют случайные величины X(ω) и Y (ω) такие, что 1 X n (ω) X(ω), n, тогда и при n 2 для всех n X n (ω) Y (ω), - почти наверное, 3 MY (ω)} <, M X(ω) } MY (ω)} < M X n (ω) X(ω) } 0. 12
13 Доказательство 7. Вначале установим неравенств X(ω) Y (ω), - почти наверное. Из сходимости последовательности случайных величин по вероятности следует сходимость почти наверное для некоторой подпоследовательности: X n(m) (ω) п.н. X(ω), m. Другими словами, вероятность множества сходимости равна единице ω : X n(m) (ω) X(ω)} = 1. Поэтому, переходя к пределу (m) в неравенстве X n(m) (ω) Y (ω), для любого ω ω : X n(m) (ω) X(ω)} будем иметь Таким образом lim X n(m)(ω) = X(ω) Y (ω), m X(ω) Y (ω), Отсюда получаем существование MX(ω)} и оценку (почти наверное). M X(ω) } MY (ω)}. Следовательно и Оценим величину = X n (ω) X(ω) 2Y (ω), (почти наверное) M X n (ω) X(ω) } 2MY (ω)}. M X n (ω) X(ω) } = X n (ω) X(ω) d + X n (ω) X(ω) d ω: X n(ω) X(ω) ε} ε + 2 ω: X n(ω) X(ω) > ε} Y (ω) d. () ω: X n(ω) X(ω) > ε} По условию 1 теоремы (сходимость по вероятности), для любого ε > 0 ω : X n (ω) X(ω) > ε} 0, (n). Поэтому, используя лемму об интеграле по множеству малой вероятности, можно утверждать, что lim Y (ω) d = 0. ω: X n(ω) X(ω) > ε} 7 Как было отмечено В.Феллером, "теорема о мажорированной сходимости относится к единственному месту в лебеговской теории интегрирования, где наивные формальные действия могут првести к неверному результату." См. Феллер, т.2, стр
14 Переходя к пределу в неравенстве () будем иметь 0 lim M X n (ω) X(ω) } ε. Отсюда, ввиду произвольности ε > 0, получаем доказательство теоремы. Замечание. Доказательство этой теоремы подробно излагается в курсе "Интеграл Лебега". Несколько иной вариант доказательство можно найти в книге [Ширяев "Вероятность"]. Приведем без доказательства ещё два классических результата (действительного анализа), которые часто используются при анализе сходимости в среднем. Теорема о монотонной сходимости. Если неубывающая последовательность неотрицательных случайных величин X n (ω)} X n (ω) X n+1 (ω), n = 1, сходится почти наверное к случайной величине X(ω), то при n MX n (ω)} MX(ω)}. Замечание. Если математическое ожидание MX(ω)} конечно, то (ввиду монотонности) конечны математические ожидания всех случайных величин MX n (ω)}. Имеем сходимость монотонной последовательности к конечному пределу MX n (ω)} MX(ω)}. Если же математическое ожидание MX(ω)} бесконечно, то, предполагая конечными математические ожидания случайных величин MX n (ω)}, получим сходимость монотонной последовательности к бесконечному пределу MX n (ω)} +. Лемма Фату. Для любой последовательности неотрицательных случайных величин X n (ω)} справедливо неравенство lim MX n (ω)} Mlim X n (ω)}. Замечание. Утверждение леммы Фату показывает, что неравенство 2 = lim MX n (ω)} M lim X n (ω)} = 1, которое имело место в рассмотренном выше примере является проявлением общей закономерности. Задача. Если при n M X n (ω) X(ω) p } 0, то M X n (ω) p } M X(ω) p }. Решение. Пользуясь неравенством Г. Минковского, можно записать (M X n (ω) p }) 1/p = (M X n (ω) X(ω) + X(ω) p }) 1/p 14
15 (M X n (ω) X(ω) p }) 1/p + (M X(ω) p }) 1/p. Переходя к верхнему пределу, при n получим lim (M X n (ω) p }) 1/p (M X(ω) p }) 1/p. Отсюда, используя непрерывность и монотонность степенной функции, будем иметь lim M X n (ω) p } M X(ω) p }. () С другой стороны, аналогично рассуждая, из неравенства (M X(ω) p }) 1/p (M X(ω) X n (ω) p }) 1/p + (M X n (ω) p }) 1/p. получаем M X(ω) p } lim M X n (ω) p }. Объединяя вместе неравенства () и (), получаем решение нашей задачи. Теорема. Если при n (). M X n (ω) X(ω) p } 0, то для любого q (0, p) M X n (ω) X(ω) q } 0. Доказательство. Достаточно перейти к пределу при n в неравенстве А.М. Ляпунова (см. [Ширяев А.Н. Вероятность.]) (M X n (ω) X(ω) q }) 1/q (M X n (ω) X(ω) p }) 1/p, при 0 < q p. При p = 2 и q = 1 доказательство теоремы можно получить с помощью следующего варианта неравенства Коши-Буняковского M X n (ω) X(ω) } = M X n (ω) X(ω) 1} (M X n (ω) X(ω) 2}) 1/2 (M 1 2 }) 1/2 = (M Xn (ω) X(ω) 2}) 1/2. Пространство L p Ω, A, } Рассмотрим пространство L p Ω, A, } - т.е. множество всех случайных величин X(ω), определенных на Ω, измеримых относительно σ алгебры A и таких, что M X n (ω) p } = X n (ω) p d <. Ω Это пространство вполне аналогично известному из курса функционального анализа линейному пространству L p [ 0,1], которое состоит из всех функций y = f(x) определенных на отрезке [ 0, 1], измеримых по Лебегу и интегрируемых с показателем p по мере Лебега 1 0 f(x) p dx <. 15
16 Не приводя подробных доказательств, сформулируем несколько утверждений относящихся к пространству L p Ω, A, }, которые аналогичны соответствующим утверждениям о пространстве L p . Функционал X(ω) p:= (M X(ω) p }) 1/p задает норму в пространстве случайных величин 8 L p Ω, A, } : 1 X(ω) p 0, 2 c X(ω) p = c X(ω) p, c = const, 3 X(ω) + Y (ω) p X(ω) p + Y (ω) p, (неравенство Минковского). Заметим, что линейность множества L p Ω, A, } сразу следует из свойств нормы. Более того, относительно сходимости по норме 9 X n (ω) X(ω) p 0 пространство L p Ω, A, } является полным. В нашем случае определение полноты следующее: если последовательность случайных величин фундаментальна по норме X n (ω)} L p Ω, A, } X n (ω) X m (ω) p 0, при n, m, то существует случайная величина X(ω) L p Ω, A, } такая, что X n (ω) X(ω) p 0, при n. Итак, L p Ω, A, } - есть полное линейное нормированное пространство, т.е. банахово пространство. При p = 2 пространство L 2 Ω, A, } является гильбертовым со скалярным произведением 10: X(ω), Y (ω) := MX n (ω)y (ω)} = X n (ω)y (ω) d. Для таким образом введенного скалярного произведения действительнозначных случайных величин справедливо неравенство Г. Минковского X(ω), Y (ω) X(ω) 2 + Y (ω) 2. Сходимость по распределению и слабая сходимость 8 Точнее говоря, в постранстве классов эквивалентности случайных величин совпадающих почти наверное, т.к. по определению нормы X(ω) p = 0 X(ω) 0. 9 Т.е. сходимости в среднем с показателем p. 10 Мы имеем дело с действительнозначными случайными величинами поэтому знак комплексного сопряжения над вторым сомножителем можно опустить. Ω 16
17 Введем обозначения для функций распределения случайных величин X n (ω) и X(ω) : Кроме того, через C F F (x) : F n (x) = ω : X n (ω) x}, F (x) = ω : X(ω) x}. будем обозначать множество точек непрерывности функции C F:= x R: lim x x F (x) = F (x)}. Определение 4. Говорят, что последовательность случайных величин X n (ω)} сходится по распределению к случайной величине X(ω), если при n F n (x) F (x), в каждой точке x C F. (11) d Обозначение: X n (ω) X(ω). Определение 5. Если при n F n (x) F (x), в каждой точке x C F, (12) то говорят, что последовательность функций распределения F n (x)} слабо сходится 11 к функции распределения F (x). w Обозначение: F n (x) F (x). Замечание. Если функция распределения F (x) непрерывна на всей вещественной оси (C F = (,)), то в соотношениях (11) и (12) речь идет о поточечной сходимости. Более того, можно показать 12, что в этом случае сходимость F n (x) F (x) равномерна на всей вещественной оси. w Замечание. Если F n (x) F (x), то при x / C F справедливы неравенства 13 F (x) lim F n (x) < lim F n (x) F (x). Пример. Рассмотрим последовательность функций распределения 0, когда x (, 1/n); n F n (x) = x + 1, когда x [ 1/n, 1/n]; 2 2 1, когда x (1/n,), графики которых имеют вид F n (x) 1 1/2 1/n 0 1/n 11 Иногда слабую сходимость называют "сходимостью в основном". 12 См. задачу См. задачу 5. x 17
18 Нетрудно видеть, что для любого x (,) lim F n(x) = F (x) = График функции F (x) имеет вид F (x) 0, когда x (, 0); 1/2, когда x = 0; 1, когда x (0,). 1 1/2 0 Поскольку предельная функция F (x) не является непрерывной справа, она не может быть функцией распределения. Но так как в определении 5 слабой сходимости речь идет о сходимости к функциям распределения, то в этом примере мы не можем w утверждать, что F n (x) F (x). Тем не менее, после небольшого изменения предельной функции F (x), можно получить функцию распределения F (x), к которой будут слабо сходиться функции F n (x). Действительно, рассмотрим функцию распределения случайной величины X(ω) 0: 0, когда x (, 0); F (x) = 1, когда x ; A = B()- борелевская σ алгебра отрезка ; мера Лебега. Обозначим через Φ 1 () функцию, обратную функции стандартного гауссовского распределения Положим Тогда Φ(x) = 1 2π x exp) (u2 du. 2 X 2k (ω) = Φ 1 (ω), X 2k 1 (ω) = Φ 1 (ω), ω ; k = 1, 2,.... ω : X n (ω) x} Φ(x), для всех натуральных n. Поэтому последовательность X n } (тривиально) cходится по распределению. Однако, легко видеть, что сходимости по вероятности нет. Действительно, так как X 2k (ω) X 2m 1 (ω) 2 Φ 1 (ω), для любых k, m. то ω : X 2k (ω) X 2m 1 (ω) > ε} ω : Φ 1 (ω) > ε } [ (ε = 2 1 Φ. 2 2)] Сейчас мы рассмотрим утверждение, которое фактически является вторым вариантом определения слабой сходимости. Этот вариант лучше приспособлен для определения слабой сходимости многомерных функций распределения и даже для определения 20
21 слабой сходимости распределений на более сложных бесконечномерных метрических пространствах. Теорема 6. Для того, чтобы последовательность функций распределения F n (x)} слабо сходилась к функции распределения F (x), необходимо и достаточно выполнения равенства lim ϕ(x) df n (x) = ϕ(x) df (x) (15) для любой непрерывной и ограниченной на вещественной оси R функции ϕ(x). Доказательство. Вначале покажем, что из слабой сходимости (12) следует равенство 14 (15). Для любого ε > 0, найдется положительное A(ε) C F такое, что по свойствам функции распределения 15 x: x > A(ε)} df (x) = 1 A(ε) A(ε) df (x) = 1 < ε, (16) и, кроме того, найдется натуральное N(ε, A(ε)) такое, что при всех n > N(ε, A(ε)) F n (A(ε)) F (A(ε)) < ε, F n (A(ε)) F (A(ε)) < ε. Тогда при всех n > N(ε, A(ε)) x: x > A(ε)} df n (x) < 3ε. (17) Пусть ϕ(x) - непрерывная и ограниченная на вещественной оси R функция. Будем считать, что для всех действительных x ϕ(x) C = const. В силу существования интеграла Римана - Стилтьеса от непрерывной функции по интегрирующей функции распределения, а также из определения этого интеграла как предела интегральных сумм 16 следует, что для любого ε > 0 существует такое δ > 0, что для любого разбиения отрезка [ A(ε), A(ε)], диаметр которого меньше δ > 0 выполняются неравенства A(ε) A(ε) ϕ(x) df (x) S n (δ) < ε, A(ε) A(ε) ϕ(x) df n (x) S(δ) < ε. (18) где k 1 k 1 S n (δ) = ϕ(t i) i F n (x), S(δ) = ϕ(t i) i F (x). i=0 i=0 14 Импликация (12) = (15) носит название теоремы Хелли-Брея. 15 Множество точек непрерывности функции распределения всюду плотно на вещественной оси. 16 см. Рудин У. "Основы математического анализа стр
22 Возьмем разбиение отрезка [ A(ε), A(ε)] [ A(ε), A(ε)] = A(ε) = x 0 < x 1 <... < x k = A(ε)}, считая что все точки деления x i C F, а диаметр разбиения меньше δ. Кроме того, для ε > 0 при выбранном k (числе точек разбиения), будем считать ранее выбранное число N(ε, A(ε)) настолько большим, что для всех n > N(ε, A(ε)) F n (x i) F (x i) < ε, i = 0, k. k Тогда Поэтому i F n (x i) i F (x i) = F n (x i+1) F n (x i) F (x i+1) + F (x i) F n (x i+1) F (x i+1) + F n (x i) F (x i) < 2 ε, i = 0, k. k S n (δ) S(δ) k 1 ϕ(t i) i F n (x i) i F (x i) C k 2 ε k i=0 = 2 Cε. (19) Тогда из неравенств (18) и (19) получим A(ε) ϕ(x) df (x) A(ε) A(ε) A(ε) ϕ(x) df n (x) < 2 ε + 2 C ε. (20) В свою очередь из неравенства (16) и (17) будем иметь ϕ(x) df (x) ϕ(x) df n (x) x: x > A(ε)} x: x > A(ε)} < 4 C ε. (21) Собирая вместе неравенства (20) и (21), можно утверждать, что для любого ε > 0 найдется такое натуральное число N(ε, A(ε)), что для всех n > N(ε, A(ε)) выполняется неравенство ϕ(x) df (x) ϕ(x) df n (x) < 6 C ε + 2 ε. Равенство (15) доказано. Покажем теперь, что из равенства (15) следует слабая сходимость (12). Возьмем x 0 C F и рассмотрим две вспомогательные функции. Функция f ε (1) (x) непрерывна на всей числовой оси, равна единице при x x 0 ε, нулю при x x 0 и линейна на отрезке . Функция f ε (2) (x) := f ε (1) (x ε). Графики этих функций изображены на рис.? 22
23 1 0 f (1) ε f ε (2) x 0 ε x 0 x 0 + ε Рис.? x Нетрудно видеть, что F n (x 0) = x 0 f ε (2) (x) df n (x) Используя условие (15), перейдем к пределу при n, f ε (2) (x) df n (x). lim F n (x 0) f (2) ε (x) df (x) = x 0 +ε f (2) ε (x) df (x) + x 0 +ε f ε (2) (x) df (x) x 0 +ε 1 df (x) + 0 = F (x 0 + ε). Аналогично рассуждая, будем иметь F n (x 0) = Отсюда при n = x 0 ε x 0 1 df n (x) x 0 lim F n (x 0) f (1) ε (x) df (x) + x 0 ε x 0 x 0 ε f (1) ε (x) df n (x) = f (1) ε (x) df (x) = f ε (1) (x) df n (x). f ε (1) (x) df (x) + f ε (1) (x) df (x) x 0 1 df (x) + 0 = F (x 0 ε). Итак, получили неравенство F (x 0 ε) lim F n (x 0) lim F n (x 0) F (x 0 + ε). 23
24 Переходя к пределу в этом неравенстве при ε 0, с учетом того, что x 0 C F F (x 0) lim F n (x 0) lim F n (x 0) F (x 0). Таким образом, для любого x 0 C F lim F n(x 0) = F (x 0). Равенство (12), а вместе с ним и теорема доказаны. Замечание об интегралах Римана-Стилтьеса и Лебега-Стилтьеса. Отметим, что интеграл Римана-Стилтьеса I (, x0 ](x) df n (x) = lim N L, N L I (, x0 ](x) df n (x) не существует, если функция распределения F n (x) имеет разрыв в точке x 0. Стандартное доказательство этого факта состоит в следующем. Рассматривая для интеграла N L I (, x0 ](x) df n (x), x 0 (L, N) () суммы Римана-Стилтьеса, нетрудно получить равенство S = n 1 I (, x0 ](ξ i) = I (, x0 ](ξ i0), i=0 где точки x 0, ξ i0 являются внутренними точками частичного отрезка 17 : Тогда Так как S = x 0, ξ i0 (x i0, x i0 +1). Fn (x i0 +1) F n (x i0), при выборе ξ i0 < x 0, 0, при выборе ξ i0 > x 0. F n (x i0 +1) F n (x i0) > 0, то такие интегральные суммы не могут иметь предела при стремлении диаметра разбиения к нулю. Поэтому интеграл () не существует в смысле Римана-Стилтьеса и, строго говоря, неравенство (21) нельзя получить и с помощью интегрирования (по Риману- Стилтьесу) неравенства (20). Тем не менее неравенство (21) можно получить и с помощью интеграла Римана- Стилтьеса. В самом деле, ввиду непрерывности функции f ε (1) (x) существует интеграл Римана-Стилтьеса f ε (1) (x) df n (x), 17 Разбиения отрезка с таким свойством могут иметь сколь угодно малый диаметр. 24
25 причем f (1) ε (x) df n (x) = Так как для всех x (, x 0 ] то x 0 f ε (1) (x) df n (x) x 0 x 0 Но, ввиду того, что f (1) ε (x) = 0 при x x 0 Аналогично, f (2) ε (x) df n (x) = x 0 f ε (1) (x) df n (x) + f ε (1) (x) df n (x). x 0 f (1) ε (x) 1, 1 df n (x) = F n (x 0) F n () = F n (x 0). f ε (1) (x) df n (x) = 0. x 0 f (2) ε (x) df n (x) + x 0 +ε Нетрудно видеть, что по свойствам функции f ε (2) (x) x 0 Поэтому f (2) ε (x) df n (x) = F n (x 0); x 0 +ε f ε (2) (x) df n (x) + x 0 f ε (2) (x) df n (x) 0; x 0 f (2) ε (x) df n (x) F n (x 0). x 0 +ε x 0 +ε f ε (2) (x) df n (x). f (2) ε (x) df n (x) = 0. Если же рассматривать при x 0 (L, N) интеграл () как интеграл Лебега-Стилтьеса, то ввиду того, что индикатор I (, x0 ](x) является простой функцией, по определению интеграла Лебега-Стилтьеса будем иметь N I (, x0 ](x) df n (x) = 1 (F n (x 0) F n (L)). И, стало быть, L I (, x0 ](x) df n (x) = F n (x 0). Дадим новую формулировку теореме 6. Для этого обозначим через C(R) - пространство непрерывных и ограниченных на вещественной оси функций. Далее, с помощью произвольной функции распределения G(x) определим на пространстве C(R) линейный функционал G(ϕ) := ϕ(x) dg(x), 25 ϕ(x) C(R)
26 Используя новые обозначения, теорему 6 можно переформулировать следующим образом. w Теорема 6. Слабая сходимость F n (x) F (x), эквивалентна сходимости линейных функционалов F n (ϕ) F (ϕ) на пространстве C(R). Метризация слабой сходимости. Метрика П. Леви. Для пары произвольных функций распределения F (x) и G(x) на числовой прямой рассмотрим функционал L(F, G) = inf h > 0: F (x h) h G(x) F (x + h) + h}, () который носит название расстояния П. Леви между распределениями F и G. Теорема 7. Функционал L(,) задает метрику во множестве функций распределения на числовой прямой. Сходимость в этой метрике эквивалентна слабой сходимости w F n (x) F (x) L(F n, F) 0, (n). Доказательство. Теорема доказана. d Задача 1. Если X n X c = const, то X n Решение. Функция распределения константы c X. F (x) = ω : X(ω) x} = 1 для x c, 0 для x < c непрерывна во всех точках вещественной оси, кроме точки x = c. Поэтому в этой задаче слабая сходимость означает следующее 1 для x > c, lim F n(x) = 0 для x < c. Для любого ε > 0 ω : X n (ω) c > ε} = ω : X n (ω) < c ε} + ω : X n (ω) > c + ε}. Используя очевидные соотношения, получим неравенство ω : X n (ω) < c ε} ω : X n (ω) c ε} = F n (c ε), ω : X n (ω) > c + ε} = 1 ω : X n (ω) c + ε} = 1 F n (c + ε), ω : X n (ω) c > ε} F n (c ε) + 1 F n (c + ε). Переходя к пределу в этом неравенстве, при n получим решение задачи. d d Задача 2. Если X n (ω) X(ω), а Y n (ω) 0, то X n (ω) + Y n (ω) X(ω). 26
27 Решение. Пусть F (x) := ω : X(ω) x}. Выбирая ε > 0 так, что x, x ε, x+ε C F нетрудно установить включения ω : X n (ω) + Y n (ω) x} ω : X n (ω) x + ε} ω : Y n (ω) > ε}, Тогда ω : X n (ω) x ε} ω : X n (ω) + Y n (ω) x} ω : Y n (ω) > ε}. ω : X n (ω) + Y n (ω) x} ω : X n (ω) x + ε} + ω : Y n (ω) > ε}, ω : X n (ω) x ε} ω : X n (ω) + Y n (ω) x} + ω : Y n (ω) > ε}. Следовательно, обозначая F n (x) := ω : X n (ω) x}, будем иметь F n (x ε) ω : Y n (ω) > ε} ω : X n (ω)+y n (ω) x} F n (x+ε)+ω : Y n (ω) > ε}. Переходя в этом неравенстве к пределу при n, с учетом того, что x ε, x+ε C F, получим соотношение F (x ε) lim ω : X n (ω) + Y n (ω) x} lim ω : X n (ω) + Y n (ω) x} F (x + ε). Теперь перейдем к пределу, устремляя ε 0: F (x) lim ω : X n (ω) + Y n (ω) x} lim ω : X n (ω) + Y n (ω) x} F (x). Следовательно lim ω : X n(ω) + Y n (ω) x} = F (x). Задача 3. Если последовательность функций распределения F n (x)} слабо сходится к функции распределения F (x) непрерывной на всей вещественной оси, то эта сходимость равномерна на всей вещественной оси: F n (x) w F (x), и F (x) C (,) F n (x) F (x) на R. Решение. Для произвольного ε > 0 возьмем натуральное m > 1/ε. Ввиду непрерывности функции F (x) найдутся точки x 1 <... < x m 1 такие, что F (x i) = i, i = 1,..., m 1. (!) m Ввиду слабой сходимости, в этих точках для всех n, начиная с некоторого, будут выполнены неравенства F n (x i) F (x i) < ε, i = 1,..., m 1. (!!) В силу неубывания функций распределения, а также свойств (!!) и (!) получаем следующие неравенства: при x [ x i, x i+1 ], (i = 1,..., m 2) F n (x) F (x) F n (x i+1) F (x i) F (x i+1) + ε F (x i) = 1 m + ε < 2ε. Аналогично, при x (, x 1 ] F n (x) F (x) F n (x 1) F (x 1) + ε = 1 m + ε < 2ε, 27
28 и при x [ x 1, x 2 ]... [ x m 2, x m 1 ] = F (x 0) F (x 0 1/m). lim X n = x 0 } lim = 0. m Задача 7. Если последовательность функций распределения F n (x)} сходится к функции распределения F (x) для всех x из некоторого всюду плотного множества на вещественной прямой, то w F n (x) F (x). Решение. Для решения этой задачи нужно доказать, что lim F n(x) = F (x) для всех x C F. () Пусть x C F, тогда для любого ε > 0 найдется δ 1 (ε) > 0 такое, что как только x S(x, δ 1 (ε)) x: x x < δ 1 (ε)}, то F (x) F (x) < ε. () Рассмотрим всюду плотное на вещественной прямой множество A такое, что lim F n(x) = F (x) для всех x A. () Tогда существует пара точек x, x A таких, что x δ 1 (ε) < x < x, x < x < x + δ 1 (ε). Так как для точек x, x выполняется свойство (), то для любого ε > 0 найдется N ε N такое, что как только n > N ε, то F n (x) F (x) < ε и F n (x) F (x) < ε. Следовательно, ввиду (), как только n > N ε, то F n (x) F (x) < 2ε и F n (x) F (x) < 2ε. 31
32 Отсюда, ввиду монотонности функции F n (x) для всех n > N ε получаем неравенство F n (x) F n (x) F n (x), F n (x) F (x) < 2ε. Cходимость () доказана. Замечание. Так как множество точек разрыва функции распределения (ввиду монотонности) является не более чем счетным, то множество её точек непрерывности является всюду плотным на вещественной оси. 32
ЛЕКЦИЯ 3А (4) Теорема Радона Никодима Это занятие будет посвящено доказательству теоремы Радона Никодима. Она будет нужна нам для того, чтобы доказать изоморфизм пространств L p (Ω) и (L q (Ω)) *, где
ЛАБОРАТОРНАЯ РАБОТА 5 ПРЕДЕЛЬНЫЙ ПЕРЕХОД ПОД ЗНАКОМ ИНТЕГРАЛА ЛЕБЕГА I. О с н о в н ы е п о н я т и я и т е о р е м ы Пусть X множество, -алгебра подмножеств множества X и на задана -аддитивная полная
Е.М. РУДОЙ МАТЕМАТИЧЕСКИЙ АНАЛИЗ. ЧИСЛОВЫЕ И ФУНКЦИОНАЛЬНЫЕ РЯДЫ НОВОСИБИРСК 200 2 МИНОБРНАУКИ РОССИИ ГОУ ВПО «НОВОСИБИРСКИЙ ГОСУДАРСТВЕННЫЙ ПЕДАГОГИЧЕСКИЙ УНИВЕРСИТЕТ» Е.М. Рудой МАТЕМАТИЧЕСКИЙ АНАЛИЗ.
Лекция 1 ТЕОРИЯ МЕРЫ ЛЕБЕГА ИЗ R 2. 1. Необходимость расширения понятия интеграла. Сначала обсудим построение интеграла Римана. Пусть функция f(x) определена на собственном отрезке . Определим разбиение
5. Теория меры, лекция 5: измеримые функции Мера и интеграл понятия весьма близкие. Мера множества есть интеграл его характеристической функции. Наоборот, если на пространстве задана мера, можно говорить
Действительный анализ. Лекция 4. 25 февраля 2009 1 Действительный анализ. IV семестр. 2009 год. Лектор Скворцов В. А. Об ошибках писать на [email protected] Лекция 4 25 февраля 2009 Лебег определял класс
Дата последнего обновления: 16 марта 2008 г. Список определений: 1.1 Неперекрывающиеся отрезки................................... 2 1.2 Система неперекрывающихся отрезков..............................
В.В. Жук, А.М. Камачкин 1 Степенные ряды. Радиус сходимости и интервал сходимости. Характер сходимости. Интегрирование и дифференцирование. 1.1 Радиус сходимости и интервал сходимости. Функциональный ряд
ЛЕКЦИЯ 4А Метрические пространства 1. Простейшие (и важнейшие) свойства метрических пространств 1) Непрерывность расстояния. Легко видеть, что функция «расстояние» ρ(x, y) непрерывна по каждому из аргументов.
МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИИ Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Новосибирский национальный исследовательский государственный
Лекция 1 Понятие случайного процесса и его конечномерные распределения Теория случайных процессов является частью теории вероятностей. Специфика теории случайных процессов состоит в том, что в ней рассматриваются
Список задач с решениями по функциональному анализу Пусть линейное нормированное пространство Доказать, что для любых элементов выполняется неравенство из аксиом нормы:, тогда: Можно ли в пространстве
Лекция 6 9 Принцип сжимающих отображений Теоремы о неподвижной точке Пусть D оператор, вообще говоря, нелинейный, действующий из банахова пространства B в себя Определение Оператор D, действующий из банахова
Тема 2 Полнота, компактность, внутренние метрики. 2.1 Сходимость и полнота Определение 2.1. Последовательность точек x 1, x 2,... метрического пространства (X, d) называется фундаментальной, если для любого
ЛЕКЦИЯ А Интеграл Римана Стилтьеса 1. Пусть f n (x) C[; b], g(x) BV[; b], f n (x) f(x) на [; b]. Тогда Действительно, в силу оценки f n (x)dg(x) f(x)dg(x). F (x)dg(x) F C[;b]V b (g) (1) и свойств линейности
Дополнительная Лекция 1 МЕТРИЧЕСКИЕ ПРОСТРАНСТВА. ДОПОЛНЕНИЕ 1. Простейшие свойства метрических пространств Свойство 1. Непрерывность расстояния. Легко видеть, что функция «расстояние» ρ(x, y) непрерывна
Г. Н. Яковлев Функциональные пространства УДК 517 Я47 Пособие содержит краткое введение в теорию метрических, нормированных и евклидовых пространств, а также в теорию обобщённых функций, и является заключительной
Глава 1. Пределы и непрерывность 1. Числовые множества 1 0. Действительные числа Из школьной математики Вы знаете натуральные N целые Z рациональные Q и действительные R числа Натуральные и целые числа
Пределы и непрерывность. Предел функции Пусть функция = f) определена в некоторой окрестности точки = a. При этом в самой точке a функция не обязательно определена. Определение. Число b называется пределом
Лекция 1. Вероятностное пространство Введение (Б.Паскаль, П.Ферма, Х.Гюйгенс, Я.Бернулли, К.Гаусс, П-С.Лаплас, С.Пуассон, П.Л.Чебышев, А.Н.Колмогоров и другие корифеи). Случайные эксперименты. Пространство
8 Комплексные числовые ряды Рассмотрим числовой ряд с комплексными числами вида k a, (46) где (a k) - заданная числовая последовательность с комплексными членами k Ряд (46) называется сходящимся, если
Московский Государственный Университет имени М. В. Ломоносова Факультет Вычислительной Математики и Кибернетики Кафедра Общей Математики Задачи по функциональному анализу (V семестр) лектор доцент Н. Ю.
А. Ю. Пирковский Функциональный анализ Лекция 4 4.1. Банаховы пространства Напомним, что последовательность (x n) в метрическом пространстве (, ρ) называется фундаментальной (или последовательностью Коши),
ЛЕКЦИИ 8 9 Теорема Хилле Иосиды S 3. Определение и элементарные свойства максимальных монотонных операторов Всюду на протяжении этих двух лекций символом H обозначено гильбертово пространство со скалярным
В.В. Жук, А.М. Камачкин 5 Функциональные последовательности и ряды. Равномерная сходимость, возможность перестановки предельных переходов, интегрирование и дифференцирование рядов и последовательностей.
Глава 28 ОБОБЩЕННЫЕ ФУНКЦИИ 28.1. Пространства D, D основных и обобщенных функций Понятие обобщенной функции обобщает классическое понятие функции и дает возможность выразить в математической форме такие
21. Компактность Компактность чрезвычайно важное техническое понятие топологии и анализа. Начнем с определения. Определение 21.1. Топологическое пространство X называется компактным, если оно обладает
Федеральное агентство по образованию Федеральное государственное образовательное учреждение высшего профессионального образования ЮЖНЫЙ ФЕДЕРАЛЬНЫЙ УНИВЕРСИТЕТ Р. М. Гаврилова, Г. С. Костецкая Методические
1. Определение и основные свойства интеграла Римана Определение разбиения Разбиением отрезка [, b] называется набор точек = x 1 < x 2 < < x n+1 = b. Разбиение обозначают буквой P. Разбиение может быть
ЛАБОРАТОРНАЯ РАБОТА 7 ПОЛНОТА И КОМПАКТНОСТЬ В МЕТРИЧЕСКИХ ПРОСТРАНСТВАХ. О С Н О В Н Ы Е П О Н Я Т И Я И Т Е О Р Е М Ы Определение. Пусть X. Отображение: X X R которое каждой паре (x y) X X ставит в
Семинар Лекция 3 АБСОЛЮТНО НЕПРЕРЫВНЫЕ ФУНКЦИИ 1. Определения и свойства Напомним определение, данное на лекции. Определение 1. Функция f(x) называется абсолютно непрерывной на отрезке [; b], если для
Теория меры, лекция 4: мера Лебега Миша Вербицкий 14 марта 2015 НМУ 1 Булевы кольца (повторение) ОПРЕДЕЛЕНИЕ: Булево кольцо есть кольцо, все элементы которого - идемпотенты. ЗАМЕЧАНИЕ: В булевом кольце
ГЛАВА УСТОЙЧИВОСТЬ ЛИНЕЙНЫХ СИСТЕМ В этой главе исследуется устойчивость самого простого класса дифференциальных систем линейных систем В частности, устанавливается, что для линейных систем с постоянными
ТЕМА V РЯД ФУРЬЕ ЛЕКЦИЯ 6 Разложение периодической функции в ряд Фурье Многие процессы происходящие в природе и технике обладают свойствами повторяться через определенные промежутки времени Такие процессы
Функции непрерывные на отрезке (теоремы Больцано-Коши, Вейерштрасса, Кантора). Функционалы непрерывные на компакте.. Теорема о промежуточных значениях Теорема. (Больцано-Коши) Пусть функция f непрерывна
ОПРЕДЕЛЁННЫЙ ИНТЕГРАЛ. Интегральные суммы и определённый интеграл Пусть дана функция y = f (), определённая на отрезке [, b ], где < b. Разобьём отрезок [, b ] с помощью точек деления на n элементарных
Московский Государственный Университет им МВЛомоносова Химический факультет Пособие для подготовки к экзамену по математическому анализу для студентов общего потока Третий семестр Числовые ряды Дифференциальные
ЛЕКЦИЯ 4А Метрические пространства 1 1. Примеры и контрпримеры Мы начнём с рассмотрения примеров, демонстрирующих необходимость осторожного использования интуиции при решении вопросов, связанных с метрическими
Лекция 5 ТОПОЛОГИЧЕСКИЕ ПРОСТРАНСТВА. 1. Определение топологического пространства Определение 1. Произвольное множество X с выделенной системой подмножеств τ множества X называется топологическим пространством
А. Ю. Пирковский Функциональный анализ Лекция 23 23.1. Компактные операторы в гильбертовом пространстве Про компактные операторы в банаховых пространствах нам уже довольно много известно (см. лекции 18
2. Степень с рациональным показателем; экспонента В дополнение к сказанному в предыдущей лекции укажем еще, как можно свести понятие предела к понятию непрерывности. Именно, выполнено следующее очевидное
В.В. Жук, А.М. Камачкин 7 Гильбертово пространство. Определение. Простейшие свойства скалярного произведения. Основная теорема. Ряды Фурье в гильбертовом пространстве. 7.1 Определение гильбертова пространства.
ПРЕДИСЛОВИЕ Пособие является продолжением . Оно создано на базе хорошо известных учебных пособий по математическому анализу [ 6]. В его основу положены лекции В. В. Жука, которые неоднократно читались
13. Экспонента и логарифм Для завершения доказательства предложения 12.8 нам остается дать одно определение и доказать одно предложение. Определение 13.1. Ряд a i называется абсолютно сходящимся, если
ЛЕКЦИЯ N Свойства бесконечно малых и бесконечно больших функций Замечательные пределы Непрерывность функций Свойства бесконечно малых Признаки существования предела 3Свойства бесконечно больших 4Первый
С. С. Платонов Элементы гармонического анализа Часть I. Ряды Фурье f(x) = n= c n e inx Петрозаводск 2010 Федеральное агентство по образованию Государственное образовательное учреждение высшего профессионального
Колодий А.М., Колодий Н.А. Лекции по теории вероятностей для студентов специальности «Математическое обе6спечение и администрирование информационных систем» 4. Предельные теоремы 4.. Закон больших чисел.
ДОПОЛНИТЕЛЬНЫЕ ГЛАВЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ Е. А. Бакланов ММФ НГУ, 2012 г. Г Л А В А 1 Вероятностные неравенства 1. Экспоненциальные неравенства. Всюду в этом параграфе X 1,..., X n независимые случайные
ВВЕДЕНИЕ В МАТЕМАТИЧЕСКИЙ АНАЛИЗ Тема: Предел и непрерывность функции Лекция 7 Предел функции СОДЕРЖАНИЕ: Предел функции в точке Предел функции на бесконечности Основные теоремы о пределах функций Бесконечно
Доказывает для различных условий сходимость по вероятности средних значений результатов большого числа наблюдений к некоторым постоянным величинам.
Тем самым, последовательность /t(/ m)> пг 1, является фундаментальной по вероятности, и, значит, согласно критерию Коши сходимости по вероятности , существует случайная величина , обозначаемая / (/), такая, что
Неравенство Чебышева. Сходимость по вероятности и ее свойства. Закон больших чисел в форме Чебышева.
Сходимость по распределению и ее свойства. Связь со сходимостью по вероятности. Теорема непрерывности. Характеристические функции.
Замечание. Сходимость по вероятности - u(Qv) у (Р0) когда N -> оо не вытекает из
Для того чтобы увидеть, почему это так, предположим, что вы сопоставляете сталелитейные компании, используя мультипликаторы цена / прибыль, и одна из фирм группы недавно декларировала очень низкую прибыль из-за забастовки, возникшей в прошлом году. Если вы не нормализуете прибыль, фирма будет выглядеть переоцененной относительно сектора, поскольку, по всей вероятности, рыночная цена будет основываться на ожидании, что трудности с рабочей силой , пусть даже и дорогостоящие, остались в прошлом. Если же для вынесения суждений по поводу сравнительной оценки вы используете такой мультипликатор, как цена / объем продаж и сопоставляете его со среднеотраслевым значением, то вы предполагаете, что раньше или позже будет наблюдаться сходимость маржи прибыли фирмы со среднеотраслевыми нормами.
Довольно часто гипотеза конвергенции неоклассической модели роста тестируется на примере регионов одной страны. Несмотря на то что возможно наличие расхождений между регионами по уровню развития технологий, предпочтений, и т.д., данные различия будут существенно менее значимыми, чем различия между странами. Поэтому вероятность наличия абсолютной конвергенции между регионами существенно выше, нежели между странами. Вместе с тем при использовании регионов для проверки гипотезы абсолютной сходимости нарушается важная предпосылка неоклассической модели роста - закрытость экономики . Очевидно, что культурные, лингвистические, институциональные и формальные барьеры для перемещения факторов оказываются менее значимыми для группы регионов одной страны. Однако показано, что даже в случае мобильности факторов и, таким образом, нарушения предпосылок исходной модели динамические свойства закрытой экономики и экономики со свободным
Поток с ограниченным последействием поток Пальма поток Эрланга k-то порядка закон распределения Эрланга k-то порядка с параметром Я нормированный поток Эрланга k-то порядка центральная предельная теорема для одинаково распределенных слагаемых случайных величин сходимость по вероятности мера последействия нормальное распределение нормальная кривая кривая Гаусса Гаусс К.Ф. Чебышёв П.Л.
Здесь plim - предел по вероятности стрелка в последнем условии обозначает сходимость по распределению.) Если эти условия выполнены, то при п - > со, как и в ситуации D,
Из леммы Фату следует, что этот процесс является (неотрицательным) супермартингалом, и, значит, по теореме Дуба о сходимости (см. ЗЬ, гл. III), с вероятностью единица существует и конечен lim Zt(- Zoo)
Особый интерес представляет одно из них, а именно - свойство аппроксимации плотности. В работе Паже (Pages, 1993) показано, что алгоритм СОК, завершающийся полным отсутствием соседей у нейрона-победителя в конце обучения, сходится, что соответствует сходимости классического метода гиногопараметри-ческого квантования или, иными словами, соревновательного обучения. Автор этой работы показывает, что после квантования нейроны представляют собой неплохой дискретный каркас для реконструкции начальной плотности при условии, что каждый нейрон взвешивается вероятностью, оцениваемой по частоте его области Вороного. При условии адекватного взвешивания нейронов полученный результат показывает, что начальные данные могут быть восстановлены, причем сам результат является точным, если число нейронов стремится к бесконечности.
В дальнейшем нам придется широко оперировать производными и интегралами от случайных процессов. Обе операции - дифференцирование и интегрирование - предполагают, как известно, сходимость некоторой последовательности величин к пределу. Но для случайных величин, задаваемых не детерминированно, а своими распределениями вероятностей, понятие сходимости к пределу (а тем самым и понятия непрерывности, дифференцируемости, интегрируемости для случайных функций) не может обладать тем же смыслом, какой вкладывается в него в анализе. Для последовательности случайных величин возможно лишь вероятностное определение сходимости к пределу, что, кстати сказать, открывает и более разнообразные возможности в выборе самого определения. Вероятностная сходимость существенна также и для рассмотрения так называемых эргодических свойств случайных функций, к чему мы обратимся в следующем параграфе.
Начнем, для простоты, с рассмотрения различных типов сходимости последовательности случайных величин к (неслучайному) числу а.
Один из видов вероятностной сходимости - сходимость в среднем квадратичном (ср. кв.), под которой понимается обращение в нуль среднего квадратичного отклонения от числа а при
что записывают в виде
Обозначение 1. i. m. составлено из начальных букв английского названия этого предела (limit in the mean square). Использование этого вида сходимости наиболее целесообразно в тех случаях, когда приходится иметь дело с квадратичными (в частности, имеющими энергетический смысл) комбинациями случайных величин.
Равенство (19.1) предполагает, очевидно, конечность самым конечно и среднее значение поскольку . Вычитая и прибавляя в скобках в (19.1), перепишем это равенство иначе:
Но предел суммы двух неотрицательных величин может быть равен нулю, только если равны нулю пределы обоих слагаемых, т. е.
Таким образом, -это предел последовательности средних значений а предел дисперсии равен нулю.
Другой вид вероятностной сходимости к а - сходимость по вероятности (по вер.) - определен следующим образом:
где, как обычно, - любое сколь угодно малое положительное число. В этом случае пишут
Равенство (19.2) означает, что вероятность попадания куда-либо вне сколь угодно узкого интервала в пределе обращается в нуль. Ввиду произвольной малости это в свою очередь означает, что плотность вероятности случайной величины переходит при . Однако отсюда отнюдь не следует, что а есть предел последовательности и что D стремится к нулю. Более того, могут неограниченно нарастать с увеличением N или даже быть бесконечными при всяком N. Пусть, например, неотрицательны и распределены по закону Коши:
При всяком предел при равен нулю, тогда как и предела не существует. Вместе с тем условие нормировки выполнено всегда:
так что стремится при . Нетрудно, однако, убедиться, что при любом N и бесконечны.
Сходимость по вероятности часто называют сходимостью в смысле закона больших чисел. Про случайные величины говорят, что они являются предельно постоянными, если существует такая последовательность постоянных что
Если все одинаковы (равны а), то это равенство переходит в (19.2), т. е. означает, что сходится по вероятности к а или же разность - а сходится по вероятности к нулю.
Сходимость по вероятности следует четко отличать от обычной сходимости
Действительно, относительно поведения эмпирических чисел - значений - математически доказать ничего нельзя. Доказаны могут быть только утверждения, относящиеся к теоретическим понятиям, в том числе к понятию вероятности, как оно определено в исходных аксиомах. В сходимости по вероятности речь идет не о том, что а при , а о том, что вероятность события стремится к единице. Связь этого утверждения с опытом заключена в «аксиоме измерения», согласно которой вероятность измеряется относительной частотой
наступления рассматриваемого случайного события в достаточно длинной серии испытаний, в достаточно обширном ансамбле систем и т. п.
Для лучшего уяснения этой принципиальной стороны вопроса остановимся на некоторых предельных теоремах теории вероятностей, объединяемых под общим названием закона больших чисел, а именно на теоремах, относящихся к тому случаю, когда в (19.2) есть среднеарифметическое N случайных величин
Мы производим серию из N испытаний, берем их результаты и вычисляем среднее (19.3). Затем мы смотрим, имеет ли место событие (назовем его событием BN), состоящее в том, что
Для того чтобы измерить вероятность события BN, мы должны осуществить очень большое число М серий по N испытаний, должны иметь коллектив таких серий. Закон больших чисел (19.2) утверждает, что чем длиннее серии, образующие коллектив (чем больше N), тем ближе к единице, т. е., по «аксиоме измерения», тем большее количество серий будет отвечать наступлению BN (в пределе - практически все):
Таким образом, это вполне содержательное утверждение, но оно становится таким только при четком сопоставлении математического понятия вероятности с эмпирическим понятием относительной частоты. Без этого закон больших чисел остается некоторой теоремой, логически вытекающей из определенной системы аксиом для величины Р, которая определена как вполне аддитивная, неотрицательная и нормированная к единице функция области.
Зачастую этот вопрос, который мы уже затрагивали в § 1, излагается в учебной литературе довольно сбивчиво, без четкого указания на то, что «аксиома измерения», связывающая понятия теории вероятностей с реальными явлениями, с экспериментом и практикой, не содержится в математической теории как таковой. Можно встретить утверждения о том, что фундамент успехов применения теории вероятностей в различных проблемах естествознания и техники заложен именно в законе больших чисел. Если бы это было так, то это означало бы, что
фундамент практических успехов есть логическое следствие определенных абстрактных аксиом и что эти математические аксиомы сами по себе предписывают, как должны вести себя эмпирические величины.
В принципе можно было бы исходить из других аксиом - и построить другую теорию вероятностей, выводы которой, будучи иными, чем в существующей теории, были бы столь же логически безупречны и столь же необязательны для реальных явлений. Положение здесь такое же, как и с различными возможными геометриями. Но как только математическая теория дополняется определенными способами измерения тех величин, с которыми она оперирует, и становится тем самым физической теорией, ситуация меняется. Правильность или неправильность теории перестает тогда быть вопросом только ее логической непротиворечивости, а становится вопросом ее соответствия реальным вещам и явлениям. Приобретает содержание вопрос об истинности самих аксиом, так как теперь это может быть подвергнуто экспериментальной и вообще практической проверке.
Однако еще до такой проверки необходимо внутреннее соответствие между обеими частями физической теории: устанавливаемые способы измерения величин не должны находиться в противоречии с теми уравнениями, которым подчиняет эти величины математическая часть теории. Например, уравнения движения Ньютона предполагают, что сила есть вектор, и поэтому несовместимы с таким способом измерения силы, который характеризовал бы ее только по абсолютной величине. Может быть, в действительности сила не вектор, а скажем, тензор, но это уже другой вопрос, касающийся того, насколько хорошо отражает объективную реальность данная физическая теория в целом. Мы же говорим сейчас лишь о том, что наличие противоречия между математической и измерительной частями физической теории делает ее несостоятельной еще до всякой проверки ее следствий на опыте.
С этой точки зрения закон больших чисел отличается от других - логически равносильных ему - теорем теории вероятностей лишь тем, что он, как будет видно из дальнейшего, особенно отчетливо и явно показывает совместимость математического определения вероятности и частотного способа ее измерения. Он показывает, что частотная «аксиома измерения» не противоречит математической теории, но последняя, разумеется, не заменяет и не может заменить эту «аксиому».
Доказательство различных теорем, имеющих форму закона больших чисел, использует обычно неравенство Чебышева, доказанное в его диссертации в 1846 г. Пусть случайная величина имеет конечную дисперсию Неравенство Чебышева
утверждает, что
Если, в частности, , то неравенство (19.4) принимает вид
Хотя неравенства (19.4) и (19.5) дают лишь весьма грубую оценку Р (более точную оценку можно получить, если иавестен закон распределения ), для теоретических построений они очень полезны и важны.
В случае, когда в неравенстве Чебышева есть среднее арифметическое (19.3) из N случайных величин неравенство (19.5) позволяет доказать теорему Чебышева, являющуюся довольно общим выражением закона больших чисел. А именно, если - последовательность попарно независимых случайных величин, имеющих равномерно ограниченные дисперсии (D С), то
Действительно,
Согласно неравенству Чебышева
откуда для вероятности противоположного события и следует теорема (19.6), т. е. сходимость по вероятности к
Частный случай теоремы Чебышева - теорема Пуассона. Пусть - случайные величины-фиксаторы исхода испытания или 0 в соответствии с наступлением или ненаступлением события А при испытании, при котором . Тогда
и теорема Чебышева дает
Это и есть теорема Пуассона. Еще более частный случай - когда . Тогда мы приходим к теореме Бернулли, одной из первых формулировок закона больших чисел:
Остановимся на этой простейшей форме закона. Теорема (19.8) показывает, что с ростом числа испытаний N относительная частота события А, т. е. эмпирическая величина сходится по вероятности к - вероятности события А. Если, бы это было не так, то было бы бессмысленно измерять вероятность при помощи относительной частоты. Но коль скоро это так, то частотный способ измерения вероятностей как (по относительной частоте наступления события А в серии из N испытаний), так и Р (на относительной частоте наступления события в коллективе из М серий по испытаний) может быть принят в качестве дополнения к математической теории, поскольку он ей не противоречит. После этого уже можно и спрашивать, и проверять на опыте, отражает ли получившаяся в результате физическая теория реальные статистические закономерности.
Любопытно, что для выполнения теоремы (19.8) при всяких значениях , т. е. для сходимости по вероятности
достаточно потребовать, чтобы эта сходимость имела место лишь для (относительная частота маловероятных событий должна быть мала).
Запишем теперь теорему Чебышева для случая, когда все - а. Тогда
и теорема принимает вид
что является основой правила среднего арифметического при измерениях. Отдельные могут сильно отклоняться от а, но с вероятностью имеем а при Это происходит потому, что при вычислении среднего значения случайные отклонения отдельных слагаемых компенсируются и в подавляющем большинстве случаев отклонение оказывается очень малым.
Отклонения от а могут быть случайными ошибками измерения. Но если сама точность отсчета при измерении не меньше , т. е. присутствует систематическая ошибка, связанная с ценой деления шкалы, то и точность не меньше при любом N, так что бессмысленно, апеллируя к закону больших чисел, стремиться получить и в этом случае значение а с погрешностью, меньшей , за счет Довольно широко распространено заблуждение, будто бы среднее арифметическое позволяет превзойти ограниченную снизу точность измерения и получать, скажем, с помощью щиткового амперметра отсчет силы тока с точностью до микроамперов.
Возможна и другая ситуация: сама измеряемая величина может быть случайной (шумовой ток и т. п.). Тогда мы можем быть уверены что при , т. е. среднее арифметическое стремится к математическому ожиданию случайной величины.
Условие взаимной независимости результатов измерения случайной величины требует, вообще говоря, выполнения ее замеров через достаточно большие промежутки времени. Однако для справедливости закона больших чисел само это условие независимости не необходимо, так как неравенство Чебышева требует лишь при . Мы не будем останавливаться на более общих теоремах и на необходимых и достаточных условиях, при которых для среднего арифметического справедлив закон больших чисел, так как эти условия касаются самой величины и поэтому менее интересны практически, чем более узкие условия, но относящиеся к отдельным слагаемым
В 1909 г. Э. Борелем (затем - в более общей форме - Ф. П. Кантелли, потом А. Н. Колмогоровым) было доказано более сильное утверждение, чем закон больших чисел. По теореме Бернулли
По Борелю (усиленный закон больших чисел)
т. е. с достоверностью, или, как принято говорить, «почти наверное», относительная частота имеет своим пределом вероятность . Это еще более твердое основание для того, чтобы измерять вероятность относительной частотой.
Опираясь на (19.9), можно ввести еще один вид вероятностной сходимости - сходимость в смысле усиленного закона больших чисел, которую называют также сходимостью с вероятноностью или сходимостью почти наверное :
(19.10)
Коротко это можно записать в виде
Иногда в связи с определением (19.10) возникает недоумение по поводу того, что в нем фигурирует обычный предел последовательности случайных величин. Создается впечатление, что мы как будто отступаем здесь от высказанного выше утверждения, что сходимость случайных величин может иметь только вероятностный смысл. Но именно об этом идет речь и в данном случае. Среди различных реализаций последовательности возможны и такие реализации, которые сходятся к а в обычном смысле. Можно показать, что множество таких реализаций обладает определенной вероятностью Р . Сходимость почти наверное означает, что эта вероятность, т. е. вероятность случайного события равна единице. Иначе говоря, реализации сходящиеся к а в обычном смысле, «почти исчерпывают» множество всех возможных реализаций последовательности Таким образом, мы никуда не уходим в (19.10) от вероятностного определения сходимости, хотя теперь имеется в виду не предел вероятности (как в сходимости по вероятности), а вероятность предела.
Приведем два из условий сходимости к а почти наверное. Одно из них - необходимое и достаточное
Однако на практике это условие никогда нельзя проверить. Другое - более сильное достаточное условие - состоит в том,
что при каком-либо должен сходиться ряд
Другие достаточные условия и вообще детальную математическую дискуссию вопросов, касающихся вероятностной сходимости, можно найти в книгах (гл. 3) и (гл. 1).
Сходимость в среднем квадратичном влечет за собой (в силу неравенства Чебышева) сходимость по вероятности, а если все почти наверное равномерно ограничены по модулю, то, и обратно, из сходимости по вероятности следует сходимость в среднем квадратичном. Сходимость почти наверное также влечет за собой сходимость по вероятности, но не сходимость в среднем квадратичном; в то же время и сходимость в среднем квадратичном не влечет за собой сходимости почти наверное.
Это сходимость последовательности случайных величин Х 1, Х 2, . . ., Х n, . . ., заданных на нек-ром вероятностном пространствек случайной величине X, определяемая следующим образом:
если для любого
5.4 Закон больших числе в форме Чебышёва
Пусть последовательность Х 1, Х 2, . . ., Х n, . . случайных величин удовлетворяет закону больших чисел, если для любого
Иными словами, выполнение закона больших чисел отражает предельную устойчивость средних арифметических случайных величин: при большом числе испытаний они практически перестают быть случайными и совпадают со ссвоими средними значениями.
Последовательность Х 1, Х 2, . . ., Х n, . . удовлетворяет закону больших чисел тогда и только тогда, когда среднее арифметическое случайных величин X 1 -m 1 Х 2 -m 2 , . . ., Х n -m n сходятся по вероятности к нулю при
5.5 Закон больших чисел в форме Бернулли (схема Бернулли)
Пусть
производится последовательность
независимых испытаний, в результате
каждого из которых может наступить или
не наступить событие А, причем вероятность
наступления этого события одна и та же
при каждом испытании и равна р. Если
событие А фактически произошло m раз в
n испытаниях, то отношение m/n называют,
как мы знаем, частотой появления события
А. Частота есть случайная величина,
причем вероятность того, что частота
принимает значение m/n, выражается по
формуле Бернулли
Закон
больших чисел в форме Бернулли состоит
в следующем: с вероятностью, сколь угодно
близкой к единице, можно утверждать,
что при достаточно большом числе опытов
частота появления события А как угодно
мало отличается от его вероятности, т.
е.
иными
словами, при неограниченном увеличении
числа n опытов частота m/n события А
сходится по вероятности к Р(А).
5.6 Центральная предельная теорема (формулировка, пример применения для решения задач)
Закон распределения суммы независимых случайных величин Xi (i =1,2,…, n) приближается к нормальному закону распределения при неограниченном увеличении n, если выполняются следующие условия:
1) все величины имеют конечные математические ожидания и дисперсии:
2) ни одна из величин по значению резко не отличается от остальных:
5.7 Центральная предельная теорема в случае схемы Бернулли (теорема Муавра-Лапласа).
Если вероятность p наступления события A в каждом испытании
постоянна и отлична от нуля и единицы, а число независимых испытаний
достаточно велико, то вероятность можно вычислять по приближённой
(тем
точнее, чем больше n)
Глава 1. Случайные события
1. Случайные события: элементарные, достоверные, невозможные, несовместные, совместные, равновозможные. Попарно-несовместные, образующие полную группу. Пространство элементарных событий. Случай.
2. Сумма, произведение, разность, отрицание. Теоретико-множественная трактовка. Диаграммы Эйлера-Венна. Алгебра событий. Понятие сигма-алгебры.
3. Частота события. Свойство статистической устойчивости. Статистическое определение вероятности.
4. Классическое определение вероятности события. Непосредственное вычисление вероятностей.
5. Комбинаторика: правило умножения и сложения. Основные схемы: с возвращением, без возвращения. Понятия размещения, сочетания, перестановки.
6. Геометрическое определение вероятности.
7. Аксиоматическое определение вероятности. Свойства вероятностей.
8. Вероятностное пространство.
9. Условная вероятность.
10. Вероятность произведения событий.
11. Независимость событий.
12. Вероятность суммы событий.
13. Формула полной вероятности.
14. Формула Байеса.
15. Понятие простой однородной цепи Маркова.
16. Независимые испытания. Схема Бернулли. Формула Бернулли. Многоугольник распределения вероятностей.
17. Предельные теоремы в схеме Бернулли: формула Пуассона, локальная и интегральная теоремы Муавра-Лапласа.
18. Схема Бернулли. Наивероятнейшее число.
