Этот пост является вольным переводом ответа, который Mark Eichenlaub дал на вопрос What"s an intuitive way to understand entropy? , заданный на сайте Quora

Энтропия. Пожалуй, это одно из самых сложных для понимания понятий, с которым вы можете встретиться в курсе физики, по крайней мере если говорить о физике классической. Мало кто из выпускников физических факультетов может объяснить, что это такое. Большинство проблем с пониманием энтропии, однако, можно снять, если понять одну вещь. Энтропия качественно отличается от других термодинамических величин: таких как давление, объём или внутренняя энергия, потому что является свойством не системы, а того, как мы эту систему рассматриваем. К сожалению в курсе термодинамики её обычно рассматривают наравне с другими термодинамическими функциями, что усугубляет непонимание.

Так что же такое энтропия?

Энтропия - это то, как много информации вам не известно о системе

А что если бы я вам сказал, что сумма равна 59? Для этого макросостояния существует всего 10 возможных микросостояний, так что его энтропия равна всего лишь одному символу. Как видите, разные макросостояния имеют разные энтропии.

Пусть теперь я вам скажу, что сумма первых пяти костей 13, а сумма остальных пяти - 17, так что общая сумма снова 30. У вас, однако, в этом случае имеется больше информации, поэтому энтропия системы для вас должна упасть. И, действительно, 13 на пяти костях можно получить 420-ю разными способами, а 17 - 780-ю, то есть полное число микросостояний составит всего лишь 420х780 = 327 600. Энтропия такой системы приблизительно на один символ меньше, чем в первом примере.

Мы измеряем энтропию как количество символов, необходимых для записи числа микросостояний. Математически это количество определяется как логарифм, поэтому обозначив энтропию символом S, а число микросостояний символом Ω, мы можем записать:

Это есть ничто иное как формула Больцмана (с точностью до множителя k, который зависит от выбранных единиц измерения) для энтропии. Если макросостоянию отвечают одно микросостояние, его энтропия по этой формуле равна нулю. Если у вас есть две системы, то полная энтропия равна сумме энтропий каждой из этих систем, потому что log(AB) = log A + log B.

Из приведённого выше описания становится понятно, почему не следует думать об энтропии как о собственном свойстве системы. У системы есть опеделённые внутренняя энергия, импульс, заряд, но у неё нет определённой энтропии: энтропия десяти костей зависит от того, известна вам только их полная сумма, или также и частные суммы пятёрок костей.

Другими словами, энтропия - это то, как мы описываем систему. И это делает её сильно отличной от других величин, с которыми принято работать в физике.

Физический пример: газ под поршнем

Хотя вы, скорее всего, лучше знакомы с уравнением Клапейрона - Менделеева pV = νRT - это то же самое уравнение, только с добавлением пары констант, чтобы вас запутать. Чем больше микросостояний отвечают данному макросостоянию, то есть чем больше частиц входят в состав нашей системы, тем лучше уравнение состояния её описывают. Для газа характерные значения числа частиц равны числу Авогадро, то есть составляют порядка 10 23 .

Величины типа давления, температуры и плотности называются усреднёнными, поскольку являются усреднённым проявлением постоянно сменяющих друг друга микросостояний, отвечающих данному макросостоянию (или, вернее, близким к нему макросостояниям). Чтобы узнать в каком микросостоянии находится система, нам надо очень много информации - мы должны знать положение и скорость каждой частицы. Количество этой информации и называется энтропией.

Как меняется энтропия с изменением макросостояния? Это легко понять. Например, если мы немного нагреем газ, то скорость его частиц возрастёт, следовательно, возрастёт и степень нашего незнания об этой скорости, то есть энтропия вырастет. Или, если мы увеличим объём газа, отведя поршень, увеличится степень нашего незнания положения частиц, и энтропия также вырастет.

Твёрдые тела и потенциальная энергия

Если кусок металла, поднятый на некоторую высоту, отпустить, то его потенциальная энергия будет переходить в кинетическую энергию, но энтропия возрастать практически не будет, потому что все атомы будут двигаться приблизительно одинаково. Но когда кусок упадёт на землю, во время удара атомы металла получат случайное направление движения, и энтропия резко увеличится. Кинетическая энергия направленного движения перейдёт в кинетическую энергию теплового движения. Перед ударом мы приблизительно знали, как движется каждый атом, теперь мы эту информацию потеряли.

Понимаем второй закон термодинамики

Перемешивание газов

Если открыть перегородку, газы начнут перемешиваться, потому что число микросостояний, в которых газы перемешаны, намного больше, чем микросостояний, в которых они разделены, и все микросостояния, естественно, равновероятны. Когда мы открыли перегородку, для каждой молекулы мы потеряли информацию о том, с какой стороны перегородки она теперь находится. Если молекул было N, то утеряно N бит информации (биты и символы, в данном контексте, это, фактически, одно и тоже, и отличаются только неким постоянным множителем).

Разбираемся с демоном Максвелла

Решается этот парадокс, однако, очень просто. Ведь энтропия - это свойство не системы, а нашего знания об этой системе. Мы с вами знаем о системе мало, поэтому нам и кажется, что её энтропия уменьшается. Но наш демон знает о системе очень много - чтобы разделять молекулы, он должен знать положение и скорость каждой из них (по крайней мере на подлёте к нему). Если он знает о молекулах всё, то с его точки зрения энтропия системы, фактически, равна нулю - у него просто нет недостающей информации о ней. В этом случае энтропия системы как была равна нулю, так и осталась равной нулю, и второй закон термодинамики нигде не нарушился.

Но даже если демон не знает всей информации о микросостоянии системы, ему, как минимум, надо знать цвет подлетающей к нему молекулы, чтобы понять, пропускать её или нет. И если общее число молекул равно N, то демон должен обладать N бит информации о системе - но именно столько информации мы и потеряли, когда открыли перегородку. То есть количество потерянной информации в точности равно количеству информации, которую необходимо получить о системе, чтобы вернуть её в исходное состояние - и это звучит вполне логично, и опять же не противоречит второму закону термодинамики.

30. Что такое стационарный процесс?

Стационарность - свойство процесса не менять свои характеристики со временем. Имеет смысл в нескольких разделах науки. Стационарность случайного процесса означает неизменность во времени его вероятностных закономерностей

Временной ряд – это конечная реализация стохастического процесса: генерации набора случайных переменных Y(t).

Стохастический процесс может быть стационарным и нестационарным. Процесс является стационарным, если

1. Математическое ожидание значений переменных не меняется.

2. Математическое ожидание дисперсий переменных не меняется.

3. Нет периодических флуктуаций.

Распознавание стационарности:

1. График: систематический рост или убывание, волны и зоны высокой волатильности (дисперсии) в длинном ряде сразу видны.

2. Автокорреляция (убывает при росте лага)

3. Тесты тренда: проверка гипотезы о равенстве нулю коэффициента при t.

4. Специальные тесты, включённые в пакеты компьютерных программ Stata,

31.Свойства временных рядов.

Эконометрическую модель можно построить, используя три типа исходных данных:

Данные, характеризующие совокупность различных объек­тов в определенный момент (период) времени: cross sectional data , “пространственные”;

Данные, характеризующие один объект за ряд последова­тельных моментов

(периодов) времени: временные ряды, time series ;

данные, характеризующие совокупность различных объек­тов за ряд последова­тельных моментов времени: panel data , “панельные”.

Временной ряд – это совокупность значений какого-либо показателя за несколько последовательных моментов (периодов) времени. Он формируется под воздействием большого числа факторов, которые можно условно подразделить на три группы:

факторы, формирующие тенденцию (тренд ) ряда;

факторы, формирующие циклические колебания ряда, например сезонный, недельный; для рядов цен на фондовом рынке характерны непериодические колебания;

случайные факторы.

Модели, которые построены по данным, характеризующим один объект за ряд последовательных периодов, называются моделями временных рядов.

Каждый уровень временного ряда может формироваться их трендовой (Т), циклической или сезонной компоненты (S), а также случайной (E) компоненты.

Модели, где временной ряд представлен в виде суммы перечисленных компонентов называются аддитивными, если в виде произведения – мультипликативными моделями.

Аддитивная модель имеет вид : Y=T+S+E

Мультипликативная модель имеет вид : Y=T*S*E

Построение модели временного ряда :

производят выравнивание временного ряда (например методом скользящей средней); 2. Рассчитывают значения сезонной компоненты; 3. Устраняют сезонную компоненту и получают выровненный ряд; 4. Проводят аналитическое выравнивание уровней (T и E) и расчет значений Е с использованием полученного уравнения тренда; 5. Расчитывают значения Т и Е; 6. Расчитывают абсолютные и относительные ошибки.

Построение аналитической функции при моделировании тренда в любой задаче по эконометрике на временные ряды называют аналитическим выравниванием временного ряда и в основном применяются функции: линейная, степенная, гиперболическая, параболическая и т.д.

Параметры тренда определяются как и в случае линейной регрессии методом МНК, где в качестве независимой переменной выступает время, а в качестве зависимой переменной – уровни временного ряда. Критерием отбора наилучшей формы тренда служит наибольшее значение коэффициента детерминации, критерии Фишера и Стьюдента.

Автокорреляция в остатках – корреляционная зависимость между значениями остатков за текущий и предыдущие моменты времени. Для определения автокорреляции остатков используется критерий Дарбина-Уотсона:

Временной ряд – это датированная целочисленными моментами времени t экономическая переменная. Эта переменная служит количественной характеристикой некоторого экономического объекта, поэтому изменение этой переменной во времени определяется факторами, оказывающими воздействие на данный объект с ходом времени.

Все факторы делятся на 3 класса. 1 класс: факторы («вековые» воздействия), результирующее влияние которых на данный объект на протяжении длительного отрезка времени не изменяют своего направления. Они порождают монотонную составляющую (тенденцию или тренд). 2 класс: факторы (циклические воздействия), результирующее влияние которых на объект совершает законченный круг в течение некоторого фиксированного промежутка времени T. 3 класс: факторы (случайные воздействия),результирующее влияние которых на объект с высокой скоростью меняет направление и интенсивность. 3 Класс факторов позволяют интерпретировать величину в каждый период времени как случайную переменную

Определение [ | ]

где T {\displaystyle T} произвольное множество , называется случайной функцией .

Терминология [ | ]

Данная классификация нестрогая. В частности, термин «случайный процесс» часто используется как безусловный синоним термина «случайная функция».

Классификация [ | ]

• Случайный процесс X (t) {\displaystyle X(t)} называется процессом дискретным во времени , если система, в которой он протекает, меняет свои состояния только в моменты времени t 1 , t 2 , … {\displaystyle \;t_{1},t_{2},\ldots } , число которых конечно или счётно. Случайный процесс называется процессом с непрерывным временем , если переход из состояния в состояние может происходить в любой момент времени.
• Случайный процесс называется процессом с непрерывными состояниями , если значением случайного процесса является непрерывная случайная величина. Случайный процесс называется случайным процессом с дискретными состояниями , если значением случайного процесса является дискретная случайная величина:
• Случайный процесс называется стационарным , если все многомерные законы распределения зависят только от взаимного расположения моментов времени t 1 , t 2 , … , t n {\displaystyle \;t_{1},t_{2},\ldots ,t_{n}} , но не от самих значений этих величин. Другими словами, случайный процесс называется стационарным , если его вероятностные закономерности неизменны во времени. В противном случае, он называется нестационарным .
• Случайная функция называется стационарной в широком смысле , если её математическое ожидание и дисперсия постоянны, а АКФ зависит только от разности моментов времени, для которых взяты ординаты случайной функции. Понятие ввёл А. Я. Хинчин .
• Случайный процесс называется процессом со стационарными приращениями определённого порядка, если вероятностные закономерности такого приращения неизменны во времени. Такие процессы были рассмотрены Ягломом .
• Если ординаты случайной функции подчиняются нормальному закону распределения , то и сама функция называется нормальной .
• Случайные функции, закон распределения ординат которых в будущий момент времени полностью определяется значением ординаты процесса в настоящий момент времени и не зависит от значений ординат процесса в предыдущие моменты времени, называются марковскими .
• Случайный процесс называется процессом с независимыми приращениями , если для любого набора t 1 , t 2 , … , t n {\displaystyle t_{1},t_{2},\ldots ,t_{n}} , где n > 2 {\displaystyle n>2} , а t 1 < t 2 < … < t n {\displaystyle t_{1}, случайные величины (X t 2 − X t 1) {\displaystyle (X_{t_{2}}-X_{t_{1}})} , (X t 3 − X t 2) {\displaystyle (X_{t_{3}}-X_{t_{2}})} , … {\displaystyle \ldots } , (X t n − X t n − 1) {\displaystyle (X_{t_{n}}-X_{t_{n-1}})} независимы в совокупности.
• Если при определении моментных функций стационарного случайного процесса операцию усреднения по статистическому ансамблю можно заменить усреднением по времени, то такой стационарный случайный процесс называется эргодическим .
• Среди случайных процессов выделяют импульсные случайные процессы .

Траектория случайного процесса [ | ]

Пусть дан случайный процесс { X t } t ∈ T {\displaystyle \{X_{t}\}_{t\in T}} . Тогда для каждого фиксированного t ∈ T {\displaystyle t\in T} X t {\displaystyle X_{t}} - случайная величина, называемая сечением . Если фиксирован элементарный исход ω ∈ Ω {\displaystyle \omega \in \Omega } , то X t: T → R {\displaystyle X_{t}\colon T\to \mathbb {R} } - детерминированная функция параметра t {\displaystyle t} . Такая функция называется траекто́рией или реализа́цией случайной функции { X t } {\displaystyle \{X_{t}\}} .

Определение. Случайным процессом Х (t ) называется процесс, значение которого при любом значении аргумента t является случайной величиной.

На практике часто встречаются случайные процессы, протекающие во времени приблизительно однородно и имеющие вид случайных колебаний вокруг некоторого среднего значения, причем ни средняя амплитуда, ни характер этих колебаний существенно не изменяются с течением времени. Такие случайные процессы называются стационарными . Примерами стационарных случайных процессов могут служить колебания самолета на установившемся режиме горизонтального полета, колебания напряжения в электрической цепи, случайные шумы в радиоприемнике, процесс качки корабля, и т.д.

Каждый стационарный процесс можно рассматривать как продолжающийся во времени непрерывно долго, и при исследовании стационарного процесса в качестве начала отсчета можно выбрать любой момент времени. Исследуя стационарный процесс на любом участке времени, мы должны получить одни и те же его характеристики.

Как правило, случайный процесс в любой динамической системе начинается с нестационарной стадии, после чего система обычно переходит в установившийся режим, и тогда процессы, происходящие в ней, можно считать стационарными. В связи с этим получила широкое применение теория стационарных случайных процессов или, точнее, теория стационарных случайных функций (так как аргументом стационарной случайной функции в общем случае может быть и не время).

Определение . Случайная функция Х (t ) называется стационарной , если все ее вероятностные характеристики не зависят от t (точнее, не меняются при любом сдвиге аргументов, от которых они зависят, по оси t ).

В предыдущей главе при изучении случайных функций мы не пользовались такими вероятностными характеристиками, как законы распределения: изучались только математическое ожидание, дисперсия и корреляционная функция. Сформулируем определение стационарной случайной функции в терминах этих характеристик.

Так как изменение стационарной случайной функции должно протекать однородно по времени, естественно потребовать, чтобы ее математическое ожидание было постоянным:

m x (t ) = m x = const .

Обратим внимание, однако, на то, что это требование не является существенным: мы знаем, что от случайной функции Х (t ) всегда можно перейти к центрированной случайной функции , для которой математическое ожидание тождественно равно нулю. Таким образом, если случайный процесс нестационарен только за счет математического ожидания, то это не мешает изучать его как стационарный.

Второе условие, которому, очевидно, должна удовлетворять стационарная случайная функция, - это условие постоянства дисперсии:

D x (t ) = D x = const .

Теперь установим, какому условию должна удовлетворять корреляционная функция стационарной случайной функции. Рассмотрим случайную функцию Х (t ) и положим в выражении K x (t 1 , t 2) t 2 = t 1 + τ . Рассмотрим теперь K x (t 1 , t 1 + τ ) – корреляционный момент двух сечений случайной функции, разделенных интервалом времени τ . Очевидно, если случайный процесс действительно стационарен, то этот корреляционный момент не должен зависеть от того , где именно на оси 0t мы взяли участок τ , а только от длины этого участка. Т.е., корреляционная функция стационарного случайного процесса должна зависеть только от промежутка между первым и вторым аргументами

K x (t 1 , t 1 + τ ) = k x (τ ).

Т.о., корреляционная функция стационарного случайного процесса есть функция одного аргумента, что сильно упрощает операции над стационарными случайными функциями.

Заметим, что постоянство дисперсии является частным случаем приведенной формулы, т.к. D x (t ) = K x (t , t ) = k x (0) = const .

Таким образом, переформулируем с помощью вышеприведенных рассуждений определение стационарной случайной функции – это есть случайная функция Х (t ), математическое ожидание которой постоянно при всех значениях аргумента t и корреляционная функция которой зависит только от разности аргументов t 2 - t 1 . При этом корреляционная функция есть функция одного аргумента, а дисперсия равна значению корреляционной функции в начале координат (при τ = t 2 - t 1 = 0).

Свойства корреляционной функции стационарной функции .

1 0 . Корреляционная функция стационарной случайной функции – четная функция: k x (τ ) = k x (-τ ). Это следует из того, что K x (t 1 , t 2) = K x (t 2 , t 1).

2 0 . Абсолютная величина корреляционной функции стационарной случайной функции не превышает ее значения в начале координат: |k x (τ )| ≤ k x (0).

На практике вместо корреляционной функции k x (τ ) часто пользуются нормированной корреляционной функцией :

ρ x (τ ) = ,

где D x = k x (0) – постоянная дисперсия стационарного процесса. Очевидно, что ρ x (0) ≡ 1.

Введем еще одно понятие, связанное со стационарностью.

Определение . Две случайные функции называются стационарно связанными , если их взаимная корреляционная функция зависит только от разности аргументов.

Обратим внимание на то, что не всякие две стационарные функции стационарно связаны; с другой стороны, две нестационарные функции могут быть стационарно связаны.

Определение [ | ]

где T {\displaystyle T} произвольное множество , называется случайной функцией .

Терминология [ | ]

Данная классификация нестрогая. В частности, термин «случайный процесс» часто используется как безусловный синоним термина «случайная функция».

Классификация [ | ]

• Случайный процесс X (t) {\displaystyle X(t)} называется процессом дискретным во времени , если система, в которой он протекает, меняет свои состояния только в моменты времени t 1 , t 2 , … {\displaystyle \;t_{1},t_{2},\ldots } , число которых конечно или счётно. Случайный процесс называется процессом с непрерывным временем , если переход из состояния в состояние может происходить в любой момент времени.
• Случайный процесс называется процессом с непрерывными состояниями , если значением случайного процесса является непрерывная случайная величина. Случайный процесс называется случайным процессом с дискретными состояниями , если значением случайного процесса является дискретная случайная величина:
• Случайный процесс называется стационарным , если все многомерные законы распределения зависят только от взаимного расположения моментов времени t 1 , t 2 , … , t n {\displaystyle \;t_{1},t_{2},\ldots ,t_{n}} , но не от самих значений этих величин. Другими словами, случайный процесс называется стационарным , если его вероятностные закономерности неизменны во времени. В противном случае, он называется нестационарным .
• Случайная функция называется стационарной в широком смысле , если её математическое ожидание и дисперсия постоянны, а АКФ зависит только от разности моментов времени, для которых взяты ординаты случайной функции. Понятие ввёл А. Я. Хинчин .
• Случайный процесс называется процессом со стационарными приращениями определённого порядка, если вероятностные закономерности такого приращения неизменны во времени. Такие процессы были рассмотрены Ягломом .
• Если ординаты случайной функции подчиняются нормальному закону распределения , то и сама функция называется нормальной .
• Случайные функции, закон распределения ординат которых в будущий момент времени полностью определяется значением ординаты процесса в настоящий момент времени и не зависит от значений ординат процесса в предыдущие моменты времени, называются марковскими .
• Случайный процесс называется процессом с независимыми приращениями , если для любого набора t 1 , t 2 , … , t n {\displaystyle t_{1},t_{2},\ldots ,t_{n}} , где n > 2 {\displaystyle n>2} , а t 1 < t 2 < … < t n {\displaystyle t_{1}, случайные величины (X t 2 − X t 1) {\displaystyle (X_{t_{2}}-X_{t_{1}})} , (X t 3 − X t 2) {\displaystyle (X_{t_{3}}-X_{t_{2}})} , … {\displaystyle \ldots } , (X t n − X t n − 1) {\displaystyle (X_{t_{n}}-X_{t_{n-1}})} независимы в совокупности.
• Если при определении моментных функций стационарного случайного процесса операцию усреднения по статистическому ансамблю можно заменить усреднением по времени, то такой стационарный случайный процесс называется эргодическим .
• Среди случайных процессов выделяют импульсные случайные процессы .

Траектория случайного процесса [ | ]

Пусть дан случайный процесс { X t } t ∈ T {\displaystyle \{X_{t}\}_{t\in T}} . Тогда для каждого фиксированного t ∈ T {\displaystyle t\in T} X t {\displaystyle X_{t}} - случайная величина, называемая сечением . Если фиксирован элементарный исход ω ∈ Ω {\displaystyle \omega \in \Omega } , то X t: T → R {\displaystyle X_{t}\colon T\to \mathbb {R} } - детерминированная функция параметра t {\displaystyle t} . Такая функция называется траекто́рией или реализа́цией случайной функции { X t } {\displaystyle \{X_{t}\}} | ]