Esta publicación es una traducción gratuita de la respuesta que Mark Eichenlaub dio a la pregunta ¿Cuál es una forma intuitiva de entender la entropía? formulada en el sitio web de Quora.

Entropía. Este es quizás uno de los conceptos más difíciles de entender que puedes encontrar en un curso de física, al menos cuando se trata de física clásica. Pocos graduados en física pueden explicar qué es. Sin embargo, la mayoría de los problemas relacionados con la comprensión de la entropía se pueden resolver entendiendo una cosa. La entropía es cualitativamente diferente de otras cantidades termodinámicas: como la presión, el volumen o energía interna, porque no es una propiedad del sistema, sino de cómo consideramos este sistema. Desafortunadamente, en los cursos de termodinámica se suele tratar en igualdad de condiciones con otras funciones termodinámicas, lo que agrava los malentendidos.

Entonces, ¿qué es la entropía?

La entropía es la cantidad de información que no se conoce sobre un sistema.

¿Y si te dijera que la suma es 59? Sólo hay 10 microestados posibles para este macroestado, por lo que su entropía es sólo un símbolo. Como puede ver, diferentes macroestados tienen diferentes entropías.

Ahora déjame decirte que la suma de los primeros cinco dados es 13 y la suma de los cinco restantes es 17, entonces cantidad total nuevamente 30. Sin embargo, usted tiene más información en este caso, por lo que la entropía del sistema debería caer para usted. Y, efectivamente, 13 en cinco dados pueden sacar 420. diferentes caminos, y 17 - 780, es decir numero completo Los microestados serán solo 420x780 = 327,600. La entropía de dicho sistema es aproximadamente un carácter menos que en el primer ejemplo.

Medimos la entropía como la cantidad de símbolos necesarios para escribir la cantidad de microestados. Matemáticamente, esta cantidad se define como un logaritmo, por lo que denotando la entropía con el símbolo S, y el número de microestados con el símbolo Ω, podemos escribir:

Esto no es más que la fórmula de Boltzmann (hasta un factor k, que depende de las unidades de medida elegidas) para la entropía. Si un macroestado corresponde a un microestado, su entropía según esta fórmula es igual a cero. Si tienes dos sistemas, entonces la entropía total es igual a la suma de las entropías de cada uno de esos sistemas, porque log(AB) = log A + log B.

De la descripción anterior queda claro por qué no se debe pensar en la entropía como propia propiedad sistemas. El sistema tiene una cierta energía interna, un impulso, una carga, pero no tiene una entropía determinada: la entropía de diez dados depende de si se conoce sólo su suma total, o también las sumas parciales de los cinco dados.

En otras palabras, la entropía es la forma en que describimos un sistema. Y esto la hace muy diferente de otras cantidades con las que se acostumbra trabajar en física.

Ejemplo físico: gas debajo de un pistón

Si bien probablemente esté más familiarizado con la ecuación de Clapeyron-Mendeleev pV = νRT, es la misma ecuación, solo que con un par de constantes agregadas para confundirlo. Cuantos más microestados correspondan a un macroestado determinado, es decir, cuantas más partículas formen parte de nuestro sistema, mejor lo describirá la ecuación de estado. para gasolina valores característicos el número de partículas es igual al número de Avogadro, es decir, son unas 10·23.

Valores como la presión, la temperatura y la densidad se denominan promediados, ya que son la manifestación promediada de microestados en constante cambio correspondientes a un macroestado determinado (o, más bien, macroestados cercanos a él). Para saber en qué microestado se encuentra el sistema, necesitamos mucha información: necesitamos saber la posición y la velocidad de cada partícula. La cantidad de esta información se llama entropía.

¿Cómo cambia la entropía con un cambio en el macroestado? Es fácil de entender. Por ejemplo, si calentamos un poco un gas, entonces la velocidad de sus partículas aumentará, por lo tanto, aumentará el grado de nuestro desconocimiento sobre esta velocidad, es decir, aumentará la entropía. O, si aumentamos el volumen de gas retrayendo el pistón, nuestra ignorancia de la posición de las partículas aumentará y la entropía también aumentará.

Sólidos y energía potencial

Si se suelta una pieza de metal, elevada a cierta altura, entonces su energía potencial se transformará en energía cinética, pero la entropía prácticamente no aumentará, porque todos los átomos se moverán aproximadamente de la misma manera. Pero cuando la pieza golpea el suelo, los átomos de metal recibirán una dirección de movimiento aleatoria durante el impacto y la entropía aumentará dramáticamente. La energía cinética del movimiento dirigido se convertirá en energía cinética del movimiento térmico. Antes del impacto sabíamos aproximadamente cómo se movía cada átomo, pero ahora hemos perdido esta información.

Entendiendo la segunda ley de la termodinámica

Mezcla de gases

Si abres la partición, los gases comenzarán a mezclarse, porque el número de microestados en los que se mezclan los gases es mucho mayor que el número de microestados en los que se separan, y todos los microestados son naturalmente igualmente probables. Cuando abrimos la partición, para cada molécula perdimos información sobre en qué lado de la partición se encontraba ahora. Si hubiera N moléculas, entonces N bits de información (bits y símbolos, en en este contexto, esto es, de hecho, lo mismo y sólo difiere en un cierto factor constante).

Lidiando con el demonio de Maxwell

La solución a esta paradoja, sin embargo, es muy sencilla. Después de todo, la entropía no es una propiedad de un sistema, sino de nuestro conocimiento sobre este sistema. Tú y yo sabemos poco sobre el sistema, por eso nos parece que su entropía está disminuyendo. Pero nuestro demonio sabe mucho sobre el sistema: para separar moléculas, debe conocer la posición y la velocidad de cada una de ellas (al menos cuando se acerca a él). Si sabe todo sobre las moléculas, entonces, desde su punto de vista, la entropía del sistema es, de hecho, igual a cero; simplemente no tiene la información que falta al respecto. En este caso, la entropía del sistema era igual a cero y permanece igual a cero, y la segunda ley de la termodinámica no fue violada en ninguna parte.

Pero incluso si el demonio no conoce toda la información sobre el microestado del sistema, al menos necesita saber el color de la molécula que se le acerca para saber si dejarla pasar o no. Y si numero total moléculas es N, entonces el demonio debe tener N bits de información sobre el sistema, pero esa es exactamente la cantidad de información que perdimos cuando abrimos la partición. Es decir, la cantidad de información perdida es exactamente igual a la cantidad de información que se necesita obtener sobre el sistema para devolverlo a su estado original, y esto suena bastante lógico y, nuevamente, no contradice la segunda ley de la termodinámica. .

30. ¿Qué es? proceso estacionario?

La estacionariedad es la propiedad de un proceso de no cambiar sus características con el tiempo. Tiene sentido en varias áreas de la ciencia. La estacionariedad de un proceso aleatorio significa la invariancia de sus patrones probabilísticos a lo largo del tiempo.

La serie temporal es la implementación final. Proceso estocástico: generando un conjunto de variables aleatorias Y(t).

Un proceso estocástico puede ser estacionario y no estacionario. El proceso es estacionario si

1. La expectativa matemática de los valores de las variables no cambia.

2. La expectativa matemática de las varianzas de las variables no cambia.

3. No hay fluctuaciones periódicas.

Reconocimiento de estacionariedad:

1. Gráfico: crecimiento o disminución sistemáticos, ondas y zonas de alta volatilidad (dispersión) en una serie larga son inmediatamente visibles.

2. Autocorrelación (disminuye a medida que aumenta el retraso)

3. Pruebas de tendencia: probar la hipótesis de que el coeficiente en t es igual a cero.

4. Pruebas especiales incluidas en los paquetes de software de Stata,

31.Propiedades de las series temporales.

Se puede construir un modelo econométrico utilizando tres tipos de datos de entrada:

Datos que caracterizan una colección de varios objetos en un determinado momento (período) de tiempo: cruz en corte datos , “espacial”;

Datos que caracterizan un objeto durante varios momentos consecutivos.

(períodos de tiempo: series de tiempo, tiempo serie ;

datos que caracterizan un conjunto de diferentes objetos durante varios momentos sucesivos en el tiempo: panel datos , “panel”.

Series de tiempo es un conjunto de valores de cualquier indicador durante varios momentos (períodos) sucesivos de tiempo. Se forma bajo la influencia. gran número factores que se pueden dividir en tres grupos:

factores que dan forma a la tendencia ( tendencia ) fila;

factores que dan forma cíclico fluctuaciones de series, por ejemplo estacionales, semanales; las series de precios en el mercado de valores se caracterizan por oscilaciones no periódicas;

aleatorio factores.

Los modelos que se construyen utilizando datos que caracterizan un objeto durante varios períodos consecutivos se denominan modelos de series de tiempo.

Cada nivel de una serie temporal puede estar formado por sus componentes tendenciales (T), cíclicos o estacionales (S), así como por componentes aleatorios (E).

Los modelos en los que la serie temporal se presenta como la suma de los componentes enumerados se denominan aditivos; si se presentan en forma de producto, se denominan modelos multiplicativos.

El modelo aditivo tiene la forma: Y=T+S+E

El modelo multiplicativo tiene la forma: Y=T*S*E

Construyendo un modelo de series de tiempo:

realizar alineación de series de tiempo (por ejemplo, utilizando el método de media móvil); 2. Calcular los valores del componente estacional; 3. Se elimina el componente estacional y se obtiene una fila alineada; 4. La alineación analítica de los niveles (T y E) y el cálculo de los valores de E se llevan a cabo utilizando la ecuación de tendencia resultante; 5. Calcular los valores de T y E; 6. Calcular errores absolutos y relativos.

La construcción de una función analítica al modelar una tendencia en cualquier problema de econometría sobre series de tiempo se denomina alineación analítica de una serie de tiempo y se utilizan principalmente las siguientes funciones: lineal, de potencia, hiperbólica, parabólica, etc.

Los parámetros de tendencia se determinan como en el caso de la regresión lineal utilizando el método MCO, donde el tiempo es la variable independiente y los niveles de la serie temporal son la variable dependiente. Criteria de selección mejor forma sirve como tendencia valor más alto coeficiente de determinación, pruebas de Fisher y Student.

La autocorrelación de residuos es una correlación entre los valores de los residuos para el momento actual y el anterior. Para determinar la autocorrelación de residuos se utiliza el criterio de Durbin-Watson:

Una serie temporal es una variable económica fechada en puntos enteros en el tiempo t. Esta variable sirve como característica cuantitativa de un determinado objeto económico, por lo que el cambio de esta variable a lo largo del tiempo está determinado por factores que influyen en este objeto a lo largo del tiempo.

Todos los factores se dividen en 3 clases. Clase 1: factores (influencias “seculares”), cuya influencia resultante sobre un objeto determinado no cambia su dirección durante un largo período de tiempo. Generan un componente monótono (tendencia o tendencia). Clase 2: factores (influencias cíclicas), cuya influencia resultante sobre el objeto forma un círculo completo durante un determinado período de tiempo fijo T. Clase 3: factores (influencias aleatorias), cuya influencia resultante sobre el objeto cambia de dirección y intensidad a alta velocidad. 3 Clase de factores le permiten interpretar el valor en cada período de tiempo como una variable aleatoria

Definición [ | ]

Dónde T (\displaystyle T) un conjunto arbitrario se llama función aleatoria .

Terminología [ | ]

Esta clasificación no es estricta. En particular, el término "proceso aleatorio" se utiliza a menudo como sinónimo absoluto del término "función aleatoria".

Clasificación [ | ]

• Proceso aleatorio X (t) (\displaystyle X(t)) llamado un proceso discreto en el tiempo, si el sistema en el que ocurre cambia sus estados solo en momentos de tiempo t 1 , t 2 , … (\displaystyle \;t_(1),t_(2),\ldots ), cuyo número es finito o contable. El proceso aleatorio se llama proceso con tiempo continuo , si la transición de un estado a otro puede ocurrir en cualquier momento.
• El proceso aleatorio se llama proceso con estados continuos , si el valor del proceso aleatorio es continuo valor aleatorio. El proceso aleatorio se llama proceso aleatorio con estados discretos, si el valor del proceso aleatorio es una variable aleatoria discreta:
• El proceso aleatorio se llama estacionario, si todas las leyes de distribución multidimensional dependen sólo de posición relativa momentos en el tiempo t 1 , t 2 , … , t n (\displaystyle \;t_(1),t_(2),\ldots ,t_(n)), pero no sobre los valores de estas cantidades en sí. En otras palabras, un proceso aleatorio se denomina estacionario si sus patrones probabilísticos son constantes en el tiempo. De lo contrario, se llama no estacionario.
• La función aleatoria se llama estacionario en En un amplio sentido , si su expectativa matemática y varianza son constantes, y el ACF depende solo de la diferencia entre los momentos de tiempo para los cuales se toman las ordenadas función aleatoria. El concepto fue introducido por A. Ya.
• Un proceso aleatorio se llama proceso con incrementos estacionarios. un cierto orden, si los patrones probabilísticos de tal incremento son constantes en el tiempo. Yaglom consideró estos procesos.
• Si las ordenadas de una función aleatoria obedecen a la ley de distribución normal, entonces la función en sí se llama normal.
• Funciones aleatorias, cuya ley de distribución de ordenadas en un momento futuro está completamente determinada por el valor de la ordenada del proceso en actualmente tiempo y no depende de los valores de ordenadas del proceso en tiempos anteriores se llaman markoviano.
• El proceso aleatorio se llama proceso con incrementos independientes, si para cualquier conjunto t 1 , t 2 , … , t n (\displaystyle t_(1),t_(2),\ldots,t_(n)), Dónde norte > 2 (\displaystyle n>2), A t 1< t 2 < … < t n {\displaystyle t_{1} , variables aleatorias (X t 2 − X t 1) (\displaystyle (X_(t_(2))-X_(t_(1)))), (X t 3 − X t 2) (\displaystyle (X_(t_(3))-X_(t_(2)))), … (\displaystyle \ldots ), (X t n − X t n − 1) (\displaystyle (X_(t_(n))-X_(t_(n-1)))) colectivamente independientes.
• Si, al determinar las funciones de momento de un proceso aleatorio estacionario, la operación de promediar sobre un conjunto estadístico se puede reemplazar por promediar en el tiempo, entonces dicho proceso aleatorio estacionario se llama ergódico .
• Entre los procesos aleatorios se distinguen los procesos aleatorios impulsivos.

Trayectoria de un proceso aleatorio[ | ]

Dejemos que se dé un proceso aleatorio. ( X t ) t ∈ T (\displaystyle \(X_(t)\)_(t\in T)). Luego para cada fijo t ∈ T (\displaystyle t\en T) Xt (\displaystyle X_(t))- una variable aleatoria llamada sección transversal. Si el resultado elemental es fijo ω ∈ Ω (\displaystyle \omega \en \Omega ), Eso X t: T → R (\displaystyle X_(t)\dos puntos T\to \mathbb (R) )- función de parámetro determinista t (displaystyle t). Esta función se llama trayectoria o implementación función aleatoria ( X t ) (\displaystyle \(X_(t)\)).

Definición. Por un proceso aleatorio X(t) es un proceso cuyo valor para cualquier valor del argumento t es una variable aleatoria.

En la práctica, a menudo nos encontramos con procesos aleatorios que se desarrollan de manera aproximadamente uniforme en el tiempo y tienen la forma de oscilaciones aleatorias alrededor de un cierto valor promedio, y ni la amplitud promedio ni la naturaleza de estas oscilaciones cambian significativamente con el tiempo. Estos procesos aleatorios se denominan estacionario. Ejemplos de procesos aleatorios estacionarios incluyen las oscilaciones de una aeronave en vuelo horizontal estable, fluctuaciones de voltaje en un circuito eléctrico, ruido aleatorio en un receptor de radio, el proceso de balanceo de un barco, etc.

Se puede considerar que cada proceso estacionario continúa en el tiempo de forma continua durante un largo tiempo, y al estudiar un proceso estacionario, se puede elegir cualquier punto en el tiempo como punto de partida. Al estudiar un proceso estacionario en cualquier momento debemos obtener las mismas características.

Como regla general, un proceso aleatorio en cualquier sistema dinámico comienza con una etapa no estacionaria, después de la cual el sistema generalmente pasa a un estado estacionario, y luego los procesos que ocurren en él pueden considerarse estacionarios. En este sentido, se ha vuelto ampliamente utilizado. teoría de procesos aleatorios estacionarios o, más precisamente, teoría de funciones aleatorias estacionarias(ya que el argumento de una función aleatoria estacionaria en el caso general puede no ser el tiempo).

Definición . Función aleatoria X(t) se llama estacionario , si todas sus características probabilísticas no dependen de t(más precisamente, no cambian con ningún cambio de los argumentos de los que dependen a lo largo del eje t).

En el capítulo anterior, al estudiar funciones aleatorias, no utilizamos características probabilísticas como leyes de distribución: solo estudiamos valor esperado, función de varianza y correlación. Formulemos la definición de una función aleatoria estacionaria en términos de estas características.

Dado que el cambio en una función aleatoria estacionaria debe ocurrir uniformemente en el tiempo, es natural exigir que su expectativa matemática sea constante:

mx(t) = mx = constante.

Prestemos atención, sin embargo, al hecho de que este requisito no es esencial: sabemos que por la función aleatoria X(t) siempre puedes ir a una función aleatoria centrada para la cual la expectativa matemática es idénticamente igual a cero. Por lo tanto, si un proceso aleatorio no es estacionario sólo debido a una expectativa matemática, esto no impide que se lo estudie como estacionario.

La segunda condición que obviamente debe satisfacer una función aleatoria estacionaria es la condición de varianza constante:

dx(t) = dx = constante.

Ahora establezcamos qué condición debe cumplir la función de correlación de una función aleatoria estacionaria. Considere la función aleatoria X(t) y pon la expresión Kx(t 1 , t 2) t 2 = t 1 + τ . Consideremos ahora Kx(t 1 , t 1 + τ ) – momento de correlación de dos secciones de una función aleatoria separadas por un intervalo de tiempo τ . Obviamente, si el proceso aleatorio es verdaderamente estacionario, entonces este momento de correlación no debería depender a partir de ese, donde exactamente en el eje 0t tomamos la trama τ , pero sólo de longitud esta área. Es decir, la función de correlación de un proceso aleatorio estacionario debería depender únicamente de la brecha entre el primer y el segundo argumento.

Kx(t 1 , t 1 + τ ) = k x(τ ).

Por tanto, la función de correlación de un proceso aleatorio estacionario es función de un argumento, lo que simplifica enormemente las operaciones con funciones aleatorias estacionarias.

Tenga en cuenta que la constancia de la dispersión es un caso especial de la fórmula anterior, ya que dx(t) = Kx(t, t) = k x(0) = constante.

Por lo tanto, utilizando el razonamiento anterior, reformulemos la definición de función aleatoria estacionaria: esta es una función aleatoria X(t), cuya expectativa matemática es constante para todos los valores del argumento t y cuya función de correlación depende únicamente de la diferencia entre los argumentos t 2 - t 1 . En este caso, la función de correlación es función de un argumento y la dispersión es igual al valor de la función de correlación en el origen (en τ = t 2 - t 1 = 0).

Propiedades de la función de correlación de una función estacionaria..

10 . Función de correlación de una función aleatoria estacionaria – función par: k x(τ ) = k x(-τ ). Esto se desprende del hecho de que Kx(t 1 , t 2) = Kx(t 2 , t 1).

20 . El valor absoluto de la función de correlación de una función aleatoria estacionaria no excede su valor en el origen: | k x(τ )| ≤ k x(0).

En la práctica, en lugar de la función de correlación k x(τ ) utilizado a menudo función de correlación normalizada:

x(τ ) = ,

Dónde dx = k x(0) – dispersión constante del proceso estacionario. Es obvio que ρx(0) ≡ 1.

Introduzcamos otro concepto relacionado con la estacionariedad.

Definición . Dos funciones aleatorias se llaman conectado permanentemente , si su función de correlación mutua depende únicamente de la diferencia en los argumentos.

Prestemos atención al hecho de que no cada dos funciones estacionarias están conectadas estacionariamente; por otro lado, dos funciones no estacionarias pueden estar relacionadas de manera estacionaria.

Definición [ | ]

Dónde T (\displaystyle T) un conjunto arbitrario se llama función aleatoria .

Terminología [ | ]

Esta clasificación no es estricta. En particular, el término "proceso aleatorio" se utiliza a menudo como sinónimo absoluto del término "función aleatoria".

Clasificación [ | ]

• Proceso aleatorio X (t) (\displaystyle X(t)) llamado un proceso discreto en el tiempo, si el sistema en el que ocurre cambia sus estados solo en momentos de tiempo t 1 , t 2 , … (\displaystyle \;t_(1),t_(2),\ldots ), cuyo número es finito o contable. El proceso aleatorio se llama proceso de tiempo continuo, si la transición de un estado a otro puede ocurrir en cualquier momento.
• El proceso aleatorio se llama proceso con estados continuos, si el valor del proceso aleatorio es una variable aleatoria continua. El proceso aleatorio se llama proceso aleatorio con estados discretos, si el valor del proceso aleatorio es una variable aleatoria discreta:
• El proceso aleatorio se llama estacionario, si todas las leyes de distribución multidimensional dependen únicamente de la posición relativa de los momentos de tiempo t 1 , t 2 , … , t n (\displaystyle \;t_(1),t_(2),\ldots ,t_(n)), pero no sobre los valores de estas cantidades en sí. En otras palabras, un proceso aleatorio se denomina estacionario si sus patrones probabilísticos son constantes en el tiempo. De lo contrario, se llama no estacionario.
• La función aleatoria se llama estacionario en un sentido amplio, si su expectativa matemática y varianza son constantes, y el ACF depende únicamente de la diferencia entre los momentos de tiempo para los cuales se toman las ordenadas de la función aleatoria. El concepto fue introducido por A. Ya.
• Un proceso aleatorio se denomina proceso con incrementos estacionarios de cierto orden si los patrones probabilísticos de dichos incrementos son constantes en el tiempo. Yaglom consideró estos procesos.
• Si las ordenadas de una función aleatoria obedecen a la ley de distribución normal, entonces la función en sí se llama normal.
• Funciones aleatorias, cuya ley de distribución de ordenadas en un momento futuro está completamente determinada por el valor de la ordenada del proceso en el momento actual y no depende de los valores de las ordenadas del proceso. en épocas anteriores, se llaman markoviano.
• El proceso aleatorio se llama proceso con incrementos independientes, si para cualquier conjunto t 1 , t 2 , … , t n (\displaystyle t_(1),t_(2),\ldots,t_(n)), Dónde norte > 2 (\displaystyle n>2), A t 1< t 2 < … < t n {\displaystyle t_{1} , variables aleatorias (X t 2 − X t 1) (\displaystyle (X_(t_(2))-X_(t_(1)))), (X t 3 − X t 2) (\displaystyle (X_(t_(3))-X_(t_(2)))), … (\displaystyle \ldots ), (X t n − X t n − 1) (\displaystyle (X_(t_(n))-X_(t_(n-1)))) colectivamente independientes.
• Si, al determinar las funciones de momento de un proceso aleatorio estacionario, la operación de promediar sobre un conjunto estadístico se puede reemplazar por promediar en el tiempo, entonces dicho proceso aleatorio estacionario se llama ergódico .
• Entre los procesos aleatorios se distinguen los procesos aleatorios impulsivos.

Trayectoria de un proceso aleatorio[ | ]

Dejemos que se dé un proceso aleatorio. ( X t ) t ∈ T (\displaystyle \(X_(t)\)_(t\in T)). Luego para cada fijo t ∈ T (\displaystyle t\en T) Xt (\displaystyle X_(t))- una variable aleatoria llamada sección transversal. Si el resultado elemental es fijo ω ∈ Ω (\displaystyle \omega \en \Omega ), Eso X t: T → R (\displaystyle X_(t)\dos puntos T\to \mathbb (R) )- función de parámetro determinista t (displaystyle t). Esta función se llama trayectoria o implementación función aleatoria ( X t ) (\displaystyle \(X_(t)\)) | ]