Maksimum entropi değeri. Hayatımızdaki entropi

Bilgi teorisi

Bilgi teorisinin kökeninde 1947-48'de iletişim sistemlerinin verimliliği konusu üzerinde çalışan Claude Shannon bulunmaktadır. Sonuç olarak, bu teorinin amacı iletişim kanalının kapasitesini artırmak olarak formüle edildi. Etkili bir sistem, diğer koşullar ve maliyetler eşit olduğunda daha fazla bilgi ileten sistemdir. Tipik olarak analiz, nesneyi dikkate alır: bilginin kaynağı ve bilginin iletildiği kanal.

Yani bazı olaylar var. Onlar hakkında sembolik biçimde, sinyal biçimindeki bilgiler bir iletişim kanalı üzerinden iletilir. Bir kanalın iki koşulu karşılıyorsa iyi olduğu söylenebilir. Birincisi, bilgi onun üzerinden yüksek hızda iletilir ve ikincisi, iletimi etkileyen parazit, bilginin kalitesini bir miktar azaltır. Böyle bir aktarımın koşullarını bulmak için bazı bilgi özelliklerinin girilmesi gerekir.

Bilgi teorisinin temel ilkeleri en açık şekilde ayrı bir kaynak ve aynı kanalla ortaya çıkar. Dolayısıyla konuyu tanımaya bu varsayımla başlayacağız.

1.1 Bilginin niceliksel ölçümü.

Öncelikle kanal üzerinden neyin iletilmesinin mantıklı olduğunu bulalım.

Alıcı hangi bilginin iletileceğini biliyorsa, o zaman onu iletmeye gerek yoktur. Yalnızca beklenmedik olanı iletmek mantıklıdır. Sürpriz ne kadar büyükse, Daha Bu etkinlikte bilgi yer almalıdır. Örneğin bilgisayarda çalışıyorsunuz. Bugünkü çalışmanın 45 dakika içinde tamamlanması gerektiğine dair bir mesaj. programa göre sizin için yeni olması pek mümkün değil. Bu, işin sona erdiği duyurulmadan önce bile kesinlikle açıktı. Dolayısıyla böyle bir mesaj sıfır bilgi içerir; bunu aktarmanın bir anlamı yok. Ve şimdi başka bir örnek. Mesaj şu: Bir saat içinde patronunuz size Moskova'ya gidiş-dönüş uçak bileti verecek ve eğlence için de bir miktar para ayıracak. Bu tür bilgiler sizin için beklenmedik bir durumdur ve bu nedenle çok sayıda ölçü birimi içerir. Bunlar kanal aracılığıyla iletilmesi anlamlı olan mesaj türleridir. Sonuç çok basit: Bir mesajda ne kadar çok sürpriz varsa, o kadar çok bilgi içerir.

Sürpriz, bilgi ölçüsüne dahil olan olasılık ile karakterize edilir.

Birkaç örnek daha. Biri beyaz, diğeri siyah toplu iki kutumuz var. Beyaz topların olduğu mesajda ne kadar bilgi yer alıyor? Herhangi bir kutunun beyaz top içerme olasılığı 0,5'tir. Bu olasılığa tecrübe diyelim ya da a priori .

Şimdi bir top çıkarıyoruz. Hangi topu çıkarırsak çıkaralım böyle bir deneyden sonra beyaz topların hangi kutuda olduğunu kesinlikle bileceğiz. Dolayısıyla bilginin olasılığı 1'e eşit olacaktır. Bu olasılığa deneysel veya deneysel adı verilir. a posteriori .

Hadi bakalım bu örnek Bilgi miktarı açısından bakıldığında bir bilgi kaynağımız var - toplu kutular. Başlangıçta toplarla ilgili belirsizlik 0,5 olasılıkla tanımlanıyordu. Daha sonra kaynak “konuştu” ve bilgi verdi; topu çıkardık. Dahası, her şey 1 olasılığıyla belirlendi. Deneyim sonucunda bir olay hakkındaki belirsizliğin azalma derecesini, bilginin niceliksel ölçüsü olarak almak mantıklıdır. Örneğimizde 1/0,5 olacaktır.

Şimdi örnek daha karmaşık. Parça büyüklüğünün 120,121,122 olabileceği bilinmektedir. . .,180 mm. yani 61 değerden birine sahiptir. Parça boyutunun i mm olması ön olasılığı 1/61'dir.

Bir parçayı +5,-5 mm hassasiyetle ölçmemizi sağlayan çok kusurlu bir ölçüm aracımız var. Yapılan ölçümler sonucunda boyutu 130 mm çıktı. Ama aslında 125,126 olabilir. . .,135 mm; yalnızca 11 değer. Deneyin sonucunda, 1/11'lik posteriori olasılık ile karakterize edilen belirsizlik devam etmektedir. Belirsizliğin azalma derecesi (1/11):(1/61) olacaktır. Yukarıdaki gibi bu oran bilgi miktarıdır.

En uygun logaritmik fonksiyon bilgi miktarını yansıtacak şekilde tasarlanmıştır. Logaritmanın tabanı iki olarak alınır. Bilgi miktarını gösterelim
- a priori olasılık,
- arka olasılık. Daha sonra,

. (1)

İlk örnekte
1 bitlik bilgi; ikincisinde
2,46 bit bilgi. Bit – bir ikili bilgi birimi .

Şimdi bir dizi gerçek bilgi kaynağına dönelim. bağımsız olaylar(mesajlar) farklı ön olasılıklara sahip
. Bu set, nesnenin parametreleri hakkındaki verileri temsil eder ve onunla ilgili bilgiler bulunur. Genellikle kaynak bir mesaj yayınladıktan sonra hangi parametrenin verildiği güvenilir bir şekilde bilinir hale gelir. Son olasılık 1'dir. Her olayın içerdiği bilgi miktarı şuna eşit olacaktır:

. (2)

Bu değer her zaman sıfırdan büyük. Ne kadar çok olay, ne kadar çok bilgi var. Bu, kaynağı karakterize etmek için tamamen uygun değildir. Bu nedenle entropi kavramı ortaya atılmıştır. Entropi, kaynağın olayı (mesajı) başına ortalama bilgi miktarıdır . Matematiksel beklentiyi belirleme kurallarına göre bulunur:

. (3)

Veya logaritmik fonksiyonun özellikleri verildiğinde

. (4)

Entropi boyutu bitleri/mesajı. Entropinin özellikleri üzerinde duralım. Bir örnekle başlayalım. Diyelim ki olayların önsel olasılıklarına sahip ikili bir bilgi kaynağı var. Ve tam grubu oluşturuyor. Bundan aralarındaki bağlantı çıkar:
. Kaynağın entropisini bulalım:

Olasılıklardan biri sıfıra eşitse ikincisinin 1'e eşit olacağını ve entropi ifadesinin sıfır vereceğini görmek zor değil.

Entropinin bağımlılığını çizelim
(Şekil 1).

Entropinin 0,5 olasılıkla maksimum olduğuna ve her zaman pozitif olduğuna dikkat edelim.

Entropinin ilk özelliği . Kaynaktaki eşit olasılıklı olaylar için entropi maksimumdur. İkili kaynak örneğimizde bu değer 1'dir. Kaynak ikili değilse ve içeriyorsa N kelimeler, ardından maksimum entropi.

Entropinin ikinci özelliği. Tam bir olay grubu oluşturduğundan bir kaynak mesajın olasılığı 1 ve diğerlerinin sıfır olması durumunda entropi sıfırdır.. Böyle bir kaynak bilgi üretmez.

Entropinin üçüncü özelliği entropi toplama teoremidir . Bu soruya daha detaylı bakalım. Diyelim ki mesaj kümeleriyle temsil edilen iki bilgi kaynağı var Ve .

Her kaynağın entropisi vardır
Ve
. Daha sonra bu kaynaklar birleştirilir ve birleştirilmiş topluluğun entropisinin bulunması gerekir.
. Her bir mesaj çifti Ve olasılığa karşılık gelir
. Böyle bir çiftteki bilgi miktarı

İyi bilinen bir şekilde ilerleyerek, topluluk mesajı çifti başına ortalama bilgi miktarını buluyoruz. Bu entropi olacaktır. Doğru, burada iki durum olabilir. Birleştirilmiş topluluklar istatistiksel olarak bağımsız ve bağımlı olabilir.

Bağımsız toplulukların ilk durumunu, yani mesajın ortaya çıkışını düşünün. hiçbir şekilde tanımlanmadı . Entropinin ifadesini yazalım:

, (7)

Burada
- topluluklardaki mesajların sayısı.

Önceki genel formülden bağımsız olarak iki boyutlu olasılık a'yı elde ettiğimiz için

Nerede
Ve
bilinen formüllerle belirlenir.

Daha sonra daha karmaşık bir durumu ele alacağız. Mesaj topluluklarının istatistiksel bir ilişki içinde olduğunu varsayalım. bir miktar olasılıkla görünüşünü akla getiriyor . Bu gerçek, koşullu olasılık ile karakterize edilir.
; Gösterimdeki eğik çizgi durumu karakterize eder. Koşullu olasılıkları tanıtarak, iki boyutlu bir olasılık, tek boyutlu olanların çarpımı yoluyla tanımlanabilir:

Bunu hesaba katarak entropi için bir ifade bulalım. Dönüşüm şu şekilde gerçekleşir:

Tüm olay olasılıklarının toplamının 1'e eşit olduğu göz önüne alındığında, son ifadedeki ilk çift toplam, X kaynağının entropisini, H(x) verir.

İkinci çift toplam koşullu entropi olarak adlandırılır ve şu şekilde gösterilir:
. Böylece,

Benzer şekilde bunu kanıtlamak mümkündür.

Son ifadelerde, birleştirilmiş mesaj toplulukları arasındaki bağlantıyla belirlenen koşullu entropiyle karşılaştık. Topluluklar istatistiksel olarak bağımsızsa
ve koşullu entropi
. Sonuç olarak, iyi bilinen formülü elde ediyoruz.

Mesajlar mutlak olarak bağımlıysa, yani işlevsel bir bağlantı içindeyse,
iki değerden birini alır: ya 1, ne zaman
veya 0 olduğunda
. İkinci mesaj grubunun sürpriz olmaması ve dolayısıyla bilgi taşımaması nedeniyle koşullu entropi 0'a eşit olacaktır.

Entropi ve özelliklerini tanıttıktan sonra bilginin tek kaynağına dönelim. Şu anda herhangi bir bilgi kaynağının işe yaradığını bilmelisiniz. Sembolleri (işaretleri) dizide belli bir yeri işgal eder. Bir sembolün olasılığı dizideki yerine bağlı değilse, bir bilgi kaynağına durağan denir. Ve bir tanım daha. Kaynak sembollerinin birbirleriyle istatistiksel (olasılıksal) bir ilişkisi olabilir. Ergodik bir bilgi kaynağı, işaretler arasındaki istatistiksel ilişkinin sınırlı sayıda önceki sembollere kadar uzandığı bir kaynaktır. Bu bağlantı yalnızca iki komşu işareti kapsıyorsa, böyle bir kaynağa basit bağlantılı Markov zinciri denir. Şimdi ele alacağımız kaynak budur. Kaynağın sembol oluşturma şeması Şekil 2'de gösterilmektedir. 2.

Sembol Görünümü hangi karakter olduğuna bağlı kaynak tarafından az önce verildi. Bu bağımlılık olasılık ile belirlenir
. Böyle bir kaynağın entropisini bulalım. Entropinin genel anlayışından bilgi miktarının matematiksel beklentisi olarak ilerleyeceğiz. Diyelim ki Şekil 2'de gösterildiği gibi iki karakter görüntüleniyor. 2. Böyle bir durumda bilgi miktarı kaynak tarafından verilir

Bu miktarın sonraki tüm olası semboller üzerinden ortalamasını alarak, bir öncekine her zaman sembolü verilmesi şartıyla kısmi entropiyi elde ederiz. :

. (13)

Bir kez daha, bu kısmi entropinin tümünün ortalaması alınarak önceki karakterler, nihai sonucu elde ederiz:

Entropi tanımındaki indeks 2, istatistiksel ilişkinin yalnızca iki bitişik sembole kadar uzandığını gösterir.

Ergodik bir kaynağın entropisinin özellikleri üzerinde duralım.

Kaynaktaki semboller bağımsız olduğunda
formül (14) basitleştirilmiş ve olağan biçime (4) indirgenmiştir.

Kaynak sembolleri arasında istatistiksel (olasılıksal) bağlantıların varlığı her zaman entropinin azalmasına yol açar,
.

Dolayısıyla, bir bilgi kaynağı iki koşulun karşılanması durumunda maksimum entropiye sahiptir: kaynağın tüm sembolleri eşit derecede olasıdır (entropi özelliği) ve kaynağın sembolleri arasında istatistiksel bağlantı yoktur.

Kaynak sembollerinin ne kadar iyi kullanıldığını göstermek için bir artıklık parametresi tanıtılmıştır. :

. (15)

Büyüklük 0 ila 1 aralığındadır.

Bu parametreye yönelik tutum iki yönlüdür. Bir yandan, artıklık ne kadar az olursa kaynak o kadar verimli çalışır. Öte yandan, artıklık ne kadar büyükse, bilginin böyle bir kaynaktan tüketiciye iletilmesini etkileyen parazit ve gürültü de o kadar az olur. Örneğin, semboller arasındaki istatistiksel ilişkilerin varlığı artıklığı arttırır ancak aynı zamanda iletimin doğruluğunu da arttırır. Bireysel eksik karakterler tahmin edilebilir ve geri yüklenebilir.

Bir örneğe bakalım. Kaynak Rus alfabesinin harfleri, toplamda 32 tane var. Maksimum entropiyi belirleyelim:
bit/mesaj.

Harfler arasında istatistiksel bir ilişki olduğundan ve metinde görünme olasılıkları aynı olmaktan uzak olduğundan gerçek entropi 3 bit/mesaj'a eşittir. Bu nedenle fazlalık
.

Kaynağın bir sonraki özelliği performanstır; kaynağın bilgi üretme hızını karakterize eder. Kaynağın her harfinin belirli bir süre boyunca yayınlandığını varsayalım. . Bu sürelerin ortalamasını alarak, bir mesajın yayınlanması için ortalama süreyi buluyoruz . Bir kaynak tarafından birim zaman başına üretilen ortalama bilgi miktarı - kaynak verimliliği
:

. (16)

Öyleyse özetleyelim. Ergodik bir bilgi kaynağının özellikleri aşağıdaki gibidir:

Her işaretteki bilgi miktarı,

entropi,

fazlalık,

performans.

Şunu belirtmek gerekir ki güçlü nokta Bilgi miktarının ve elbette tüm özelliklerin tanıtılan ölçüsü evrenselliktir. Yukarıda tanıtılan tüm kavramlar her türlü bilgiye uygulanabilir: sosyolojik, teknik vb. Ölçümün zayıf tarafı, bilginin önemini, değerini yansıtmamasıdır. Kalem ve araba piyangosunu kazanmayla ilgili bilgiler de aynı derecede önemlidir.

1.2. Kanalın bilgi özellikleri

Bilginin bir iletişim kanalı üzerinden iletildiğini hatırlayalım. Daha önce bilgi kaynağının bilgi özelliklerini tanıtmıştık, şimdi de kanalın bilgi özelliklerini tanıtacağız. Durumu Şekil 2'de gösterildiği gibi hayal edelim. 1.

Pirinç. 1

Kanal girişinde birçok karakterden oluşan bir giriş alfabesi bulunmaktadır. ve çıktıda - .

P
İletişim kanalını matematiksel bir modelle temsil edelim. Ayrık bir kanalın en ünlü temsili grafik biçimindedir. ( ile elde edilen grafik düğümleri ) ve iletilen ( ) alfabenin harfleri; kenarlar bu harfler arasındaki olası bağlantıları yansıtır (Şekil 2).

Alfabenin harfleri arasındaki ilişkiler genellikle koşullu olasılıklara göre değerlendirilir, örneğin:
kabul edilme olasılığı devredilmek şartıyla . Bu doğru bir alım olasılığıdır. Aynı şekilde, hatalı tekniklerin koşullu olasılıkları da ortaya konabilir; örneğin,
. Bu sıfır olmayan olasılıkların ortaya çıkmasının nedenleri, gerçek kanalların hiçbirinin serbest olmadığı parazitlerdir. İletilen ve alınan dizideki karakter (harf) sayısı olan n ve m'nin mutlaka eşit olmadığını lütfen unutmayın. Bu modele dayanarak başka tanımlar da yapılmıştır.

Simetrik kanal – bu, tüm sembollerin doğru alım olasılıklarının eşit olduğu ve aynı zamanda hatalı alım olasılıklarının da eşit olduğu bir kanaldır. Böyle bir kanal için koşullu olasılık şu şekilde yazılabilir:

Burada – hatalı alım olasılığı. Bu olasılık, belirli bir sembolden önce hangi karakterlerin iletildiğine bağlı değilse, böyle bir kanala " denir. hafızasız kanal "Örnek olarak, aşağıdaki Şekil 3, hafızası olmayan simetrik bir ikili kanalın grafiğini göstermektedir.

R
öyle. 3

Ayrıca, kanalın çıkışındaki alfabenin, alıcı kod çözücünün iletilen sembolü tanıyamadığı durumlarda ortaya çıkan ek bir sembol içerdiğini varsayalım. Bu durumda karar vermeyi reddeder. Bu pozisyona silme denir. Bu kanalın adı silmeli hafızasız kanal ve grafiği Şekil 2'de gösterilmektedir. 4. “Silme” konumu burada bir soru işaretiyle belirtilmiştir.

R
öyle. 4.

Belleğe sahip en basit kanal Markov kanalı . İçinde hata olasılıkları, önceki sembolün doğru mu yoksa hatalı mı alındığına bağlıdır.

İletişim kanalı grafiğinin yanı sıra başka bir açıklama daha var: kanal matrisi . Bu bir dizi koşullu olasılıktır
veya
. Önsel olasılıklarla birlikte,
Ve
verir tam resim Gürültülü bir kanalın istatistikleri. Örneğin kanal matrisine bakalım

.

Bilgi teorisinde ele aldığımız herhangi bir mesaj, bazı fiziksel sistemler hakkında bir bilgi topluluğudur. Örneğin, normal veya artan kusur yüzdesi hakkında bir mesaj; kimyasal bileşim Hammadde veya fırın sıcaklığı. Fon yönetim sisteminin girişine hava savunması havada belirli bir yükseklikte, belirli bir hızda uçan iki hedefin olduğu mesajı iletilebilir. Aynı girişe, belirli sayıda savaşçının belirli bir hava sahasında savaşa hazır durumda olduğu veya hava sahasının düşman ateşi nedeniyle devre dışı bırakıldığı veya ilk hedefin vurulduğu ve ikincisinin devam ettiği mesajı iletilebilir. değiştirilmiş bir rota ile uçmak. Bu mesajlardan herhangi biri bazılarının durumunu açıklıyor fiziksel sistem.

Açıkçası fiziksel sistemin durumu önceden bilinseydi mesajı iletmenin bir anlamı olmazdı. Mesaj ancak sistemin durumunun tesadüfen önceden bilinmemesi durumunda anlamlı hale gelir.

Bu nedenle, hakkında bilgi aktarılan bir nesne olarak, rastgele bir durumda veya başka bir durumda bulunabilen belirli bir fiziksel sistemi, yani belli bir dereceye kadar belirsizliğin doğasında olduğu açık olan bir sistemi ele alacağız. Açıkçası, sistem hakkında elde edilen bilgiler, genel olarak konuşursak, sistemin bu bilgiyi almadan önceki belirsizliği ("a priori") ne kadar büyük olursa, o kadar değerli ve anlamlı olacaktır. Doğal olarak şu soru ortaya çıkıyor: "Daha büyük" veya "daha küçük" belirsizlik derecesi ne anlama gelir ve nasıl ölçülebilir?

Bu soruyu cevaplamak için her biri bir miktar belirsizliğe sahip iki sistemi karşılaştıralım.

İlk sistem olarak, fırlatma sonucunda iki durumdan birine girebilecek bir parayı ele alalım: 1) arması kalktı ve 2) sayı çıktı. İkincisi ise altı taneden oluşan bir zardır. olası durumlar: 1, 2, 3, 4, 5 ve 6. Soru şu: Hangi sistemde daha fazla belirsizlik var? Açıkçası ikincisi, çünkü her birinde aynı olasılıkla sonuçlanabilecek daha fazla olası durum var.

Belirsizliğin derecesi sistemin olası durumlarının sayısına göre belirleniyor gibi görünebilir. Ancak, genel durum bu yanlış. Örneğin iki durumda olabilecek bir teknik cihazı düşünün: 1) çalışır durumda ve 2) arızalı. Bilgi almadan önce (a priori) cihazın düzgün çalışma olasılığının 0,99, arıza olasılığının 0,01 olduğunu varsayalım. Böyle bir sistemin belirsizliği çok düşük düzeydedir: Cihazın düzgün çalışacağı neredeyse kesindir. Yazı tura atarken de iki olası durum vardır, ancak belirsizlik derecesi çok daha fazladır. Bir fiziksel sistemin belirsizlik derecesinin yalnızca olası durumların sayısına göre değil, aynı zamanda durumların olasılıklarına göre de belirlendiğini görüyoruz.

Genel duruma geçelim. Sonlu bir durum kümesini alabilen bir sistemi ele alalım: olasılıklarla birlikte, burada

(18.2.1)

Sistemin durumu üstlenme olasılığı (sembol olayı belirtir: sistem durumdadır). Açıkça, .

Bu verileri, üst satırın sistemin olası durumlarını, alt satırın ise karşılık gelen olasılıkları listelediği bir tablo biçiminde yazalım:

Bu tablo süreksiz dağılım serisine benzer şekilde yazılmıştır. rastgele değişkenİle olası değerler, olasılıklara sahip. Aslında fiziksel sistem ile sistem arasında sonlu küme durumlar ve süreksiz bir rastgele değişkenin pek çok ortak noktası vardır; Birinciyi ikinciye indirgemek için her duruma bir miktar sayısal değer (örneğin durum numarası) atamak yeterlidir. Sistemin belirsizlik derecesini anlatmak için tablonun üst satırına hangi değerlerin yazıldığının tamamen önemsiz olduğunu vurguluyoruz; Bu değerlerin yalnızca sayısı ve olasılıkları önemlidir.

Bir sistemin (veya süreksiz rastgele değişkenin) önsel belirsizliğinin bir ölçüsü olarak bilgi teorisi, entropi adı verilen özel bir özelliği kullanır. Entropi kavramı bilgi teorisinin temelini oluşturur.

Bir sistemin entropisi olasılıkların çarpımlarının toplamıdır çeşitli koşullar bu olasılıkların ters işaretle alınan logaritmaları için sistemler:

. (18.2.2)

Entropinin, daha sonra göreceğimiz gibi, belirsizlik derecesinin bir özelliği olarak seçilmesini haklı çıkaracak bir dizi özelliği vardır. Birincisi, sistemin durumlarından biri güvenilirken diğerleri imkansız olduğunda sıfıra gider. İkinci olarak, belirli sayıda durum için bu durumların eşit olasılıklı olması durumunda maksimuma ulaşır ve durum sayısı arttığında da artar. Son olarak ve bu en önemli şey, toplanabilirlik özelliğine sahiptir, yani birkaç bağımsız sistem tek bir sistem halinde birleştirildiğinde entropileri toplanır.

Formül (18.2.2)'deki logaritma herhangi bir tabanla alınabilir. Tabanı değiştirmek, entropiyi basitçe çarpmakla eşdeğerdir sabit sayı ve baz seçimi, belirli bir entropi ölçüm biriminin seçimine eşdeğerdir. Temel olarak 10 sayısı seçilirse, entropinin "ondalık birimlerinden", 2 ise "ikili birimlerden" bahsederiz. Pratikte, 2 tabanındaki logaritmaları kullanmak ve entropiyi ikili birimler halinde ölçmek en uygunudur; bu elektronik dijitalde kullanılanlarla iyi bir uyum içindedir bilgisayarlar ikili sayı sistemi

Aşağıda aksi belirtilmedikçe sembolü her zaman ikili logaritma olarak anlayacağız.

Ekte (Tablo 6) 1'den 100'e kadar tam sayıların ikili logaritmaları verilmektedir.

Logaritmanın tabanı olarak 2 seçildiğinde, entropinin ölçüm birimi olarak entropinin alındığını doğrulamak kolaydır. en basit sistem, eşit derecede olası iki duruma sahiptir:

Aslında, formül (18.2.2)'ye göre elimizde:

.

Bu şekilde tanımlanan entropi birimine “ikili birim” adı verilir ve bazen bit (İngilizce “ikili rakam”dan gelir) olarak da gösterilir. Bu bir rakamın entropisi ikili sayı, eğer sıfır ya da bir olma ihtimali eşitse.

Eşit olasılıklı durumlara sahip bir sistemin entropisini ikili birimlerle ölçelim:

yani eşit derecede olası durumlara sahip bir sistemin entropisi, durum sayısının logaritmasına eşittir.

Örneğin sekiz durumlu bir sistem için .

Sistemin durumunun önceden tam olarak bilindiği durumda entropisinin sıfıra eşit olduğunu kanıtlayalım. Gerçekten de, bu durumda, formül (18.2.2)'deki tüm olasılıklar, örneğin bire eşit olan biri hariç, ortadan kalkar. Terim sıfıra gider çünkü . Geriye kalan terimler de ortadan kalkar, çünkü

.

Sonlu durum kümesine sahip bir sistemin entropisinin, tüm durumlar eşit olasılıklı olduğunda maksimuma ulaştığını kanıtlayalım. Bunu yapmak için, sistemin (18.2.2) entropisini olasılıkların bir fonksiyonu olarak düşünün ve bulun. koşullu aşırı Bu işlev şunları sağladı:

Yöntemi kullanma tanımsız çarpanlar Lagrange, fonksiyonun ekstremumunu arayacağız:

. (18.2.5)

(18.2.5)'in türevini sıfıra göre türev alarak ve sıfıra eşitleyerek bir denklem sistemi elde ederiz:

, (18.2.6)

buradan açıkça görülüyor ki ekstremum (içinde bu durumda maksimum) eşit değerlerde elde edilir. Koşul (18.2.4)'ten bu durumda açıktır ki

, (18.2.7)

ve sistemin maksimum entropisi:

, (18.2.8)

yani. maksimum değer sistemin entropisi sonlu sayı durumlar, durum sayısının logaritmasına eşittir ve tüm durumlar eşit derecede olası olduğunda elde edilir.

Formül (18.2.2) kullanılarak entropinin hesaplanması, özel bir fonksiyonun dikkate alınması durumunda bir miktar basitleştirilebilir:

, (18.2.9)

logaritmanın 2 tabanına alındığı yer.

Formül (18.2.2) şu formu alır:

. (18.2.10)

Fonksiyon tablo halinde verilmiştir; ek (Tablo 7) 0'dan 1'e kadar 0,01'e kadar olan değerlerini gösterir.

Örnek 1. İki uçaktan (bir savaş uçağı ve bir bombardıman uçağı) oluşan fiziksel bir sistemin entropisini belirleyin. hava muharebesi. Savaşın sonucunda sistem dört olası durumdan birine düşebilir:

1) her iki uçak da düşürülmedi;

2) avcı uçağı düşürüldü, bombardıman uçağı düşürülmedi;

3) savaşçı düşürülmedi, bombardıman uçağı düşürüldü;

4) her iki uçak da düşürüldü.

Bu durumların olasılıkları sırasıyla 0,2; 0,3; 0,4 ve 0,1.

Çözüm. Koşulları tablo şeklinde yazıyoruz:

Bağımlı mesajları olan bir kaynak için entropi ayrıca şu şekilde hesaplanır: matematiksel beklenti Bu mesajların öğesi başına bilgi miktarı. Bilgi miktarı ve entropi logaritmik ölçülerdir ve aynı birimlerle ölçülür.

6. İstatistiksel olarak bağımsız birleştirilmiş bilgi kaynaklarının entropisi, entropilerinin toplamına eşittir. 7. Entropi, topluluğun asli yönünü tamamen göz ardı ederek, topluluktan bir durum seçmenin ortalama belirsizliğini karakterize eder. EKOSİSTEM ENTROPİSİ, bir ekosistemin bozukluğunun veya kullanılamayan enerji miktarının bir ölçüsüdür. Nasıl daha fazla gösterge entropi, ekosistemin zaman ve mekan açısından daha az istikrarlı olması anlamına gelir.

4.1.2. Ayrı bir mesaj kaynağının entropisi ve performansı

Bu mesajlardan herhangi biri, bazı fiziksel sistemlerin durumunu açıklar. Bir fiziksel sistemin belirsizlik derecesinin yalnızca olası durumların sayısına göre değil, aynı zamanda durumların olasılıklarına göre de belirlendiğini görüyoruz. Bir sistemin (veya süreksiz rastgele değişkenin) önsel belirsizliğinin bir ölçüsü olarak bilgi teorisi, entropi adı verilen özel bir özelliği kullanır.

Entropinin, daha sonra göreceğimiz gibi, belirsizlik derecesinin bir özelliği olarak seçilmesini haklı çıkaracak bir dizi özelliği vardır. Son olarak ve bu en önemli şey, toplanabilirlik özelliğine sahiptir, yani. bağımsız sistemler bir araya geldiğinde entropileri toplanır. Temel olarak 10 sayısı seçilirse, entropinin “ondalık birimlerinden”, 2 ise “ikili birimlerden” bahsederiz.

Sonlu durum kümesine sahip bir sistemin entropisinin, tüm durumlar eşit olasılıklı olduğunda maksimuma ulaştığını kanıtlayalım. Örnek 3. Her biri dört olası durumda olabilen, üç öğeden oluşan bir sistemin mümkün olan maksimum entropisini belirleyin.

Bu durumda elde edilen entropi değerinin, bağımsız mesaj kaynağına göre daha az olacağına dikkat edilmelidir. Bu, mesaj bağımlılığının varlığında seçim belirsizliğinin azalması ve buna bağlı olarak entropinin azalması gerçeğinden kaynaklanmaktadır. İkili kaynağın entropisini belirleyelim. Bağımlılık grafiği (4.4) Şekil 2'de gösterilmektedir. 4.1. Grafikten de anlaşılacağı gibi ikili bir kaynağın entropisi sıfırdan bire kadar değişir.

Entropinin temel özellikleri

Genellikle entropinin karakterize ettiği belirtilmektedir. verilen dağıtım Test sonucunun belirsizlik derecesi açısından olasılıklar, yani belirli bir mesajın seçiminin belirsizliği. Gerçekten de entropinin sıfır olduğunu doğrulamak ancak ve ancak olasılıklardan birinin bire ve diğerlerinin sıfıra eşit olması durumunda kolaydır; bu tam bir seçim kesinliği anlamına gelir.

Entropi kavramının bir başka görsel yorumu da bir kaynağın yarattığı mesajların “çeşitliliğinin” ölçüsü olarak mümkündür. Entropinin yukarıdaki özelliklerinin, çeşitliliğin ölçüsüne ilişkin sezgisel fikirle oldukça tutarlı olduğunu görmek kolaydır. Bu unsurun seçilmesine yönelik olasılıklar ne kadar çeşitli olursa, bir mesaj unsurunun içerdiği bilgi miktarının da o kadar büyük olacağını varsaymak da doğaldır.

i'inci durumda bulunan bir kaynak için seçilen öğedeki bilgi miktarının matematiksel beklentisini temsil eden ifadeye bu durumun entropisi denilebilir. Yukarıda tanımlanan mesaj öğesi başına kaynak entropisi, mesajların öğelere nasıl bölündüğüne, yani alfabe seçimine bağlıdır. Ancak entropinin önemli özellik toplanabilirlik.

Entropinin bazı özelliklerine değinelim. Entropi. Bu belki de bir fizik dersinde karşılaşabileceğiniz, en azından klasik fizik söz konusu olduğunda anlaşılması en zor kavramlardan biridir.

Örneğin, bana nerede yaşadığımı sorarsan ve ben de cevap verirsem: Rusya'da, o zaman senin için entropim yüksek olacak, sonuçta Rusya büyük ülke. Size posta kodumu söylersem: 603081, daha fazla bilgi alacağınız için sizin için entropim azalacaktır.

Hakkımdaki bilginizin entropisi yaklaşık 6 karakter azaldı. Ya sana toplamın 59 olduğunu söylesem? Bu makro durum için yalnızca 10 olası mikro durum vardır, dolayısıyla entropisi yalnızca bir semboldür. Gördüğünüz gibi farklı makrodurumların farklı entropileri vardır. Entropiyi, mikrodurumların sayısını yazmak için gereken sembol sayısı olarak ölçüyoruz.

Başka bir deyişle entropi, bir sistemi nasıl tanımladığımızdır. Örneğin bir gazı biraz ısıtırsak parçacıklarının hızı artacak, dolayısıyla bu hız konusundaki bilgisizliğimizin derecesi artacak yani entropi artacaktır. Veya pistonu geri çekerek gazın hacmini arttırırsak parçacıkların konumu hakkındaki bilgisizliğimiz artacak ve entropi de artacaktır.

Bir yandan bu, entropinin analizinde entropinin kullanılması olanaklarını genişletir. çeşitli fenomenler, ancak öte yandan, ortaya çıkan durumların belirli bir ek değerlendirmesini gerektirir. İkincisi, Evren sınırları olan sıradan sonlu bir nesne değildir, zaman ve uzayda sonsuzluğun ta kendisidir.

MAKSİMUM İŞ - termodinamikte 1) termal olarak yalıtılmış bir malzeme tarafından yapılan iş. Bilgi teorisinde ele aldığımız herhangi bir mesaj, bazı fiziksel sistemler hakkında bir bilgi topluluğudur. Açıkçası fiziksel sistemin durumu önceden bilinseydi mesajı iletmenin bir anlamı olmazdı.

Açıkçası, sistem hakkında elde edilen bilgiler, genel olarak konuşursak, sistemin bu bilgiyi almadan önceki belirsizliği ("a priori") ne kadar büyük olursa, o kadar değerli ve anlamlı olacaktır. Bu soruyu cevaplamak için her biri bir miktar belirsizliğe sahip iki sistemi karşılaştıralım.

Ancak genel olarak durum böyle değildir. Örneğin iki durumda olabilecek bir teknik cihazı düşünün: 1) çalışır durumda ve 2) arızalı. Sistemin belirsizlik derecesini anlatmak için tablonun üst satırına hangi değerlerin yazıldığının tamamen önemsiz olduğunu vurguluyoruz; Bu değerlerin yalnızca sayısı ve olasılıkları önemlidir. Entropi kavramı bilgi teorisinin temelini oluşturur.

Bu bilginin miktarına entropi denir. Bazı mesajların alfabenin öğelerini, öğelerini vb. içerdiğini varsayalım. Miktar, mesaj kaynağının entropisi olarak adlandırılır. 3. Mesaj öğelerinin tüm durumları eşit derecede olası ise entropi maksimumdur. Bilgi teorisinde, olasılıksal bağlantıların varlığının her zaman mesaj kaynağının entropisini azalttığı kanıtlanmıştır.

Bilardo oyunu, topların masanın üzerinde düzgün bir piramit şeklinde düzenlenmesiyle başlar. Daha sonra piramidi kıran bir sopayla ilk darbe vurulur. Toplar masanın üzerinde tuhaf yörüngeler boyunca yuvarlanıyor, defalarca masanın duvarlarına ve birbirleriyle çarpışıyor ve sonunda yeni bir yerde donuyor. Bazı nedenlerden dolayı yeni düzenleme her zaman daha az düzenlidir. Neden? Sonsuza dek deneyebilirsiniz. Topların masadaki konumları her seferinde değişecektir, ancak ilk vuruştan önce masanın üzerindeki düzenli piramitin aynısına asla ulaşamayacağız. Sistem kendiliğinden daha az düzenli durumlara geçer. Hiçbir zaman bu kadar düzenli olmamıştım. Sistemin düzenli bir duruma geçebilmesi için dışarıdan müdahale gerekmektedir. Oyunculardan biri üçgen bir çerçeve alır ve onu oluşturur. yeni piramit. Süreç enerji yatırımı gerektirir. Topların birbirleriyle ve duvarlarla çarpışması sonucu kendiliğinden piramit şeklinde sıralanmaya zorlamanın bir yolu yoktur.

Bilardo masasında düzensizliğin artması süreci kontrol edilmez (her ne kadar gerçekleşmesi enerji gerektirse de), çünkü iyi bir bilardo masası topun enerjisinin herhangi bir noktada aynı olmasını sağlayacak şekilde özel olarak yapılmıştır. Bilardo masasında olup bitenler başka bir masada gösteriliyor büyük prensip Evrenimiz buna göre düzenlenmiştir: maksimum entropi ilkesi. Elbette evrenin büyük ilkesi yalnızca bilardo masasıyla sınırlı değildir. Bu yüzden çözeceğiz.

Entropi bir sistemin düzensizliğinin ölçüsüdür. Bir sistemde ne kadar az düzen varsa, entropisi de o kadar yüksek olur. Neyin düzen, neyin düzensizlik olduğu hakkında konuşmak muhtemelen mantıklı olacaktır.

Sıra, mesafeler ve yönler tekrarlandığında parçacıkların düzenli bir düzenlemesi olarak anlaşılabilir ve birkaç parçacığın konumundan bir sonrakinin konumu tahmin edilebilir. Parçacıklar herhangi bir görünür düzenleme kanunu olmadan düzgün bir şekilde karışıyorsa bu bir düzensizliktir. Parçacıklar uzayın bir bölgesinde düzgün bir şekilde toplanmışsa bu bir düzendir. Her yere dağılmışlarsa, bu bir karmaşadır. Karışımın farklı bileşenleri farklı yerlerde ise bu bir düzendir. Her şey karışırsa karışıklık olur. Genel olarak annenize veya karınıza sorun - açıklayacaktır.

Bir gazın entropisi (bu arada, "gaz" kelimesi Yunanca "kaos" kelimesinin bozulmasıdır) bir sıvınınkinden daha yüksektir. Sıvının entropisi daha yüksektir sağlam. Genel olarak konuşursak, sıcaklığın artması bozukluğu artırır. Maddenin tüm halleri arasında en az entropiye sahip olan sert kristal sıcaklıkta mutlak sıfır. Bu entropi sıfır olarak alınır.

İÇİNDE çeşitli süreçler entropi değişiklikleri. Bazı süreçlerde enerjide bir değişiklik olmazsa, süreç ancak sistemin entropisinde bir artışa yol açtığında kendiliğinden ilerler. (Hem entropi hem de enerji değiştiğinde ne olacağına biraz sonra değineceğiz.) Bu nedenle bilardo masasındaki toplar istekayla vurulduktan sonra daha az düzenli bir konuma gelirler. Entropi değişiklikleri çeşitli sistemlerşu şekilde özetlenebilir maksimum entropi ilkesi:

Herhangi bir sistem kendiliğinden, mevcut en düzensiz durumu işgal etmeye çalışır.

Çoğu zaman aynı şey şu şekilde formüle edilir: entropinin azalmaması ilkesi:

Yalıtılmış bir sistemin entropisi azalamaz.

Bu formülasyon, Evrenin termal ölümü konusunda pek çok tartışmaya yol açtı ve yol açmaya devam ediyor: Evren, tanımı gereği, izole sistem(o olmadığı için çevre kütle veya enerji alışverişinin mümkün olabileceği), bu nedenle entropisi giderek artar. Sonuç olarak, Evren sonunda, çevresinden bir şekilde farklı olan tek bir nesnenin var olamayacağı tam bir homojen düzensizlik durumuna gelecektir. Konu girişi en yüksek derece büyüleyici ama bunu başka zaman konuşalım.

Entropi, topluluğun kendi bilgilerinin ortalama değeri olarak tanımlanır

Maksimum entropi yöntemi, maksimum bilgi yöntemine benzer şekilde, tüm olası olasılık dağılımları arasından aşağıdakileri aramaya dayanır: maksimum entropi(3.19) yazın. Böylece, çözümün belirsizliğini ortadan kaldırmak için maksimum entropi kriteri kullanılır ve fonksiyonel (3.19), görüntünün bir tür "kalite ölçüsü" görevi görür.

Böyle bir kalite ölçüsünün anlamı, olasılık dağılım yoğunluklarının tahmin edilmesi problemine dönülerek anlaşılabilir. matematiksel istatistik. Durumunda ünlü anlar rastgele dağılım(3.19) ifadesinin maksimize edilmesiyle elde edilen tahmin, tüm olası tahminler arasında en az taraflı olanıdır. Görüntü oluşturma sürecine getirilen kısıtlamalarla birlikte maksimumun (3.19) vermesi beklenebilir. iyi not dağıtım yoğunluğu. İmaj oluşumu sürecini düşünmeye çalışalım ve öğrenelim fiziksel anlam maksimum entropi kriteri.

Kaynağın toplam yoğunluğu eşit olsun ve noktadan gelen yoğunluk şuna eşit olsun: Belirli bir nesnenin ışınlardan oluşabileceği yolların sayısını sayalım:

Şimdi en fazla sayıda durumda oluşacak dağılımı bulalım.

Bunu logaritmasıyla değiştirerek (maksimum değişmeyecektir) ve Stirling formülünü kullanarak şunu elde ederiz:

Sorunu çözmek için formasyon denklemlerindeki kısıtlamaları da hesaba katmak gerekir:

ayrıca görüntünün toplam yoğunluğu üzerinde bir sınırlama, yani.

İfadeler maksimum entropi yönteminin temelini oluşturur. Maksimum entropi kriterini uygulamanın fiziksel anlamı, çoğu durumda belirli bir çıktı dağılımını oluşturan kanal girişinde böyle bir olasılık dağılımını aramak veya en makul kaynak dağılımını aramaktır. verilen koşullar oluşumu. Bu anlamda maksimum entropi yöntemi bir yöntem olarak düşünülebilir. maksimum olasılıkışın görüntüleme modeli için.

Maksimum entropi yöntemini yazmanın en yaygın biçimlerinden birini ele alalım. Görüntü oluşumuyla eşzamanlı olarak gürültü alanının paralel oluşumunu ele alacağız:

Yukarıdaki mantığa dayanarak, gürültü alanının aşağıdaki şekillerde yaratılabileceğini bulduk:

Sorunu çözmek için maksimize etmek gerekir. ortak olasılık görüntü ve gürültü alanı oluşumu

Bu ifadenin logaritmasının alınması gürültü ve görüntü entropilerinin toplamını verir:

Oluşum sürecindeki kısıtlamaları ve ışın sayısını (toplam yoğunluk) korumayı dikkate alarak aşağıdaki optimizasyon problemini elde ederiz:

burada miktarlar ve optimizasyon probleminin Lagrange çarpanlarıdır. Sistemi çözmek için kısmi türevleri (3.25) buluruz ve sıfıra eşitleriz:

(3.26), (3.27) için ve (3.27)'den gelen ifadeleri kısıt denklemlerinde yerine koyarsak, şunu buluruz:

(3.28) formundaki denklemlerden, girdi dağıtım fonksiyonunu bulmak için kullanılan Lagrange çarpanları belirlenir:

(3.29)'daki üstel, çözümün pozitifliğini sağlar. Entropi fonksiyonelinin kendisi önemli ölçüde doğrusal değildir, bu da denklemlerin (3.29) ilginç bir özelliğine neden olur: bozuk görüntünün spektrumunda bulunmayan uzaysal frekansları içerebilirler. Bu, "süper çözünürlük" olasılığından, yani sınırlı bant genişliğine sahip bir üretim sistemi tarafından yok edilen bilgilerin geri yüklenmesi olasılığından bahsetmemize olanak tanır (Bölüm 5, süper çözünürlüğün etkisine ve yeteneklerinin değerlendirilmesine ayrılmıştır). Ayrıca (3.29)'a dayanarak elde edilen çözümlerin artan kalite nazaran doğrusal algoritmalar kurtarma, ancak çözümler gerektirir karmaşık sistem Doğrusal olmayan denklemler.

Güç spektrumlarını tahmin etmek için Burg tarafından önerilen (3.19) formundaki entropi ifadesine bir alternatif vardır. Entropinin bu formu aşağıdaki forma sahiptir:

İfadeye (3.30) dayalı yeniden yapılandırma yöntemi, görüntü işleme uygulamalarında da kullanılabilir. Gürültülü spektrum örneklerini bize bildirin

sırasıyla spektrumun örnekleridir. Gözlemlenen görüntünün spektrumunun gerçek ve gürültülü örnekleri arasındaki tutarsızlığa bir sınırlama getirelim:

Daha sonra, bir çözüm bulmak için daha basit bir işlevi en üst düzeye çıkarmanız gerekir:

Şunu belirtmek gerekir ki son zamanlarda göründü büyük sayı Her birinin formülasyonundan kaynaklanan çok çeşitli kısıtlamaları kullanan, hem (3.19) hem de (3.30)'u temel alan algoritmalar özel görev. Doğru, iki entropi normunun varlığı, ilk olarak pratikte hangisinin kullanılacağının belirsiz olması ve ikinci olarak, kurtarma sorununun yeterince net bir şekilde formüle edilmemesi nedeniyle bazı şüphelere yol açmaktadır.

Başka biri var ilginç özellik Maksimum entropiyi aramaya dayalı algoritmalar. Bu durum için (3.27)-(3.29) ifadelerine dönelim. ideal sistem Bu durumda maksimum entropi algoritmasının kullanımının, gürültü ve sinyalin herhangi bir önsel özelliği olmadan görüntüyü gürültüden izole etme iddiasında olduğunu görmek kolaydır. Ancak daha dikkatli bir analiz, (3.28) formundaki denklemleri kullanan çözümün paradoksal bir sonuç verdiğini gösterir: sinyal ve gürültü ilişkilidir doğrusal bağımlılık. Aslında buradaki sinyal tahmini şuna eşittir:

ve gürültü tahmini şu şekilde olacaktır:

İÇİNDE pratik uygulamalar Bu etkiyi önlemek için gürültü entropisi ifadesi belirli bir ağırlıklandırma katsayısı ile alınır ve (3.24) yerine aşağıdaki fonksiyonel dikkate alınır:

Ancak bu teknik, türev dönüşümlerin fiziksel anlamını belirsiz bırakıyor.

Maksimum entropi yönteminin bir diğer dezavantajı ise en iyi sonuçlar yardımıyla bireysel dürtülerden oluşan nesnelerin homojen bir arka plan üzerinde yeniden yapılandırılmasıyla elde edilirler ve yöntemin mekansal olarak genişletilmiş nesnelere uygulanma girişimleri dalgalanmaların ortaya çıkmasına neden olur.

Maksimum entropi ve maksimum bilgi yöntemlerine ilişkin sunulan sonuçlar birleştirilebilir

maksimum olabilirlik yöntemini kullanarak dağıtım yoğunluğunu tahmin etmek için algoritmaların oluşturulmasına dayanan tek bir şemaya dönüştürülür. Dolayısıyla, dikkate alınan algoritmalar, § 2.4'te açıklanan istatistiksel düzenleme yöntemleri grubuna dahil edilebilir. Tek fark, bu algoritmaların farklı bir istatistiksel modele (görüntünün kendisinin olasılık yoğunluğu olarak temsili) dayalı olmasıdır. Böyle bir model, hemen söz konusu fonksiyonellerin doğrusal olmamasına yol açar. Bununla birlikte, daha önce belirtilen dezavantajlar bizi, bilgi-teorik restorasyon yöntemlerinin avantajlarını (sınırsız frekans bandı, çözümün olumsuz olmaması vb.) korurken, daha geniş bir görüntü sınıfını geri yüklememize izin veren algoritmalar aramaya zorlar.