Teori informasi
Pencetus teori informasi adalah Claude Shannon, yang pada tahun 1947-48 membahas isu efisiensi sistem komunikasi. Akibatnya, tujuan teori ini dirumuskan - untuk meningkatkan kapasitas saluran komunikasi. Sistem yang efektif adalah sistem yang, jika kondisi dan biayanya sama, dapat mengirimkan lebih banyak informasi. Biasanya, analisis mempertimbangkan objek: sumber informasi dan saluran penyampaian informasi.
Jadi, ada beberapa acara. Informasi tentang mereka dalam bentuk simbolis, berupa sinyal, ditransmisikan melalui saluran komunikasi. Suatu saluran dapat dikatakan baik jika memenuhi dua syarat. Pertama, informasi dikirimkan melaluinya dengan kecepatan tinggi dan kedua, interferensi yang mempengaruhi transmisi sedikit mengurangi kualitas informasi. Untuk menemukan kondisi transfer tersebut, perlu memasukkan beberapa karakteristik informasi.
Prinsip dasar teori informasi paling jelas diwujudkan dengan sumber yang terpisah dan saluran yang sama. Oleh karena itu, kita akan memulai perkenalan kita dengan topik ini dengan asumsi ini.
1.1 Ukuran kuantitatif informasi.
Pertama, mari kita cari tahu apa yang masuk akal untuk disiarkan melalui saluran tersebut.
Jika penerima mengetahui informasi apa yang akan dikirimkan, maka jelas tidak perlu mengirimkannya. Masuk akal untuk hanya menyampaikan apa yang tidak terduga. Semakin besar kejutannya, semakin besar pula kejutannya lagi informasi harus terkandung dalam acara ini. Misalnya, Anda bekerja di depan komputer. Pesan bahwa pekerjaan hari ini harus selesai dalam waktu 45 menit. menurut jadwal sepertinya bukan hal baru bagi Anda. Ini sangat jelas bahkan sebelum pengumuman berakhirnya pekerjaan. Oleh karena itu, pesan seperti itu tidak mengandung informasi apa pun; tidak ada gunanya menyebarkannya. Dan sekarang contoh lainnya. Pesannya begini: dalam satu jam, atasan Anda akan memberi Anda tiket pesawat ke Moskow dan pulang pergi, dan juga akan mengalokasikan sejumlah uang untuk hiburan. Informasi semacam ini tidak terduga bagi Anda dan, oleh karena itu, mengandung banyak satuan ukuran. Pesan-pesan seperti inilah yang masuk akal untuk disampaikan melalui saluran tersebut. Kesimpulannya sangat sederhana: semakin banyak kejutan dalam sebuah pesan, semakin banyak informasi yang dikandungnya.
Kejutan ditandai dengan probabilitas, yang termasuk dalam ukuran informasi.
Beberapa contoh lagi. Kami memiliki dua kotak, satu berisi bola putih dan satu lagi berisi bola hitam. Berapa banyak informasi yang terkandung dalam pesan di mana bola putih itu berada? Peluang terambilnya bola putih dalam sebuah kotak adalah 0,5. Sebut saja probabilitas ini sebagai pengalaman atau secara apriori .
Sekarang kita mengambil satu bola. Terlepas dari bola mana yang kita keluarkan, setelah percobaan seperti itu kita akan mengetahui secara pasti di kotak mana bola putih itu berada. Oleh karena itu, probabilitas informasi akan sama dengan 1. Probabilitas ini disebut setelah eksperimen atau sebuah posteriori .
Mari kita lihat contoh ini dari sudut pandang jumlah informasi. Jadi, kami memiliki sumber informasi - kotak dengan bola. Awalnya, ketidakpastian bola ditandai dengan probabilitas 0,5. Kemudian sumber tersebut “berbicara” dan memberikan informasi; kami menarik bolanya. Selanjutnya, segala sesuatu menjadi ditentukan dengan probabilitas 1. Adalah logis untuk mengambil tingkat pengurangan ketidakpastian tentang suatu peristiwa sebagai akibat dari pengalaman sebagai ukuran informasi kuantitatif. Dalam contoh kita, nilainya adalah 1/0,5.
Sekarang contohnya lebih kompleks. Diketahui ukuran bagiannya bisa 120.121.122, . . .,180 mm., yaitu memiliki salah satu dari 61 nilai. Peluang sebelumnya bahwa ukuran bagian i mm adalah 1/61.
Kami memiliki alat ukur yang sangat tidak sempurna yang memungkinkan kami mengukur suatu bagian dengan akurasi +5,-5 mm. Hasil pengukuran, ukurannya menjadi 130 mm. Tapi nyatanya bisa jadi 125.126, . . .,135mm; hanya 11 nilai. Sebagai hasil percobaan, ketidakpastian tetap ada, yang ditandai dengan probabilitas posteriori 1/11. Tingkat pengurangan ketidakpastian adalah (1/11):(1/61). Seperti di atas, rasio ini adalah jumlah informasi.
Paling nyaman fungsi logaritma untuk mencerminkan jumlah informasi. Basis logaritma diasumsikan dua. Mari kita nyatakan jumlah informasi 
- probabilitas apriori, 
- probabilitas posterior. Kemudian,
.
(1)
Pada contoh pertama 
1 sedikit informasi; di detik 
2,46 bit informasi. Bit – satu unit informasi biner
.
Sekarang mari kita beralih ke sumber informasi sebenarnya, yaitu himpunan acara independen(pesan) dengan probabilitas sebelumnya yang berbeda 
. Kumpulan ini mewakili data tentang parameter suatu objek dan terdapat informasi tentangnya. Biasanya, setelah sumber mengeluarkan pesan, diketahui secara pasti parameter mana yang dikeluarkan. Probabilitas posteriornya adalah 1. Jumlah informasi yang terkandung dalam setiap kejadian akan sama dengan
.
(2)
Nilai ini selalu lebih besar dari nol. Begitu banyak peristiwa, begitu banyak informasi. Ini sangat tidak nyaman untuk mengkarakterisasi sumbernya. Oleh karena itu, konsep entropi diperkenalkan. Entropi adalah jumlah rata-rata informasi per peristiwa (pesan) sumber . Itu ditemukan sesuai dengan aturan untuk menentukan ekspektasi matematis:
.
(3)
Atau mengingat sifat-sifat fungsi logaritma
.
(4)
Bit/pesan dimensi entropi. Mari kita membahas sifat-sifat entropi. Mari kita mulai dengan sebuah contoh. Katakanlah ada sumber informasi biner dengan probabilitas kejadian apriori 
Dan 
membentuk kelompok yang lengkap. Dari sini berikut hubungan di antara mereka: 
. Mari kita cari entropi sumbernya:
Tidak sulit untuk melihat bahwa jika salah satu probabilitas sama dengan nol, maka probabilitas kedua sama dengan 1, dan ekspresi entropi akan menghasilkan nol.
Mari kita gambarkan ketergantungan entropi pada 
(Gbr. 1).
Mari kita perhatikan fakta bahwa entropi maksimum pada probabilitas 0,5 dan selalu positif.
Properti pertama entropi . Entropi maksimum untuk kejadian-kejadian yang mempunyai kemungkinan sama di sumbernya. Dalam contoh sumber biner kita, nilainya adalah 1. Jika sumbernya bukan biner dan berisi N kata-kata, maka entropi maksimum.
Properti kedua entropi. Jika probabilitas satu pesan sumber adalah 1, dan pesan lainnya adalah nol, karena membentuk kelompok peristiwa yang lengkap, maka entropinya adalah nol. Sumber seperti itu tidak menghasilkan informasi.
Sifat entropi yang ketiga adalah teorema penjumlahan entropi
. Mari kita lihat pertanyaan ini lebih detail. Katakanlah ada dua sumber informasi yang diwakili oleh serangkaian pesan 
Dan 
.
Setiap sumber memiliki entropi 
Dan 
. Selanjutnya, sumber-sumber ini digabungkan, dan diperlukan untuk mencari entropi dari ansambel gabungan 
. Setiap pasang pesan 
Dan 
sesuai dengan probabilitas 
. Jumlah informasi dalam pasangan tersebut adalah
Melanjutkan dengan cara yang terkenal, kami menemukan jumlah rata-rata informasi per pasang pesan ansambel. Ini akan menjadi entropi. Benar, ada dua kasus di sini. Ansambel gabungan dapat independen dan bergantung secara statistik.
Pertimbangkan kasus pertama ansambel independen, penampilan pesannya 
sama sekali tidak didefinisikan 
. Mari kita tuliskan ekspresi entropi:
,
(7)
Di Sini 
- jumlah pesan dalam ansambel.
Karena dengan independensi probabilitas dua dimensi, a, dari rumus umum sebelumnya kita peroleh
Di mana 
Dan 
ditentukan oleh rumus yang diketahui.
Selanjutnya kita akan membahas kasus yang lebih kompleks. Mari kita asumsikan bahwa kumpulan pesan berada dalam hubungan statistik 
dengan beberapa kemungkinan menunjukkan penampakannya 
. Fakta ini ditandai dengan probabilitas bersyarat 
; Garis miring pada notasi mencirikan kondisi tersebut. Dengan memperkenalkan probabilitas bersyarat, probabilitas dua dimensi dapat didefinisikan melalui produk dari probabilitas satu dimensi:
Dengan mempertimbangkan hal ini, mari kita cari ekspresi entropi. Konversinya seperti ini:
Mengingat jumlah semua probabilitas kejadian sama dengan 1, penjumlahan ganda pertama pada ekspresi terakhir menghasilkan entropi sumber X, H(x).
Jumlah ganda kedua disebut entropi bersyarat dan dilambangkan sebagai 
. Dengan demikian,
Dengan cara serupa dapat dibuktikan bahwa .
Dalam ekspresi terakhir kita menemukan entropi bersyarat, yang ditentukan oleh hubungan antara kumpulan pesan yang digabungkan. Jika ansambel tersebut independen secara statistik 
, dan entropi bersyarat 
. Hasilnya, kami mendapatkan rumus yang terkenal.
Jika pesan-pesan benar-benar bergantung, yaitu pesan-pesan tersebut berada dalam hubungan fungsional, 
mengambil salah satu dari dua nilai: 1, kapan 
, atau 0 kapan 
. Entropi bersyarat akan sama dengan 0, karena kumpulan pesan kedua tidak memiliki kejutan, dan karenanya tidak membawa informasi.
Setelah mengenal entropi dan sifat-sifatnya, mari kembali ke satu-satunya sumber informasi. Anda harus tahu bahwa sumber informasi apa pun berfungsi pada saat ini. Simbol-simbolnya (tanda-tandanya) menempati tempat tertentu dalam urutannya. Suatu sumber informasi disebut stasioner jika peluang suatu simbol tidak bergantung pada tempatnya dalam barisan tersebut. Dan satu definisi lagi. Simbol sumber dapat memiliki hubungan statistik (probabilistik) satu sama lain. Sumber informasi ergodik adalah sumber yang hubungan statistiknya antar tanda meluas hingga sejumlah terbatas simbol-simbol sebelumnya. Jika hubungan ini hanya mencakup dua tanda yang bertetangga, maka sumber seperti itu disebut rantai Markov yang terhubung sederhana. Ini adalah sumber yang sekarang akan kita pertimbangkan. Skema pembangkitan simbol oleh sumber ditunjukkan pada Gambar. 2.
Penampilan Simbol 
tergantung karakter apa 
diberikan oleh sumber pada saat sebelumnya. Ketergantungan ini ditentukan oleh probabilitas 
. Mari kita cari entropi sumber tersebut. Kita akan melanjutkan dari pemahaman umum entropi sebagai ekspektasi matematis dari jumlah informasi. Katakanlah dua karakter ditampilkan seperti yang ditunjukkan pada Gambar. 2. Jumlah informasi dalam situasi seperti ini diberikan oleh sumbernya
Dengan merata-ratakan jumlah ini pada semua kemungkinan simbol berikutnya, kita memperoleh entropi parsial, dengan syarat entropi parsial selalu diberi simbol sebelumnya 
:
.
(13)
Sekali lagi, rata-ratakan entropi parsial ini secara keseluruhan karakter sebelumnya, kami mendapatkan hasil akhir:
Indeks 2 dalam penunjukan entropi menunjukkan bahwa hubungan statistik hanya mencakup dua simbol yang berdekatan.
Mari kita memikirkan sifat-sifat entropi sumber ergodik.
Ketika simbol-simbol dalam sumbernya bersifat independen 
, rumus (14) disederhanakan dan direduksi menjadi bentuk biasa (4).
Adanya hubungan statistik (probabilistik) antar simbol asli selalu menyebabkan penurunan entropi, 
.
Jadi, suatu sumber informasi memiliki entropi maksimum jika dua kondisi terpenuhi: semua simbol sumber memiliki kemungkinan yang sama (properti entropi) dan tidak ada hubungan statistik antara simbol-simbol sumber.
Untuk menunjukkan seberapa baik simbol sumber digunakan, parameter redundansi diperkenalkan 
:
.
(15)
Besarnya 
berada dalam rentang 0 hingga 1.
Sikap terhadap parameter ini ada dua. Di satu sisi, semakin sedikit redundansi, semakin efisien sumber tersebut beroperasi. Di sisi lain, semakin besar redundansinya, semakin sedikit gangguan dan kebisingan yang mempengaruhi penyampaian informasi dari sumber tersebut ke konsumen. Misalnya, adanya hubungan statistik antar simbol meningkatkan redundansi, namun pada saat yang sama meningkatkan ketepatan transmisi. Karakter individu yang hilang dapat diprediksi dan dipulihkan.
Mari kita lihat sebuah contoh. Sumbernya adalah huruf alfabet Rusia, totalnya ada 32. Mari kita tentukan entropi maksimumnya: 
sedikit/pesan.
Karena terdapat hubungan statistik antara huruf dan kemungkinan kemunculannya dalam teks jauh dari identik, entropi sebenarnya sama dengan 3 bit/pesan. Oleh karena itu redundansi 
.
Ciri-ciri sumber selanjutnya adalah kinerja; ini mencirikan kecepatan perolehan informasi oleh sumbernya. Misalkan setiap surat dari sumber diterbitkan dalam jangka waktu tertentu 
. Dengan menghitung rata-rata waktu ini, kami menemukan waktu rata-rata untuk mengeluarkan satu pesan 
. Jumlah rata-rata informasi yang dihasilkan oleh suatu sumber per satuan waktu – produktivitas sumber 
:
.
(16)
Jadi, mari kita rangkum. Ciri-ciri sumber informasi ergodik adalah sebagai berikut:
jumlah informasi di setiap tanda,
entropi,
redundansi,
pertunjukan.
Perlu dicatat bahwa titik kuat Ukuran jumlah informasi yang diperkenalkan dan, tentu saja, semua karakteristik bersifat universal. Semua konsep yang diperkenalkan di atas berlaku untuk semua jenis informasi: sosiologis, teknis, dll. Sisi lemah dari ukuran ini adalah bahwa hal itu tidak mencerminkan pentingnya informasi, nilainya. Informasi tentang memenangkan pena dan lotere mobil sama pentingnya.
1.2. Karakteristik informasi saluran
Ingatlah bahwa informasi dikirimkan melalui saluran komunikasi. Sebelumnya kami telah memperkenalkan karakteristik informasi dari sumber informasi, dan sekarang kami akan memperkenalkan karakteristik informasi saluran. Mari kita bayangkan situasi seperti yang ditunjukkan pada Gambar. 1.
Beras. 1
Pada saluran input terdapat alfabet input yang terdiri dari banyak karakter 
, dan pada keluaran - 
.
P 
Mari kita gambarkan saluran komunikasi dengan model matematika. Representasi saluran diskrit yang paling terkenal adalah dalam bentuk grafik. Node grafik diperoleh dengan ( 
) dan ditransmisikan ( 
) huruf alfabet; tepinya mencerminkan kemungkinan hubungan antara huruf-huruf ini (Gbr. 2).
Hubungan antar huruf alfabet biasanya dinilai dengan probabilitas bersyarat, misalnya, 
kemungkinan penerimaan 
asalkan ditransfer 
. Ini adalah kemungkinan penerimaan yang benar. Dengan cara yang sama, seseorang dapat memperkenalkan probabilitas bersyarat dari teknik yang salah, misalnya, 
. Alasan munculnya probabilitas bukan nol ini adalah interferensi, yang tidak ada saluran sebenarnya yang bebas. Harap dicatat bahwa n dan m, jumlah karakter (huruf) dalam array yang dikirim dan diterima belum tentu sama. Berdasarkan model ini, definisi lebih lanjut diperkenalkan.
Saluran simetris – ini adalah saluran di mana semua probabilitas penerimaan yang benar untuk semua simbol adalah sama, dan juga probabilitas penerimaan yang salah adalah sama. Untuk saluran seperti itu, probabilitas bersyarat dapat ditulis sebagai berikut:
Di Sini 
– kemungkinan penerimaan yang salah. Jika probabilitas ini tidak bergantung pada karakter apa yang dikirimkan sebelum simbol tertentu, saluran seperti itu disebut " saluran tanpa memori
Sebagai contoh, Gambar 3 di bawah menunjukkan grafik saluran biner simetris tanpa memori.
R 
adalah. 3
Mari kita asumsikan lebih lanjut bahwa alfabet pada keluaran saluran berisi simbol tambahan, yang muncul ketika dekoder penerima tidak dapat mengenali simbol yang dikirimkan. Dalam hal ini, ia mengembangkan penolakan untuk mengambil keputusan. Posisi ini disebut penghapusan. Saluran ini disebut saluran tanpa memori dengan penghapusan dan grafiknya ditunjukkan pada Gambar. 4. Posisi “menghapus” ditunjukkan di sini dengan tanda tanya.
R 
adalah. 4.
Saluran paling sederhana dengan memori adalah saluran Markov . Di dalamnya, kemungkinan kesalahan bergantung pada apakah simbol sebelumnya diterima dengan benar atau salah.
Selain grafik saluran komunikasi, ada deskripsi lain - matriks saluran
. Ini adalah sekumpulan probabilitas bersyarat 
atau 
. Bersama dengan probabilitas apriori, 
Dan 
itu memberi gambar penuh statistik saluran yang berisik. Misalnya, mari kita lihat matriks saluran
.
Pesan apa pun yang kita bahas dalam teori informasi adalah kumpulan informasi tentang suatu sistem fisik. Misalnya, pesan tentang persentase cacat yang normal atau meningkat, tentang komposisi kimia bahan baku atau suhu oven. Untuk masukan dari sistem pengelolaan dana pertahanan udara sebuah pesan dapat dikirimkan bahwa ada dua sasaran di udara, terbang pada ketinggian tertentu, dengan kecepatan tertentu. Sebuah pesan dapat dikirimkan ke input yang sama bahwa sejumlah pesawat tempur tertentu sedang dalam kesiapan tempur di lapangan terbang tertentu, atau bahwa lapangan terbang tersebut telah dinonaktifkan oleh tembakan musuh, atau bahwa target pertama telah ditembak jatuh, dan target kedua berlanjut. untuk terbang dengan jalur yang dimodifikasi. Salah satu dari pesan-pesan ini menggambarkan keadaan beberapa pesan sistem fisik.
Jelasnya, jika keadaan sistem fisik diketahui sebelumnya, tidak ada gunanya mengirimkan pesan. Pesan tersebut menjadi bermakna hanya jika keadaan sistem tidak diketahui sebelumnya, secara kebetulan.
Oleh karena itu, sebagai objek tempat informasi ditransmisikan, kita akan mempertimbangkan sistem fisik tertentu yang mungkin secara acak berakhir dalam keadaan tertentu, yaitu suatu sistem yang jelas-jelas memiliki tingkat ketidakpastian tertentu. Jelasnya, informasi yang diperoleh tentang sistem, secara umum, akan lebih berharga dan bermakna, semakin besar ketidakpastian sistem sebelum menerima informasi tersebut (“a priori”). Sebuah pertanyaan wajar muncul: apa yang dimaksud dengan tingkat ketidakpastian yang “lebih besar” atau “lebih kecil” dan bagaimana cara mengukurnya?
Untuk menjawab pertanyaan ini, mari kita bandingkan dua sistem, yang masing-masing mempunyai ketidakpastian.
Sebagai sistem pertama, mari kita ambil sebuah koin, yang sebagai hasil pelemparan, dapat berakhir di salah satu dari dua keadaan: 1) lambang muncul dan 2) nomor muncul. Yang kedua adalah dadu yang berjumlah enam negara bagian yang memungkinkan: 1, 2, 3, 4, 5 dan 6. Pertanyaannya, sistem manakah yang lebih banyak ketidakpastiannya? Jelas, yang kedua, karena ia memiliki lebih banyak kemungkinan keadaan, yang masing-masing keadaannya dapat berakhir dengan probabilitas yang sama.
Tampaknya tingkat ketidakpastian ditentukan oleh jumlah kemungkinan keadaan sistem. Namun, di kasus umum ini salah. Pertimbangkan, misalnya, perangkat teknis yang dapat berada dalam dua kondisi: 1) berfungsi dan 2) rusak. Mari kita asumsikan bahwa sebelum menerima informasi (a priori), kemungkinan pengoperasian perangkat yang benar adalah 0,99, dan kemungkinan kegagalan adalah 0,01. Sistem seperti itu hanya memiliki tingkat ketidakpastian yang sangat kecil: hampir dapat dipastikan bahwa perangkat tersebut akan berfungsi dengan baik. Saat melempar koin, ada juga dua kemungkinan keadaan, namun tingkat ketidakpastiannya jauh lebih besar. Kita melihat bahwa tingkat ketidakpastian suatu sistem fisik ditentukan tidak hanya oleh jumlah keadaan yang mungkin terjadi, tetapi juga oleh probabilitas keadaan tersebut.
Mari beralih ke kasus umum. Mari kita pertimbangkan beberapa sistem yang dapat mengambil himpunan keadaan berhingga: dengan probabilitas , di mana
(18.2.1)
Probabilitas bahwa sistem akan mengambil keadaan (simbol menunjukkan kejadian: sistem berada dalam keadaan). Jelas sekali, .
Mari kita tulis data ini dalam bentuk tabel, di mana baris paling atas mencantumkan kemungkinan keadaan sistem, dan baris paling bawah mencantumkan probabilitas yang sesuai:
Tabel ini ditulis mirip dengan rangkaian distribusi diskontinu variabel acak Dengan nilai yang mungkin, memiliki probabilitas. Memang antara sistem fisik dan himpunan terbatas negara bagian dan variabel acak diskontinu mempunyai banyak kesamaan; untuk mengurangi yang pertama menjadi yang kedua, cukup dengan menetapkan beberapa nilai numerik pada setiap negara bagian (misalnya, nomor negara bagian). Kami menekankan bahwa untuk menggambarkan tingkat ketidakpastian sistem, tidak penting nilai mana yang ditulis di baris atas tabel; Hanya jumlah nilai-nilai ini dan probabilitasnya yang penting.
Sebagai ukuran ketidakpastian apriori suatu sistem (atau variabel acak terputus-putus), teori informasi menggunakan karakteristik khusus yang disebut entropi. Konsep entropi merupakan hal mendasar dalam teori informasi.
Entropi suatu sistem adalah jumlah produk probabilitas berbagai kondisi sistem logaritma probabilitas ini, diambil dengan tanda sebaliknya:
. (18.2.2)
Entropi, seperti yang akan kita lihat nanti, memiliki sejumlah sifat yang membenarkan pilihannya sebagai karakteristik tingkat ketidakpastian. Pertama, ia menjadi nol ketika salah satu keadaan sistem dapat diandalkan, namun keadaan lainnya tidak mungkin dilakukan. Kedua, untuk sejumlah negara bagian tertentu, probabilitasnya mencapai maksimum ketika negara-negara bagian ini memiliki kemungkinan yang sama, dan ketika jumlah negara bagian bertambah, maka probabilitasnya pun meningkat. Terakhir, dan ini yang paling penting, ia memiliki sifat aditif, yaitu ketika beberapa sistem independen digabungkan menjadi satu, entropinya bertambah.
Logaritma pada rumus (18.2.2) dapat diambil dengan basis apa saja. Mengubah basis sama dengan mengalikan entropi dengan angka konstan, dan pilihan basis setara dengan pilihan unit pengukuran entropi tertentu. Jika angka 10 dipilih sebagai basis, maka kita berbicara tentang "satuan desimal" entropi, jika 2 - tentang "satuan biner". Dalam praktiknya, paling mudah menggunakan logaritma dalam basis 2 dan mengukur entropi dalam satuan biner; ini sesuai dengan yang digunakan dalam digital elektronik komputer sistem bilangan biner.
Berikut ini, kecuali dinyatakan lain, kita akan selalu memahami simbol sebagai logaritma biner.
Lampiran (Tabel 6) memberikan logaritma biner bilangan bulat dari 1 hingga 100.
Sangat mudah untuk memverifikasi bahwa ketika memilih 2 sebagai basis logaritma, entropi diambil sebagai satuan pengukuran entropi sistem yang paling sederhana, yang memiliki dua kemungkinan keadaan yang sama:
Memang, menurut rumus (18.2.2) kita mempunyai:
.
Satuan entropi yang didefinisikan dengan cara ini disebut “satuan biner” dan kadang-kadang dilambangkan dengan bit (dari bahasa Inggris “digit biner”). Ini adalah entropi satu digit bilangan biner, jika kemungkinannya sama dengan nol atau satu.
Mari kita ukur dalam satuan biner entropi suatu sistem yang mempunyai kemungkinan keadaan yang sama:
artinya, entropi suatu sistem dengan kemungkinan keadaan yang sama sama dengan logaritma jumlah keadaan.
Misalnya, untuk sistem dengan delapan negara bagian 
.
Mari kita buktikan bahwa jika keadaan sistem diketahui secara pasti sebelumnya, entropinya sama dengan nol. Memang, dalam hal ini, semua probabilitas dalam rumus (18.2.2) hilang, kecuali satu - misalnya, yang sama dengan satu. Istilahnya menjadi nol karena . Istilah-istilah lainnya juga hilang
.
Mari kita buktikan bahwa entropi suatu sistem dengan himpunan keadaan berhingga mencapai maksimum ketika semua keadaan memiliki kemungkinan yang sama. Untuk melakukan ini, pertimbangkan entropi sistem (18.2.2) sebagai fungsi probabilitas dan temukan ekstrim bersyarat fungsi ini disediakan:
Menggunakan metode pengganda yang tidak ditentukan Lagrange, kita akan mencari fungsi ekstrem:
. (18.2.5)
Membedakan (18.2.5) terhadap dan menyamakan turunannya dengan nol, kita memperoleh sistem persamaan:
, (18.2.6)
dari mana jelas bahwa ekstrem (dalam dalam hal ini maksimum) dicapai pada nilai yang sama yaitu . Dari kondisi (18.2.4) jelas bahwa dalam hal ini
, (18.2.7)
dan entropi maksimum sistem adalah:
, (18.2.8)
yaitu nilai maksimal entropi sistem dengan nomor terbatas negara bagian sama dengan logaritma jumlah negara bagian dan dicapai jika semua negara bagian memiliki kemungkinan yang sama.
Perhitungan entropi menggunakan rumus (18.2.2) dapat disederhanakan dengan mempertimbangkan fungsi khusus:
, (18.2.9)
dimana logaritmanya diambil ke basis 2.
Rumus (18.2.2) berbentuk:
. (18.2.10)
Fungsinya ditabulasikan; lampiran (Tabel 7) menunjukkan nilainya dari 0 hingga 1 hingga 0,01.
Contoh 1. Tentukan entropi sistem fisik yang terdiri dari dua pesawat (pesawat tempur dan pembom) yang berpartisipasi pertempuran udara. Sebagai hasil dari pertempuran tersebut, sistem mungkin berakhir di salah satu dari empat kemungkinan kondisi:
1) kedua pesawat tidak ditembak jatuh;
2) pesawat tempur ditembak jatuh, pembom tidak ditembak jatuh;
3) pesawat tempur tidak ditembak jatuh, pembom ditembak jatuh;
4) kedua pesawat ditembak jatuh.
Probabilitas keadaan-keadaan ini masing-masing adalah 0,2; 0,3; 0,4 dan 0,1.
Larutan. Ketentuannya kita tuliskan dalam bentuk tabel:
Untuk sumber dengan pesan dependen, entropi juga dihitung sebagai ekspektasi matematis jumlah informasi per elemen pesan-pesan ini. Jumlah informasi dan entropi merupakan ukuran logaritmik dan diukur dalam satuan yang sama.
6. Entropi gabungan sumber informasi yang independen secara statistik sama dengan jumlah entropinya. 7. Entropi mencirikan ketidakpastian rata-rata dalam memilih satu keadaan dari ansambel, sepenuhnya mengabaikan sisi substantif dari ansambel. ENTROPI EKOSISTEM adalah ukuran ketidakteraturan suatu ekosistem, atau jumlah energi yang tidak tersedia untuk digunakan. Bagaimana indikator yang lebih banyak entropi, semakin tidak stabil ekosistem dalam ruang dan waktu.
4.1.2. Entropi dan kinerja sumber pesan diskrit
Salah satu dari pesan-pesan ini menggambarkan keadaan beberapa sistem fisik. Kita melihat bahwa tingkat ketidakpastian suatu sistem fisik ditentukan tidak hanya oleh jumlah keadaan yang mungkin terjadi, tetapi juga oleh probabilitas keadaan tersebut. Sebagai ukuran ketidakpastian apriori suatu sistem (atau variabel acak terputus-putus), teori informasi menggunakan karakteristik khusus yang disebut entropi.
Entropi, seperti yang akan kita lihat nanti, memiliki sejumlah sifat yang membenarkan pilihannya sebagai karakteristik tingkat ketidakpastian. Terakhir, dan ini yang paling penting, ia mempunyai sifat aditif, yaitu bila ada beberapa sistem independen digabungkan menjadi satu, entropinya bertambah. Jika angka 10 dipilih sebagai basis, maka kita berbicara tentang “satuan desimal” entropi, jika 2 – tentang “satuan biner”.
Mari kita buktikan bahwa entropi suatu sistem dengan himpunan keadaan berhingga mencapai maksimum ketika semua keadaan memiliki kemungkinan yang sama. Contoh 3. Tentukan entropi maksimum yang mungkin dari suatu sistem yang terdiri dari tiga elemen, yang masing-masing dapat berada dalam empat keadaan yang mungkin.
Perlu dicatat bahwa nilai entropi yang diperoleh dalam hal ini akan lebih kecil dibandingkan dengan sumber pesan independen. Hal ini mengikuti fakta bahwa dengan adanya ketergantungan pesan, ketidakpastian pilihan berkurang dan, karenanya, entropi menurun. Mari kita tentukan entropi sumber biner. Grafik ketergantungan (4.4) disajikan pada Gambar. 4.1. Sebagai berikut dari grafik, entropi sumber biner bervariasi dari nol hingga satu.
Sifat dasar entropi
Biasanya dicatat bahwa entropi mencirikan distribusi yang diberikan probabilitas dalam hal tingkat ketidakpastian hasil tes, yaitu ketidakpastian pilihan pesan tertentu. Memang benar, mudah untuk memverifikasi bahwa entropi adalah nol jika dan hanya jika salah satu probabilitas sama dengan satu dan semua probabilitas lainnya sama dengan nol; ini berarti kepastian pilihan yang lengkap.
Interpretasi visual lain dari konsep entropi dimungkinkan sebagai ukuran “keberagaman” pesan yang diciptakan oleh suatu sumber. Sangat mudah untuk melihat bahwa sifat-sifat entropi di atas cukup konsisten dengan gagasan intuitif tentang ukuran keanekaragaman. Wajar juga untuk berasumsi bahwa semakin beragam kemungkinan untuk memilih elemen ini, semakin besar jumlah informasi yang terkandung dalam elemen pesan.
Ekspresi yang mewakili ekspektasi matematis dari jumlah informasi dalam elemen yang dipilih untuk sumber yang terletak di keadaan ke-th dapat disebut entropi keadaan ini. Entropi sumber per elemen pesan yang ditentukan di atas bergantung pada bagaimana pesan dibagi menjadi beberapa elemen, yaitu pada pilihan alfabet. Namun, entropi punya properti penting aditif.
Mari kita perhatikan beberapa sifat entropi. Entropi. Ini mungkin salah satu konsep paling sulit untuk dipahami yang dapat Anda temui dalam kursus fisika, setidaknya dalam fisika klasik.
Misalnya, jika Anda bertanya di mana saya tinggal, dan saya menjawab: di Rusia, maka entropi saya untuk Anda akan tinggi, lagipula, Rusia negara besar. Jika saya memberi tahu Anda kode pos saya: 603081, maka entropi saya untuk Anda akan berkurang karena Anda akan menerima lebih banyak informasi.
Entropi pengetahuan Anda tentang saya berkurang sekitar 6 karakter. Bagaimana jika saya bilang jumlahnya 59? Hanya ada 10 kemungkinan keadaan mikro untuk keadaan makro ini, jadi entropinya hanya berupa satu simbol. Seperti yang Anda lihat, keadaan makro yang berbeda memiliki entropi yang berbeda. Kami mengukur entropi sebagai jumlah simbol yang diperlukan untuk menuliskan jumlah keadaan mikro.
Dengan kata lain, entropi adalah cara kita mendeskripsikan suatu sistem. Misalnya, jika kita memanaskan suatu gas sedikit, maka kecepatan partikelnya akan meningkat, oleh karena itu tingkat ketidaktahuan kita tentang kecepatan ini akan meningkat, yaitu entropi akan meningkat. Atau, jika kita menambah volume gas dengan menarik kembali piston, ketidaktahuan kita terhadap posisi partikel akan meningkat, dan entropi juga akan meningkat.
Di satu sisi, hal ini memperluas kemungkinan penggunaan entropi dalam analisis secara maksimal berbagai fenomena, namun, di sisi lain, memerlukan penilaian tambahan tertentu terhadap situasi yang muncul. Hal ini yang pertama. Kedua, Alam Semesta bukanlah sebuah benda terbatas biasa yang memiliki batas-batas, melainkan alam semesta yang tak terhingga dalam ruang dan waktu.
KERJA MAKSIMUM - dalam termodinamika 1) usaha yang dilakukan oleh bahan yang diisolasi secara termal. Pesan apa pun yang kita bahas dalam teori informasi adalah kumpulan informasi tentang suatu sistem fisik. Jelasnya, jika keadaan sistem fisik diketahui sebelumnya, tidak ada gunanya mengirimkan pesan.
Jelasnya, informasi yang diperoleh tentang sistem, secara umum, akan lebih berharga dan bermakna, semakin besar ketidakpastian sistem sebelum menerima informasi tersebut (“a priori”). Untuk menjawab pertanyaan ini, mari kita bandingkan dua sistem, yang masing-masing mempunyai ketidakpastian.
Namun, secara umum tidak demikian. Pertimbangkan, misalnya, perangkat teknis yang dapat berada dalam dua kondisi: 1) berfungsi dan 2) rusak. Kami menekankan bahwa untuk menggambarkan tingkat ketidakpastian sistem, tidak penting nilai mana yang ditulis di baris atas tabel; Hanya jumlah nilai-nilai ini dan probabilitasnya yang penting. Konsep entropi merupakan hal mendasar dalam teori informasi.
Jumlah informasi ini disebut entropi. Mari kita asumsikan bahwa beberapa pesan menyertakan elemen alfabet, elemen, dll. Besarannya disebut entropi sumber pesan. 3. Entropi maksimum jika semua keadaan elemen pesan memiliki kemungkinan yang sama. Dalam teori informasi, terbukti bahwa kehadiran hubungan probabilistik selalu mengurangi entropi sumber pesan.
Permainan billiard diawali dengan bola-bola disusun secara piramida rapi di atas meja. Kemudian pukulan pertama dilakukan dengan isyarat, yang memecahkan piramida. Bola-bola tersebut menggelinding melintasi meja dengan lintasan yang aneh, berulang kali bertabrakan dengan dinding meja dan satu sama lain, dan akhirnya membeku di suatu lokasi baru. Entah kenapa, penataan baru selalu kurang tertib. Mengapa? Anda dapat mencobanya tanpa henti. Posisi bola di atas meja akan berubah setiap saat, tetapi kita tidak akan pernah sampai pada susunan piramida yang sama seperti yang ada di meja sebelum pukulan pertama. Sistem secara spontan masuk ke keadaan yang kurang tertata. Tidak pernah lebih teratur. Agar sistem menjadi tertib, diperlukan intervensi dari luar. Salah satu pemain mengambil bingkai dan bentuk segitiga piramida baru. Prosesnya memerlukan investasi energi. Tidak ada cara untuk memaksa bola-bola secara spontan berbaris menjadi piramida akibat tumbukan satu sama lain dan dengan dinding.
Proses bertambahnya ketidakteraturan pada meja billiard tidak terkontrol (walaupun memerlukan energi untuk terjadinya), karena meja billiard yang baik dibuat khusus agar energi bola pada titik manapun sama. Apa yang terjadi di meja biliar ditunjukkan oleh orang lain prinsip yang bagus, yang mengatur alam semesta kita: prinsip entropi maksimum. Tentu saja prinsip agung alam semesta tidak terbatas pada meja billiard saja. Jadi kita akan mencari tahu.
Entropi adalah ukuran ketidakteraturan suatu sistem. Semakin sedikit keteraturan dalam suatu sistem, semakin tinggi entropinya. Mungkin masuk akal untuk membicarakan apa yang dianggap keteraturan dan apa yang dimaksud dengan ketidakteraturan.
Keteraturan dapat dipahami sebagai susunan partikel yang teratur, ketika jarak dan arah berulang, dan dari lokasi beberapa partikel seseorang dapat memprediksi lokasi partikel berikutnya. Jika partikel-partikel tersebut tercampur secara merata tanpa adanya hukum susunan yang jelas, maka hal tersebut merupakan suatu ketidakteraturan. Jika partikel-partikelnya terkumpul rapi dalam satu area ruang, inilah keteraturan. Kalau tersebar dimana-mana, jadi berantakan. Jika komponen campuran yang berbeda berada di tempat yang berbeda, ini adalah keteraturan. Kalau semuanya tercampur, jadinya berantakan. Secara umum, tanyakan pada ibu atau istri Anda - dia akan menjelaskannya.
Entropi gas (omong-omong, kata "gas" merupakan perubahan dari bahasa Yunani "chaos") lebih tinggi daripada entropi cairan. Entropi cairan lebih tinggi dari padat. Secara umum, peningkatan suhu meningkatkan gangguan tersebut. Dari semua wujud materi, ia akan memiliki entropi paling sedikit kristal keras pada suhu nol mutlak. Entropi ini dianggap nol.
DI DALAM berbagai proses perubahan entropi. Jika dalam suatu proses tidak terjadi perubahan energi, maka proses tersebut berlangsung secara spontan hanya jika hal ini menyebabkan peningkatan entropi sistem. (Kita akan membahas apa yang terjadi ketika entropi dan energi berubah nanti.) Inilah sebabnya, setelah dipukul dengan isyarat, bola-bola di meja biliar bergerak ke posisi yang kurang teratur. Perubahan entropi di berbagai sistem dapat diringkas sebagai prinsip entropi maksimum:
Sistem apa pun secara spontan berusaha untuk menduduki keadaan paling tidak teratur yang tersedia baginya.
Seringkali hal yang sama dirumuskan dalam bentuk prinsip non-penurunan entropi:
Entropi suatu sistem yang terisolasi tidak dapat berkurang.
Rumusan ini memunculkan dan terus menimbulkan banyak kontroversi mengenai topik kematian termal Alam Semesta: Alam Semesta, menurut definisi, adalah sistem terisolasi(karena dia tidak punya lingkungan, yang memungkinkan pertukaran massa atau energi), oleh karena itu, entropinya meningkat secara bertahap. Akibatnya, Alam Semesta pada akhirnya akan sampai pada keadaan yang benar-benar tidak teratur, di mana tidak ada satu objek pun yang berbeda dari lingkungannya. Topik dalam gelar tertinggi menarik, tapi mari kita bicarakan itu lain kali.
Entropi didefinisikan sebagai nilai rata-rata dari informasi ansambel itu sendiri
Metode entropi maksimum, mirip dengan metode informasi maksimum, didasarkan pada pencarian di antara semua distribusi probabilitas yang mungkin untuk distribusi yang memiliki entropi maksimum ketik (3.19). Jadi, kriteria entropi maksimum digunakan untuk menghilangkan ketidakpastian solusi, dan fungsi (3.19) bertindak sebagai semacam “ukuran kualitas” gambar.
Arti dari ukuran kualitas seperti itu dapat dipahami dengan beralih ke masalah memperkirakan kepadatan distribusi probabilitas statistik matematika. Jika momen terkenal distribusi acak estimasi yang diperoleh dengan memaksimalkan ekspresi (3.19) adalah estimasi yang paling tidak bias dari semua estimasi yang mungkin. Diharapkan akan memberikan hasil maksimal (3,19) dengan pembatasan yang dikenakan pada proses pembentukan gambar nilai bagus kepadatan distribusi. Mari kita coba perhatikan proses pembentukan gambar dan cari tahu arti fisik kriteria entropi maksimum.
Misalkan intensitas total sumber sama dengan dan intensitas dari suatu titik dipancarkan dari. Mari kita hitung banyaknya cara suatu benda dapat dibentuk dari sinar:
Sekarang mari kita cari distribusi yang akan terbentuk pada jumlah kasus terbanyak
Menggantinya dengan logaritmanya (maksimum tidak akan bergeser) dan menggunakan rumus Stirling, kita mendapatkan:
Untuk mengatasi masalah tersebut, perlu juga memperhitungkan batasan persamaan pembentukan:
serta batasan intensitas total gambar, yaitu.
Ekspresi tersebut membentuk dasar metode entropi maksimum. Arti fisik dari penerapan kriteria entropi maksimum adalah untuk mencari distribusi probabilitas pada masukan saluran, yang dalam banyak kasus membentuk distribusi keluaran tertentu atau untuk mencari distribusi sumber yang paling masuk akal pada kondisi tertentu pembentukan. Dalam pengertian ini, metode entropi maksimum dapat dianggap sebagai sebuah metode kemungkinan maksimum untuk model pencitraan sinar.
Mari kita pertimbangkan salah satu bentuk penulisan metode entropi maksimum yang paling umum. Kami akan mempertimbangkan bersamaan dengan pembentukan gambar pembentukan paralel bidang kebisingan:
Berdasarkan alasan di atas, kami menemukan bahwa medan kebisingan dapat diciptakan dengan berbagai cara
Untuk mengatasi masalah tersebut perlu dilakukan upaya maksimal probabilitas gabungan pembentukan medan gambar dan noise
Mengambil logaritma dari ekspresi ini menghasilkan jumlah kebisingan dan entropi gambar:
Dengan memperhatikan keterbatasan proses pembentukan dan pemeliharaan jumlah sinar (intensitas total), diperoleh masalah optimasi sebagai berikut:
dimana kuantitas dan merupakan pengali Lagrange dari masalah optimasi. Untuk menyelesaikan sistem, kita mencari turunan parsial (3,25) terhadap dan menyamakannya dengan nol:
Mengganti ekspresi untuk dan dari (3.26), (3.27) ke dalam persamaan kendala, kita temukan
Dari persamaan bentuk (3.28) ditentukan pengali Lagrange yang digunakan untuk mencari fungsi distribusi masukan:
Eksponensial dalam (3.29) memastikan kepositifan solusi. Fungsi entropi itu sendiri secara signifikan nonlinier, yang menyebabkan fitur persamaan (3.29) yang menarik: persamaan tersebut dapat berisi frekuensi spasial yang tidak ada dalam spektrum gambar yang terdistorsi. Hal ini memungkinkan kita untuk berbicara tentang kemungkinan “resolusi super”, yaitu pemulihan informasi yang dihancurkan oleh sistem pembangkitan dengan bandwidth terbatas (Bab 5 dikhususkan untuk efek resolusi super dan penilaian kemampuannya). Perhatikan juga bahwa solusi yang diperoleh berdasarkan (3.29) memiliki peningkatan kualitas dibandingkan dengan algoritma linier pemulihan, namun memerlukan solusi sistem yang kompleks persamaan nonlinier.
Ada alternatif ekspresi entropi dalam bentuk (3.19), yang diusulkan oleh Burg untuk memperkirakan spektrum daya. Bentuk entropi ini mempunyai bentuk sebagai berikut:
Metode rekonstruksi berdasarkan ekspresi (3.30) juga dapat digunakan dalam praktik pengolahan citra. Beri tahu kami sampel spektrum bising
di mana, masing-masing, adalah sampel spektrum. Mari kita berikan batasan pada perbedaan antara sampel sebenarnya dan sampel bising dari spektrum gambar yang diamati:
Kemudian untuk mencari solusinya perlu memaksimalkan fungsi yang lebih sederhana:
Perlu dicatat bahwa di akhir-akhir ini muncul jumlah besar algoritma berdasarkan pada (3.19) dan (3.30), menggunakan berbagai macam batasan yang timbul dari formulasi masing-masing tugas tertentu. Benar, kehadiran dua norma entropi menimbulkan beberapa keraguan, pertama, karena tidak jelas mana yang akan digunakan dalam praktik, dan kedua, karena rumusan masalah pemulihan yang kurang jelas.
Ada yang lain fitur menarik algoritma berdasarkan pencarian entropi maksimum. Mari kita beralih ke ekspresi (3.27)-(3.29) untuk kasus ini sistem yang ideal pembentukan, tetapi dengan adanya noise tambahan Sangat mudah untuk melihat bahwa penggunaan algoritma entropi maksimum dalam hal ini mengklaim dapat mengisolasi gambar dari noise tanpa karakteristik apriori dari noise dan sinyal. Namun analisis yang lebih cermat menunjukkan bahwa penyelesaian menggunakan persamaan bentuk (3.28) memberikan hasil yang paradoks: sinyal dan noise saling berhubungan. ketergantungan linier. Memang perkiraan sinyal di sini sama dengan
dan perkiraan kebisingannya adalah:
DI DALAM aplikasi praktis Untuk menghindari efek ini, ekspresi entropi kebisingan diambil dengan koefisien bobot tertentu dan alih-alih (3.24), fungsi berikut dipertimbangkan:
Namun, teknik ini membuat makna fisik dari transformasi turunan tidak jelas.
Kerugian lain dari metode entropi maksimum adalah hasil terbaik dengan bantuannya, mereka diperoleh dengan merekonstruksi objek yang terdiri dari impuls individu pada latar belakang yang homogen, dan upaya untuk menerapkan metode ini pada objek yang diperluas secara spasial menyebabkan munculnya fluktuasi.
Hasil yang disajikan mengenai metode entropi maksimum dan informasi maksimum dapat digabungkan
menjadi satu skema berdasarkan konstruksi algoritma untuk memperkirakan kepadatan distribusi menggunakan metode kemungkinan maksimum. Dengan demikian, algoritma yang dipertimbangkan dapat dimasukkan dalam kelompok metode regularisasi statistik yang dijelaskan dalam § 2.4. Satu-satunya perbedaan adalah bahwa algoritma ini didasarkan pada model statistik yang berbeda - representasi gambar itu sendiri sebagai kepadatan probabilitas. Model seperti itu segera mengarah pada nonlinier dari fungsi yang dipertimbangkan. Namun, kelemahan yang disebutkan sebelumnya memaksa kita untuk mencari algoritma yang, dengan tetap mempertahankan keunggulan metode restorasi teori informasi (pita frekuensi tidak terbatas, solusi non-negatif, dll.), memungkinkan kita memulihkan kelas gambar yang lebih luas.
