Мэдээллийн онол
Мэдээллийн онолын үндэс нь 1947-48 онд харилцаа холбооны системийн үр ашгийн асуудал дээр ажиллаж байсан Клод Шеннон юм. Үүний үр дүнд энэ онолын зорилго нь харилцааны сувгийн хүчин чадлыг нэмэгдүүлэх явдал юм. Үр дүнтэй систем нь бусад нөхцөл, зардал нь тэнцүү байх тусам илүү их мэдээлэл дамжуулдаг систем юм. Дүрмээр бол дүн шинжилгээ хийхдээ объектыг авч үздэг: мэдээллийн эх сурвалж, мэдээлэл дамжуулах суваг.
Тиймээс, зарим үйл явдал байдаг. Тэдгээрийн талаархи мэдээллийг дохио хэлбэрээр, бэлгэдлийн хэлбэрээр холбооны сувгаар дамжуулдаг. Хоёр нөхцөл хангасан бол суваг сайн гэж маргаж болно. Нэгдүгээрт, түүгээр дамжуулан мэдээлэл өндөр хурдаар дамждаг, хоёрдугаарт, дамжуулалтад нөлөөлж буй хөндлөнгийн оролцоо нь мэдээллийн чанарыг бага зэрэг бууруулдаг. Ийм шилжүүлгийн нөхцөлийг олохын тулд зарим мэдээллийн шинж чанарыг оруулах шаардлагатай.
Мэдээллийн онолын үндсэн зарчмууд нь салангид эх сурвалж, нэг сувгаар хамгийн тод илэрдэг. Тиймээс бид энэ таамаглалаар сэдэвтэй танилцах болно.
1.1 Мэдээллийн тоон хэмжүүр.
Эхлээд сувгаар дамжуулах нь ямар ач холбогдолтой болохыг олж мэдье.
Хэрэв хүлээн авагч ямар мэдээлэл дамжуулахаа мэдэж байгаа бол түүнийг дамжуулах шаардлагагүй нь ойлгомжтой. Зөвхөн гэнэтийн зүйлийг л дамжуулах нь утга учиртай. Сюрприз нь их байх тусмаа илүүЭнэ үйл явдалд мэдээлэл байх ёстой. Жишээлбэл, та компьютер дээр ажилладаг. Өнөөдрийн ажлыг 45 минутын дотор дуусгах ёстой гэсэн мессеж. хуваарийн дагуу таны хувьд шинэ байх магадлал багатай. Энэ нь ажил дууссаныг зарлахаас өмнө ч тодорхой байсан. Тиймээс ийм мессеж нь тэг мэдээлэл агуулдаг; үүнийг цааш дамжуулах нь утгагүй юм. Одоо бас нэг жишээ. Мессеж нь дараах байдалтай байна: нэг цагийн дараа дарга тань Москва руу буцах онгоцны тийз өгч, зугаа цэнгэлд зориулж их хэмжээний мөнгө хуваарилах болно. Энэ төрлийн мэдээлэл нь таны хувьд гэнэтийн зүйл бөгөөд иймээс олон тооны хэмжүүрийг агуулна. Эдгээр нь сувгаар дамжуулахад утга учиртай мессежүүд юм. Дүгнэлт нь маш энгийн: зурваст гайхшрал их байх тусам илүү их мэдээлэл агуулагддаг.
Гайхах нь мэдээллийн хэмжүүрт багтсан магадлалаар тодорхойлогддог.
Өөр хэдэн жишээ. Бид хоёр хайрцагтай, нэг нь цагаан, нөгөө нь хар бөмбөгтэй. Цагаан бөмбөлгүүд байгаа зурваст хэр их мэдээлэл агуулагдаж байна вэ? Өгөгдсөн хайрцагт цагаан бөмбөлөг байх магадлал 0.5 байна. Энэ магадлалыг туршлага эсвэл хүртэл нэрлэе априори .
Одоо бид нэг бөмбөг гаргана. Бид аль бөмбөгийг гаргаснаас үл хамааран ийм туршилт хийсний дараа бид цагаан бөмбөг аль хайрцагт байгааг мэдэх болно. Иймд мэдээллийн магадлал 1-тэй тэнцүү байх болно.Энэ магадлалыг туршилтын дараа буюу a posteriori .
Ингээд харцгаая энэ жишээМэдээллийн хэмжээнээс харахад бидэнд мэдээллийн эх сурвалж байдаг - бөмбөгтэй хайрцагнууд. Эхлээд бөмбөлгүүдийн талаархи тодорхойгүй байдал нь 0.5 магадлалаар тодорхойлогддог. Тэгээд эх сурвалж “ярилцаж” мэдээлэл өглөө; Бид бөмбөгийг гаргаж авсан. Дараа нь бүх зүйл магадлалаар тодорхойлогддог 1. Туршлагын үр дүнд үйл явдлын тодорхойгүй байдлын бууралтын түвшинг мэдээллийн тоон хэмжүүр гэж үзэх нь логик юм. Бидний жишээнд энэ нь 1/0.5 байх болно.
Одоо жишээ нь илүү төвөгтэй болсон. Хэсгийн хэмжээ нь 120,121,122, . . .,180 мм., өөрөөр хэлбэл 61 утгын аль нэгтэй байна. Хэсгийн хэмжээ i мм байх урьдчилсан магадлал нь 1/61.
Бидэнд +5.-5 мм-ийн нарийвчлалтай хэсгийг хэмжих боломжийг олгодог маш төгс бус хэмжих хэрэгсэл бий. Хэмжилтийн үр дүнд хэмжээ нь 130 мм байв. Гэвч үнэн хэрэгтээ энэ нь 125,126, . . .,135 мм; зөвхөн 11 утга. Туршилтын үр дүнд тодорхойгүй байдал хэвээр байгаа бөгөөд энэ нь 1/11-ийн posteriori магадлалаар тодорхойлогддог. Тодорхойгүй байдлын бууралтын зэрэг нь (1/11):(1/61). Дээр дурдсанчлан энэ харьцаа нь мэдээллийн хэмжээ юм.
Хамгийн тохиромжтой логарифм функцмэдээллийн хэмжээг тусгах. Логарифмын суурийг хоёр гэж авна. Мэдээллийн хэмжээг зааж өгье 
- априори магадлал, 
- арын магадлал. Дараа нь,
.
(1)
Эхний жишээнд 
1 бит мэдээлэл; хоёрдугаарт 
2.46 бит мэдээлэл. Бит - мэдээллийн нэг хоёртын нэгж
.
Одоо мэдээллийн жинхэнэ эх сурвалж болох багцад хандъя бие даасан үйл явдлууд(мессежүүд) өмнөх өөр өөр магадлалтай 
. Энэ багц нь тухайн объектын параметрүүдийн талаарх өгөгдлийг илэрхийлдэг бөгөөд энэ тухай мэдээлэл байдаг. Ихэвчлэн эх сурвалж мессеж гарсны дараа аль параметрийг гаргасан нь найдвартай мэдэгддэг. Арын магадлал нь 1. Үйл явдал бүрт агуулагдах мэдээллийн хэмжээ нь тэнцүү байх болно
.
(2)
Энэ үнэ цэнэ үргэлж байдаг тэгээс их. Маш олон арга хэмжээ, маш их мэдээлэл. Энэ нь эх сурвалжийг тодорхойлоход тийм ч тохиромжтой биш юм. Тиймээс энтропи гэсэн ойлголтыг нэвтрүүлсэн. Энтропи гэдэг нь эх сурвалжийн үйл явдалд (мессеж) ногдох мэдээллийн дундаж хэмжээ юм . Энэ нь математикийн хүлээлтийг тодорхойлох дүрмийн дагуу олддог.
.
(3)
Эсвэл логарифм функцийн шинж чанарыг өгсөн
.
(4)
Энтропийн хэмжээсийн бит/мессеж. Энтропийн шинж чанаруудын талаар ярилцъя. Нэг жишээгээр эхэлье. Үйл явдлын априори магадлал бүхий мэдээллийн хоёртын эх сурвалж байдаг гэж бодъё 
Тэгээд 
бүрэн бүлгийг бүрдүүлдэг. Эндээс тэдгээрийн хоорондын холбоо дараах байдалтай байна. 
. Эх сурвалжийн энтропийг олъё:
Хэрэв магадлалын аль нэг нь тэгтэй тэнцүү бол хоёр дахь нь 1-тэй тэнцүү бөгөөд энтропийн илэрхийлэл тэгийг өгөх болно гэдгийг харахад хэцүү биш юм.
Энтропийн хамаарлыг зуръя 
(Зураг 1).
Энтропи нь 0.5-тай тэнцүү магадлалын хувьд хамгийн их бөгөөд үргэлж эерэг байдаг гэдгийг анхаарна уу.
Энтропийн анхны шинж чанар . Эх сурвалж дахь ижил магадлалтай үйл явдлуудын хувьд энтропи хамгийн их байна. Манай хоёртын эх сурвалжийн жишээнд энэ утга нь 1 байна. Хэрэв эх үүсвэр нь хоёртын биш бөгөөд агуулж байгаа бол Н үгс, дараа нь хамгийн их энтропи.
Энтропийн хоёр дахь шинж чанар. Хэрэв нэг эх сурвалжийн мэдээний магадлал 1, бусад нь тэг байвал үйл явдлын бүрэн бүлгийг бүрдүүлдэг бол энтропи тэг болно.. Ийм эх сурвалж мэдээлэл үүсгэдэггүй.
Энтропийн гуравдахь шинж чанар нь энтропи нэмэх теорем юм
. Энэ асуултыг илүү нарийвчлан авч үзье. Мэдээллийн багц мессежээр илэрхийлэгдсэн хоёр мэдээллийн эх сурвалж байна гэж бодъё 
Тэгээд 
.
Эх сурвалж бүр энтропитэй байдаг 
Тэгээд 
. Дараа нь эдгээр эх үүсвэрүүдийг нэгтгэж, хосолсон чуулгын энтропийг олох шаардлагатай. 
. Хос мессеж бүр 
Тэгээд 
магадлалтай тохирч байна 
. Ийм хос дахь мэдээллийн хэмжээ нь байх болно
Мэдэгдэж буй арга замаар бид нэг хос мессежийн дундаж мэдээллийн хэмжээг олдог. Энэ нь энтропи байх болно. Үнэн, энд хоёр тохиолдол байж болно. Хосолсон чуулга нь статистикийн хувьд бие даасан, хамааралтай байж болно.
Бие даасан чуулгын анхны тохиолдол болох мессежийн дүр төрхийг авч үзье 
ямар ч байдлаар тодорхойлогдоогүй байна 
. Энтропийн илэрхийлэлийг бичье.
,
(7)
Энд 
- чуулга дахь мессежийн тоо.
Бие даасан байдлаас хойш бид өмнөх ерөнхий томъёоноос хоёр хэмжээст магадлалыг олж авдаг
Хаана 
Тэгээд 
мэдэгдэж байгаа томъёогоор тодорхойлогддог.
Дараа нь бид илүү төвөгтэй хэргийг авч үзэх болно. Мессежийн чуулга статистикийн холболттой гэж үзье, өөрөөр хэлбэл 
зарим магадлал нь гадаад төрхийг санал болгож байна 
. Энэ баримт нь нөхцөлт магадлалаар тодорхойлогддог 
; Тэмдэглэгээний налуу зураас нь нөхцөл байдлыг тодорхойлдог. Нөхцөлт магадлалыг нэвтрүүлэхдээ хоёр хэмжээст магадлалыг нэг хэмжээст магадлалын үржвэрээр тодорхойлж болно.
Үүнийг харгалзан энтропийн илэрхийлэлийг олцгооё. Хөрвүүлэлт дараах байдлаар явагдана.
Бүх үйл явдлын магадлалын нийлбэр нь 1-тэй тэнцүү байгаа тул сүүлчийн илэрхийлэл дэх эхний давхар нийлбэр нь X, H(x) эхийн энтропийг өгнө.
Хоёрдахь давхар нийлбэрийг нөхцөлт энтропи гэж нэрлэдэг бөгөөд үүнийг дараах байдлаар тэмдэглэнэ 
. Тиймээс,
Үүнтэй адилаар үүнийг баталж болно.
Сүүлийн илэрхийлэлд бид мессежийн хосолсон чуулга хоорондын холболтоор тодорхойлогддог нөхцөлт энтропитэй тулгарсан. Хэрэв чуулга статистикийн хувьд бие даасан 
, ба нөхцөлт энтропи 
. Үүний үр дүнд бид сайн мэддэг томъёог олж авдаг.
Хэрэв мессежүүд бүрэн хамааралтай бол, өөрөөр хэлбэл тэдгээр нь функциональ холболттой байна. 
1, хэзээ гэсэн хоёр утгын аль нэгийг авна 
, эсвэл 0 үед 
. Мессежийн хоёрдахь ансамбль нь гэнэтийн зүйлгүй тул мэдээлэл дамжуулахгүй тул нөхцөлт энтропи 0-тэй тэнцүү байх болно.
Энтропи ба түүний шинж чанарыг танилцуулсны дараа мэдээллийн цорын ганц эх сурвалж руу буцъя. Мэдээллийн аливаа эх сурвалж одоогийн цаг үед ажилладаг гэдгийг та мэдэх ёстой. Түүний тэмдэг (тэмдэг) нь дараалалд тодорхой байр эзэлдэг. Хэрэв тэмдэгтийн магадлал нь дараалалд байгаа байрнаас хамаарахгүй бол мэдээллийн эх үүсвэрийг суурин гэж нэрлэдэг.Бас нэг тодорхойлолт. Эх тэмдэг нь өөр хоорондоо статистик (магадлал) хамааралтай байж болно. Мэдээллийн ergodic эх сурвалж нь шинж тэмдгүүдийн хоорондын статистик хамаарал нь өмнөх тэмдэгтүүдийн хязгаарлагдмал тоо хүртэл үргэлжилдэг эх сурвалж юм.Хэрэв энэ холболт нь зөвхөн хоёр хөршийн тэмдгийг хамардаг бол ийм эх үүсвэрийг зүгээр л холбосон Марковын хэлхээ гэж нэрлэдэг. Энэ бол бидний одоо авч үзэх эх сурвалж юм. Эх сурвалжаар тэмдэг үүсгэх схемийг Зураг дээр үзүүлэв. 2.
Тэмдгийн харагдах байдал 
ямар дүрээс хамаарна 
эх сурвалжаас өмнөх мөчид өгсөн. Энэ хамаарал нь магадлалаар тодорхойлогддог 
. Ийм эх үүсвэрийн энтропийг олъё. Бид энтропийн талаарх ерөнхий ойлголтыг мэдээллийн хэмжээг математикийн хүлээлт гэж үзэх болно. Зурагт үзүүлсэн шиг хоёр тэмдэгт гарч ирэв гэж бодъё. 2. Ийм нөхцөл байдалд байгаа мэдээллийн хэмжээг эх сурвалж өгсөн
Энэ дүнг дараагийн бүх боломжит тэмдэгтүүдийн дунджаар бид хэсэгчилсэн энтропийг олж авдаг бөгөөд өмнөхийг нь үргэлж тэмдэгтээр нь өгдөг. 
:
.
(13)
Дахин нэг удаа, энэ хэсэгчилсэн энтропийг бүхэлд нь дундажлана өмнөх дүрүүд, бид эцсийн үр дүнг авна:
Энтропийн тэмдэглэгээний 2-р индекс нь статистикийн хамаарал нь зөвхөн хоёр зэргэлдээх тэмдэгт хүртэл үргэлжилдэг болохыг харуулж байна.
Эргодик эх үүсвэрийн энтропийн шинж чанаруудын талаар ярилцъя.
Эх сурвалж дахь тэмдэг бие даасан байх үед 
, (14) томъёог хялбаршуулж, ердийн хэлбэр (4) болгон бууруулсан.
Эх тэмдгийн хооронд статистик (магадлал) холболт байгаа нь энтропи буурахад үргэлж хүргэдэг. 
.
Тиймээс, мэдээллийн эх сурвалж нь хоёр нөхцөл хангагдсан тохиолдолд хамгийн их энтропитэй байна: эх сурвалжийн бүх тэмдэг нь ижил магадлалтай (энтропийн шинж чанар), эх сурвалжийн тэмдгүүдийн хооронд статистик холболт байхгүй.
Эх тэмдгийг хэр сайн ашиглаж байгааг харуулахын тулд илүүдэл параметрийг нэвтрүүлсэн 
:
.
(15)
Хэмжээ 
0-ээс 1 хүртэлх зайд байна.
Энэ параметрт хандах хандлага нь хоёр талтай. Нэг талаас, илүүдэл бага байх тусам эх үүсвэр илүү үр дүнтэй ажилладаг. Нөгөөтэйгүүр, илүү их байх тусам хөндлөнгийн оролцоо, чимээ шуугиан бага байх тусам ийм эх сурвалжаас хэрэглэгчдэд мэдээлэл хүргэхэд нөлөөлдөг. Жишээлбэл, тэмдэгтүүдийн хооронд статистикийн хамаарал байгаа нь илүүдлийг ихэсгэх боловч нэгэн зэрэг дамжуулах үнэнч байдлыг нэмэгдүүлдэг. Алга болсон тэмдэгтүүдийг урьдчилан таамаглаж, сэргээх боломжтой.
Нэг жишээ авч үзье. Эх сурвалж нь орос цагаан толгойн үсэг бөгөөд тэдгээрийн нийт 32 нь хамгийн их энтропийг тодорхойлно. 
бит/мессеж.
Үсгүүдийн хооронд статистик хамаарал байгаа бөгөөд тэдгээрийн текстэд харагдах магадлал нь ижил биш тул жинхэнэ энтропи нь 3 бит / мессежтэй тэнцүү байна. Тиймээс илүүдэл бий болсон 
.
Эх сурвалжийн дараагийн шинж чанар нь гүйцэтгэл юм; Энэ нь эх сурвалжаар мэдээлэл үүсгэх хурдыг тодорхойлдог. Эх сурвалжийн үсэг бүр тодорхой хугацаанд гардаг гэж бодъё 
. Эдгээр хугацааг дунджаар тооцсоноор бид нэг мессеж гаргах дундаж хугацааг олно 
. Нэгж цаг тутамд эх сурвалжаас гаргаж авсан мэдээллийн дундаж хэмжээ - эх үүсвэрийн бүтээмж 
:
.
(16)
Ингээд тоймлон хүргэе. Эргодик мэдээллийн эх сурвалжийн шинж чанарууд нь дараах байдалтай байна.
тэмдэг тус бүрийн мэдээллийн хэмжээ,
энтропи,
илүүдэл,
гүйцэтгэл.
Үүнийг тэмдэглэх нь зүйтэй хүчтэй цэгМэдээллийн хэмжээ, мэдээжийн хэрэг бүх шинж чанаруудын танилцуулсан хэмжүүр нь бүх нийтийн шинж чанартай байдаг. Дээр дурдсан бүх ойлголтууд нь аливаа төрлийн мэдээлэлд хамаарна: социологи, техникийн гэх мэт. Энэ арга хэмжээний сул тал нь мэдээллийн ач холбогдол, түүний үнэ цэнийг тусгаагүй явдал юм. Үзэг, машины сугалаа хожсон тухай мэдээлэл ч мөн адил чухал.
1.2. Сувгийн мэдээллийн шинж чанар
Мэдээлэл нь харилцааны сувгаар дамждаг гэдгийг санаарай. Бид өмнө нь мэдээллийн эх сурвалжийн мэдээллийн шинж чанарыг танилцуулж байсан бол одоо бид сувгийн мэдээллийн шинж чанарыг танилцуулах болно. Зурагт үзүүлсэн шиг нөхцөл байдлыг төсөөлөөд үз дээ. 1.
Цагаан будаа. 1
Сувгийн оролт дээр олон тэмдэгтээс бүрдсэн оролтын цагаан толгой байна 
, мөн гаралт дээр - 
.
П 
Холбооны сувгийг математик загвараар төлөөлүүлье. Дискрет сувгийн хамгийн алдартай дүрслэл нь график хэлбэртэй байдаг. Графикийн зангилаа ( 
) ба дамжуулсан ( 
) цагаан толгойн үсэг; ирмэгүүд нь эдгээр үсгийн хоорондох боломжит холболтыг тусгасан болно (Зураг 2).
Цагаан толгойн үсгүүдийн хоорондын хамаарлыг ихэвчлэн нөхцөлт магадлалаар үнэлдэг, жишээлбэл, 
хүлээн авах магадлал 
шилжүүлсэн тохиолдолд 
. Энэ нь зөв хүлээн авах магадлал юм. Үүний нэгэн адил алдаатай техникүүдийн нөхцөлт магадлалыг танилцуулж болно, жишээлбэл, 
. Эдгээр тэгээс өөр магадлал гарч ирэх шалтгаан нь бодит сувгуудын аль нь ч чөлөөтэй байдаггүй хөндлөнгийн оролцоо юм. Дамжуулсан болон хүлээн авсан массив дахь n ба m тэмдэгтүүдийн тоо (үсэг) нь тэнцүү байх албагүй гэдгийг анхаарна уу. Энэ загварт үндэслэн нэмэлт тодорхойлолтуудыг танилцуулж байна.
Симметрик суваг – энэ бол бүх тэмдгийн зөв хүлээн авах магадлал тэнцүү, мөн алдаатай хүлээн авах магадлал тэнцүү суваг юм. Ийм сувгийн хувьд нөхцөлт магадлалыг дараах байдлаар бичиж болно.
Энд 
- алдаатай хүлээн авах магадлал. Хэрэв энэ магадлал нь өгөгдсөн тэмдгийн өмнө ямар тэмдэгтүүд дамжуулагдсанаас хамаарахгүй бол ийм сувгийг " гэж нэрлэдэг. санах ойгүй суваг
"Жишээ нь, доорх 3-р зурагт санах ойгүй тэгш хэмтэй хоёртын сувгийн графикийг үзүүлэв.
Р 
байна. 3
Цаашид сувгийн гаралт дээрх цагаан толгой нь хүлээн авагчийн декодчилогч дамжуулсан тэмдгийг таньж чадахгүй байх үед гарч ирэх нэмэлт тэмдэг агуулсан байна гэж үзье. Энэ тохиолдолд тэрээр шийдвэр гаргахаас татгалздаг. Энэ байрлалыг устгах гэж нэрлэдэг. Энэ суваг гэж нэрлэгддэг устгах санах ойгүй суваг ба түүний графикийг Зураг дээр үзүүлэв. 4. Энд "арилгах" байрлалыг асуултын тэмдгээр тэмдэглэв.
Р 
байна. 4.
Санах ойтой хамгийн энгийн суваг Марков суваг . Үүнд алдаа гарах магадлал нь өмнөх тэмдгийг зөв эсвэл алдаатай хүлээн авсан эсэхээс хамаарна.
Харилцааны сувгийн графикаас гадна өөр нэг тайлбар бий - сувгийн матриц
. Энэ бол нөхцөлт магадлалын багц юм 
эсвэл 
. Априори магадлалын хамт, 
Тэгээд 
өгдөг бүрэн зурагдуу чимээ ихтэй сувгийн статистик. Жишээлбэл, сувгийн матрицыг харцгаая
.
Мэдээллийн онолд бидний хардаг аливаа мессеж нь зарим физик системийн талаарх мэдээллийн цуглуулга юм. Жишээлбэл, согогийн хэвийн буюу нэмэгдсэн хувь, тухай мессеж химийн найрлагатүүхий эд эсвэл зуухны температур. Сангийн удирдлагын тогтолцооны оролтод агаарын довтолгооноос хамгаалахАгаарт тодорхой өндөрт, тодорхой хурдтай нисч буй хоёр бай байгаа гэсэн мессежийг дамжуулж болно. Одоогийн байдлаар тодорхой тооны сөнөөгчид тодорхой нисэх онгоцны буудалд байлдааны бэлэн байдалд байгаа, эсвэл нисэх онгоцны буудал нь дайсны галын улмаас идэвхгүй болсон, эсвэл эхний бай буудсан, хоёр дахь нь үргэлжилсээр байгаа гэсэн мессежийг ижил оролт руу дамжуулж болно. өөрчилсөн курсээр нисэх. Эдгээр мессежүүдийн аль нь ч заримынх нь төлөвийг тодорхойлдог физик систем.
Хэрэв физик системийн төлөвийг урьдчилан мэдэж байсан бол мессеж дамжуулах нь утгагүй болох нь ойлгомжтой. Системийн төлөв байдал нь санамсаргүй байдлаар тодорхойгүй үед л мессеж утга учиртай болно.
Тиймээс, мэдээлэл дамжуулж буй объектын хувьд бид санамсаргүй байдлаар нэг эсвэл өөр төлөвт орж болох тодорхой физик системийг, өөрөөр хэлбэл тодорхойгүй байдлын тодорхой түвшинд байгаа системийг авч үзэх болно. Мэдээжийн хэрэг, системийн талаар олж авсан мэдээлэл нь ерөнхийдөө илүү үнэ цэнэтэй, утга учиртай байх тусам энэ мэдээллийг хүлээн авахаас өмнө системийн тодорхой бус байдал ("apriori") байх болно. Байгалийн асуулт гарч ирнэ: "илүү" эсвэл "жижиг" тодорхойгүй байдлын зэрэг нь юу гэсэн үг вэ, үүнийг хэрхэн хэмжих вэ?
Энэ асуултад хариулахын тулд тус бүр нь тодорхойгүй байгаа хоёр системийг харьцуулж үзье.
Эхний системийн хувьд шидэлтийн үр дүнд хоёр төлөвийн аль нэгэнд хүрч болох зоосыг авч үзье: 1) төрийн сүлд гарч ирэв, 2) тоо гарч ирэв. Хоёр дахь нь зургаан ширхэгтэй шоо юм боломжит мужууд: 1, 2, 3, 4, 5 ба 6. Асуулт нь аль систем илүү тодорхойгүй байна вэ? Мэдээжийн хэрэг, хоёр дахь нь, учир нь түүнд илүү олон боломжит мужууд байдаг бөгөөд тэдгээр нь тус бүрдээ ижил магадлалтай байж болно.
Тодорхойгүй байдлын зэрэг нь системийн боломжит төлөвийн тоогоор тодорхойлогддог юм шиг санагдаж магадгүй юм. Гэсэн хэдий ч, онд ерөнхий тохиолдолэнэ буруу. Жишээлбэл, 1) ажиллагаатай, 2) гэмтэлтэй гэсэн хоёр төлөвт байж болох техникийн төхөөрөмжийг авч үзье. Мэдээлэл хүлээн авахаас өмнө (априори) төхөөрөмжийн зөв ажиллах магадлал 0.99, эвдрэх магадлал 0.01 байна гэж үзье. Ийм систем нь маш бага хэмжээний эргэлзээтэй байдаг: төхөөрөмж зөв ажиллах нь бараг тодорхой юм. Зоос шидэх үед хоёр боломжит төлөв байдаг боловч тодорхойгүй байдлын зэрэг нь илүү их байдаг. Физик системийн тодорхойгүй байдлын зэрэг нь зөвхөн түүний боломжит төлөвүүдийн тоогоор тодорхойлогддоггүй, мөн төлөв байдлын магадлалаар тодорхойлогддог болохыг бид харж байна.
Ингээд ерөнхий хэрэг рүүгээ орцгооё. Хязгаарлагдмал төлөв байдлыг авч болох зарим системийг авч үзье: магадлал бүхий , хаана
(18.2.1)
Систем төлөв байдалд орох магадлал (тэмдэг нь үйл явдлыг илэрхийлдэг: систем төлөвт байна). Мэдээжийн хэрэг, .
Энэ өгөгдлийг хүснэгт хэлбэрээр бичье, дээд мөрөнд системийн боломжит төлөвүүдийг жагсааж, доод мөрөнд харгалзах магадлалыг жагсаав.
Энэ хүснэгт нь тасалдсан түгээлтийн цувралтай төстэй бичигдсэн байна санамсаргүй хувьсагч-тай боломжит утгууд, магадлалтай. Үнэн хэрэгтээ, физик систем ба хооронд хязгаарлагдмал олонлогтөлөв болон тасархай санамсаргүй хэмжигдэхүүн нь нийтлэг зүйлтэй; Эхнийхийг хоёр дахь болгон багасгахын тулд муж бүрт зарим тоон утгыг (төрийн дугаар гэх мэт) өгөхөд хангалттай. Системийн тодорхой бус байдлын түвшинг тодорхойлохын тулд хүснэгтийн дээд мөрөнд аль утгыг бичих нь огт чухал биш гэдгийг бид онцолж байна; Зөвхөн эдгээр утгуудын тоо, тэдгээрийн магадлал нь чухал юм.
Системийн (эсвэл тасархай санамсаргүй хэмжигдэхүүн) априори тодорхойгүй байдлын хэмжүүрийн хувьд мэдээллийн онол нь энтропи хэмээх тусгай шинж чанарыг ашигладаг. Мэдээллийн онолын хувьд энтропи гэдэг ойлголт суурь юм.
Системийн энтропи нь магадлалын үржвэрүүдийн нийлбэр юм янз бүрийн нөхцөлЭсрэг тэмдгээр авсан эдгээр магадлалын логарифмын системүүд:
. (18.2.2)
Энтропи нь тодорхойгүй байдлын зэрэглэлийн шинж чанар болох сонголтыг зөвтгөх хэд хэдэн шинж чанартай байдаг. Нэгдүгээрт, системийн аль нэг төлөв найдвартай байх үед энэ нь тэг болж, бусад нь боломжгүй юм. Хоёрдугаарт, өгөгдсөн тооны мужуудын хувьд эдгээр мужууд ижил магадлалтай байх үед энэ нь дээд цэгтээ хүрдэг бөгөөд мужуудын тоо нэмэгдэхэд нэмэгддэг. Эцэст нь хэлэхэд, энэ нь хамгийн чухал зүйл бөгөөд энэ нь нэмэлт шинж чанартай байдаг, өөрөөр хэлбэл хэд хэдэн бие даасан системийг нэг болгон нэгтгэхэд тэдгээрийн энтропи нэмэгддэг.
Томъёоны (18.2.2) логарифмыг ямар ч суурьтай авч болно. Суурийг өөрчлөх нь энтропийг зүгээр л үржүүлсэнтэй тэнцэнэ тогтмол тоо, ба суурийн сонголт нь энтропийн хэмжилтийн тодорхой нэгжийн сонголттой тэнцүү байна. Хэрэв 10 тоог суурь болгон сонгосон бол энтропийн "аравтын нэгж", 2 бол "хоёртын нэгж"-ийн тухай ярьдаг. Практикт 2-р суурь дээр логарифм ашиглах, энтропийг хоёртын нэгжээр хэмжих нь хамгийн тохиромжтой; Энэ нь цахим дижитал технологид хэрэглэгддэгтэй сайн тохирч байна компьютеруудхоёртын тооллын систем.
Дараах зүйлд өөрөөр заагаагүй бол бид тэмдгийг хоёртын логарифм гэж үргэлж ойлгох болно.
Хавсралт (Хүснэгт 6) нь 1-ээс 100 хүртэлх бүхэл тоонуудын хоёртын логарифмуудыг өгдөг.
Логарифмын суурь болгон 2-ыг сонгохдоо энтропи хэмжилтийн нэгжээр энтропийг авдаг болохыг шалгахад хялбар. хамгийн энгийн систем, энэ нь хоёр тэнцүү боломжтой төлөвтэй байна:
Үнэн хэрэгтээ (18.2.2) томъёоны дагуу бид:
.
Ингэж тодорхойлсон энтропийн нэгжийг "хоёртын нэгж" гэж нэрлэдэг бөгөөд заримдаа бит (англи хэлнээс "хоёртын тоо") гэж тэмдэглэдэг. Энэ бол нэг оронтой тооны энтропи юм хоёртын тоо, хэрэв тэг эсвэл нэг байх магадлалтай бол.
Ижил магадлалтай төлөвтэй системийн энтропийг хоёртын нэгжээр хэмжье.
өөрөөр хэлбэл ижил боломжтой төлөвтэй системийн энтропи нь төлөвийн тооны логарифмтай тэнцүү байна.
Жишээлбэл, найман төлөвтэй системийн хувьд 
.
Системийн төлөвийг урьдчилан мэдэж байгаа тохиолдолд түүний энтропи тэгтэй тэнцүү байна гэдгийг баталцгаая. Үнэн хэрэгтээ, энэ тохиолдолд (18.2.2) томъёоны бүх магадлал алга болно, нэгээс бусад нь - жишээлбэл, нэгтэй тэнцүү байна. Энэ нэр томьёо тэг болж байна, учир нь . Үлдсэн нэр томъёо нь мөн алга болно, учир нь
.
Төгсгөлийн олонлогтой системийн энтропи нь бүх төлөв ижил магадлалтай үед дээд цэгтээ хүрдэг гэдгийг баталцгаая. Үүний тулд системийн энтропийг (18.2.2) магадлалын функц гэж үзээд ол. нөхцөлт туйлЭнэ функцийг хангасан:
Аргыг ашиглах тодорхойгүй үржүүлэгчЛагранж, бид функцийн экстремумыг хайх болно:
. (18.2.5)
(18.2.5) деривативуудыг тэгтэй тэнцүүлэх, ялгах замаар бид тэгшитгэлийн системийг олж авна.
, (18.2.6)
үүнээс экстремум (д энэ тохиолдолдхамгийн их) нь тэнцүү утгуудад хүрнэ. (18.2.4) нөхцөлөөс харахад энэ тохиолдолд
, (18.2.7)
системийн хамгийн их энтропи нь:
, (18.2.8)
өөрөөр хэлбэл хамгийн их утгасистемийн энтропи нь хязгаарлагдмал тоомужууд нь мужуудын тооны логарифмтай тэнцүү бөгөөд бүх мужууд ижил магадлалтай үед хүрдэг.
Хэрэв тусгай функцийг оруулбал (18.2.2) томъёог ашиглан энтропийн тооцоог бага зэрэг хялбарчилж болно:
, (18.2.9)
логарифмыг 2-р суурь болгон авдаг.
Томъёо (18.2.2) нь дараах хэлбэртэй байна.
. (18.2.10)
Функцийг хүснэгтээр харуулав; хавсралт (Хүснэгт 7) нь 0-ээс 0.01 хүртэлх утгыг харуулав.
Жишээ 1. Оролцогч хоёр нисэх онгоц (сөнөөгч ба бөмбөгдөгч онгоц) -аас бүрдэх физик системийн энтропийг тодорхойл. агаарын тулаан. Тулалдааны үр дүнд систем дөрвөн боломжит төлөвийн аль нэгэнд дуусч магадгүй юм.
1) хоёр онгоцыг буудаагүй;
2) сөнөөгчийг буудсан, бөмбөгдөгчийг буудсангүй;
3) сөнөөгчийг буудуулаагүй, бөмбөгдөгчийг буудсан;
4) хоёр онгоцыг буудсан.
Эдгээр мужуудын магадлал нь 0.2; 0.3; 0.4 ба 0.1.
Шийдэл. Бид нөхцөлийг хүснэгт хэлбэрээр бичнэ.
Хамааралтай мэдээ бүхий эх сурвалжийн хувьд энтропийг мөн дараах байдлаар тооцдог математикийн хүлээлтэдгээр мессежийн нэг элементийн мэдээллийн хэмжээ. Мэдээллийн хэмжээ ба энтропи нь логарифм хэмжигдэхүүн бөгөөд ижил нэгжээр хэмжигддэг.
6. Статистикийн хувьд бие даасан мэдээллийн нэгдсэн эх сурвалжуудын энтропи нь тэдгээрийн энтропиүүдийн нийлбэртэй тэнцүү байна. 7. Энтропи нь чуулгын материаллаг талыг бүрэн үл тоомсорлож, чуулгаас нэг төлөвийг сонгох дундаж тодорхойгүй байдлыг тодорхойлдог. ЭКОСИСТЕМИЙН ЭНТРОПИ гэдэг нь экосистемийн эмх замбараагүй байдал буюу ашиглах боломжгүй эрчим хүчний хэмжээг илэрхийлдэг хэмжүүр юм. Яаж илүү үзүүлэлтэнтропи, цаг хугацаа, орон зайн хувьд экосистемийн тогтвортой байдал бага байна.
4.1.2. Дискрет мессежийн эх үүсвэрийн энтропи ба гүйцэтгэл
Эдгээр мессежүүдийн аль нэг нь зарим физик системийн төлөвийг тодорхойлдог. Физик системийн тодорхойгүй байдлын зэрэг нь зөвхөн түүний боломжит төлөвүүдийн тоогоор тодорхойлогддоггүй, мөн төлөв байдлын магадлалаар тодорхойлогддог болохыг бид харж байна. Системийн (эсвэл тасархай санамсаргүй хэмжигдэхүүн) априори тодорхойгүй байдлын хэмжүүрийн хувьд мэдээллийн онол нь энтропи хэмээх тусгай шинж чанарыг ашигладаг.
Энтропи нь тодорхойгүй байдлын зэрэглэлийн шинж чанар болох сонголтыг зөвтгөх хэд хэдэн шинж чанартай байдаг. Эцэст нь хэлэхэд, энэ нь хамгийн чухал зүйл бөгөөд энэ нь нэмэлт шинж чанартай байдаг, өөрөөр хэлбэл хэд хэдэн үед бие даасан системүүднэг болж нийлбэл тэдний энтропи нэмэгдэнэ. Хэрэв 10 тоог суурь болгон сонгосон бол энтропийн "аравтын нэгж", 2 бол "хоёртын нэгж"-ийн тухай ярьдаг.
Төгсгөлийн олонлогтой системийн энтропи нь бүх төлөв ижил магадлалтай үед дээд цэгтээ хүрдэг гэдгийг баталцгаая. Жишээ 3. Гурван элементээс бүрдэх, тус бүр нь дөрвөн боломжит төлөвт байж болох системийн хамгийн их энтропийг тодорхойл.
Энэ тохиолдолд олж авсан энтропийн утга нь бие даасан мессежийн эх сурвалжаас бага байх болно гэдгийг тэмдэглэх нь зүйтэй. Энэ нь мессежийн хамаарал байгаа тохиолдолд сонголтын тодорхойгүй байдал буурч, үүний дагуу энтропи буурдагтай холбоотой юм. Хоёртын эх үүсвэрийн энтропийг тодорхойлъё. Хамааралтай байдлын графикийг (4.4) Зураг дээр үзүүлэв. 4.1. Графикаас харахад хоёртын эх үүсвэрийн энтропи тэгээс нэг хүртэл хэлбэлздэг.
Энтропийн үндсэн шинж чанарууд
Энтропи нь ихэвчлэн тодорхойлогддог өгөгдсөн хуваарилалтТуршилтын үр дүнгийн тодорхойгүй байдлын зэрэг, тухайлбал тодорхой мессежийг сонгох тодорхойгүй байдлын хувьд магадлал. Үнэн хэрэгтээ, магадлалын аль нэг нь нэгтэй, бусад нь тэгтэй тэнцүү байвал энтропи тэг болохыг батлахад хялбар байдаг; Энэ нь сонголтын бүрэн баталгаа гэсэн үг юм.
Энтропи гэсэн ойлголтын өөр нэг харааны тайлбар нь эх сурвалжаас бий болсон мессежийн "олон янз байдал"-ын хэмжүүр юм. Энтропийн дээрх шинж чанарууд нь олон янз байдлын хэмжүүрийн зөн совингийн санаатай нэлээд нийцэж байгааг харахад хялбар байдаг. Энэ элементийг сонгох боломжууд хэдий чинээ олон янз байх тусам мессежийн элементэд агуулагдах мэдээллийн хэмжээ их байх болно гэж үзэх нь зүйн хэрэг юм.
3-р төлөвт байрлах эх сурвалжийн сонгосон элемент дэх мэдээллийн хэмжээг тооцоолох математикийн хүлээлтийг илэрхийлэх илэрхийллийг энэ төлөвийн энтропи гэж нэрлэж болно. Дээр тодорхойлсон мессежийн элемент бүрийн эхийн энтропи нь мессежийг элементүүдэд хэрхэн хуваасан, өөрөөр хэлбэл цагаан толгойн үсгийн сонголтоос хамаарна. Гэсэн хэдий ч энтропи байдаг чухал өмчнэмэлт чанар.
Энтропийн зарим шинж чанарыг тэмдэглэе. Энтропи. Энэ нь ядаж сонгодог физикийн тухай ярихад физикийн хичээлд таарч болох хамгийн хэцүү ойлголтуудын нэг байж магадгүй юм.
Жишээлбэл, хэрэв та надаас намайг хаана амьдардаг гэж асуувал би: Орост миний энтропи өндөр байх болно, эцэст нь Орос том улс. Хэрэв би танд 603081 зип кодыг хэлвэл миний энтропи буурах болно, учир нь та илүү их мэдээлэл авах болно.
Миний талаарх таны мэдлэгийн энтропи ойролцоогоор 6 тэмдэгтээр буурсан байна. Хэрэв би чамд нийлбэр 59 гэж хэлвэл яах вэ? Энэ макро төлөвт ердөө 10 боломжит микро төлөв байдаг тул энтропи нь зөвхөн нэг тэмдэг юм. Таны харж байгаагаар янз бүрийн макростатууд өөр өөр энтропитэй байдаг. Бид энтропийг бичил төлөвийн тоог бичихэд шаардлагатай тэмдэгтүүдийн тоогоор хэмждэг.
Өөрөөр хэлбэл, энтропи бол системийг бид хэрхэн дүрсэлж байгаа юм. Жишээлбэл, хэрэв бид хийг бага зэрэг халаавал түүний бөөмсийн хурд нэмэгдэх тул энэ хурдыг үл тоомсорлох түвшин нэмэгдэх болно, өөрөөр хэлбэл энтропи нэмэгдэх болно. Эсвэл поршений эргүүлэх замаар хийн эзэлхүүнийг нэмэгдүүлбэл бөөмсийн байрлалыг үл тоомсорлож, энтропи ч нэмэгдэх болно.
Энэ нь нэг талаас энтропийг хамгийн их шинжилгээнд ашиглах боломжийг өргөжүүлдэг янз бүрийн үзэгдэл, гэхдээ нөгөө талаас шинээр гарч ирж буй нөхцөл байдлын тодорхой нэмэлт үнэлгээг шаарддаг. Энэ нь нэгдүгээрт, Ертөнц бол ердийн хязгаарлагдмал объект биш, энэ нь өөрөө цаг хугацаа, орон зайн хязгааргүй байдал юм.
ДЭЭД АЖИЛ - термодинамикийн хувьд 1) дулаан тусгаарлагдсан материалаар хийсэн ажил. Мэдээллийн онолд бидний хардаг аливаа мессеж нь зарим физик системийн талаарх мэдээллийн цуглуулга юм. Хэрэв физик системийн төлөвийг урьдчилан мэдэж байсан бол мессеж дамжуулах нь утгагүй болох нь ойлгомжтой.
Мэдээжийн хэрэг, системийн талаар олж авсан мэдээлэл нь ерөнхийдөө илүү үнэ цэнэтэй, утга учиртай байх тусам энэ мэдээллийг хүлээн авахаас өмнө системийн тодорхой бус байдал ("apriori") байх болно. Энэ асуултад хариулахын тулд тус бүр нь тодорхойгүй байгаа хоёр системийг харьцуулж үзье.
Гэсэн хэдий ч ерөнхийдөө энэ нь тийм биш юм. Жишээлбэл, 1) ажиллагаатай, 2) гэмтэлтэй гэсэн хоёр төлөвт байж болох техникийн төхөөрөмжийг авч үзье. Системийн тодорхой бус байдлын түвшинг тодорхойлохын тулд хүснэгтийн дээд мөрөнд аль утгыг бичих нь огт чухал биш гэдгийг бид онцолж байна; Зөвхөн эдгээр утгуудын тоо, тэдгээрийн магадлал нь чухал юм. Мэдээллийн онолын хувьд энтропи гэдэг ойлголт суурь юм.
Энэ мэдээллийн хэмжээг энтропи гэж нэрлэдэг. Зарим мессеж нь цагаан толгойн элементүүд, элементүүд гэх мэтийг агуулдаг гэж бодъё. Хэмжигдэхүүнийг мессежийн эх үүсвэрийн энтропи гэж нэрлэдэг. 3. Мессежийн элементүүдийн бүх төлөв ижил магадлалтай бол энтропи хамгийн их байна. Мэдээллийн онолын хувьд үргэлж, өөрөөр хэлбэл магадлалын холболт байгаа нь мессежийн эх үүсвэрийн энтропийг бууруулдаг нь батлагдсан.
Ширээн дээр бөмбөлгүүдийг эмх цэгцтэй пирамид хэлбэрээр байрлуулснаар билльярдын тоглоом эхэлдэг. Дараа нь эхний цохилтыг дохиогоор цохиж, пирамидыг эвддэг. Бөмбөлгүүд хачирхалтай зам дагуу ширээн дээгүүр эргэлдэж, ширээний хана болон бие биетэйгээ дахин дахин мөргөлдөж, эцэст нь шинэ байрлалд хөлддөг. Зарим шалтгааны улмаас шинэ зохион байгуулалт үргэлж эмх цэгцгүй байдаг. Яагаад? Та эцэс төгсгөлгүй оролдож болно. Ширээн дээрх бөмбөлгүүдийн байрлал өөрчлөгдөх бүртээ өөрчлөгдөх боловч эхний цохилтоос өмнө ширээн дээр байсан эмх цэгцтэй пирамид руу бид хэзээ ч хүрч чадахгүй. Систем аяндаа бага эрэмбэлэгдсэн төлөвт шилждэг. Хэзээ ч илүү эмх цэгцтэй байж болохгүй. Систем эмх цэгцтэй байдалд шилжихийн тулд гадны оролцоо зайлшгүй шаардлагатай. Тоглогчдын нэг нь гурвалжин хүрээ, хэлбэрийг авдаг шинэ пирамид. Уг процесс нь эрчим хүчний хөрөнгө оруулалт шаарддаг. Бөмбөгийг бие биетэйгээ болон ханатай мөргөлдсөний үр дүнд аяндаа пирамид руу эгнүүлэхийг албадах арга байхгүй.
Бильярдын ширээн дээр эмх замбараагүй байдал үүсэх процессыг хянадаггүй (хэдийгээр энэ нь эрчим хүч шаарддаг боловч) учир нь сайн бильярдны ширээг тусгайлан хийсэн тул бөмбөгний энерги нь аль ч цэг дээр ижил байдаг. Бильярдын ширээн дээр юу болж байгааг өөр хүн харуулж байна агуу зарчим, үүний дагуу манай Орчлон ертөнцийг зохион байгуулдаг: хамгийн их энтропийн зарчим. Мэдээжийн хэрэг, орчлон ертөнцийн агуу зарчим зөвхөн бильярдны ширээгээр хязгаарлагдахгүй. Тиймээс бид үүнийг олох болно.
Энтропи нь системийн эмх замбараагүй байдлын хэмжүүр юм. Системд дэг журам бага байх тусам түүний энтропи өндөр байдаг. Юуг эмх цэгцтэй гэж үздэг, юуг эмх замбараагүй гэж үздэг талаар ярих нь утга учиртай байх.
Эмх цэгцийг бөөмсийн тогтмол зохион байгуулалт, зай, чиглэл давтагдах үед ойлгож болох бөгөөд хэд хэдэн бөөмсийн байршлаар дараагийнх нь байршлыг урьдчилан таамаглах боломжтой. Хэрэв бөөмс нь харагдахуйц зохицуулалтын хуульгүйгээр жигд холилдсон бол энэ нь эмгэг юм. Хэрэв бөөмсийг орон зайн нэг хэсэгт сайтар цуглуулсан бол энэ нь захиалга юм. Хэрэв тэд хаа сайгүй тарсан бол энэ нь эмх замбараагүй байдал юм. Хэрэв хольцын өөр өөр бүрэлдэхүүн хэсгүүд өөр өөр газар байвал энэ нь захиалга юм. Хэрэв бүх зүйл холилдсон бол энэ нь замбараагүй болно. Ерөнхийдөө ээж эсвэл эхнэрээсээ асуугаарай - тэр тайлбарлах болно.
Хийн энтропи (дашрамд хэлэхэд "хий" гэдэг үг нь Грекийн "эмх замбараагүй байдал" гэсэн үг) шингэнийхээс өндөр байдаг. Шингэний энтропи нь түүнээс өндөр байна хатуу. Ерөнхийдөө температур нэмэгдэх нь эмгэгийг нэмэгдүүлдэг. Материйн бүх төлөвөөс хамгийн бага энтропи байх болно хатуу болортемпературт үнэмлэхүй тэг. Энэ энтропийг тэг гэж үздэг.
IN янз бүрийн процессуудэнтропийн өөрчлөлт. Хэрэв зарим процесст энерги өөрчлөгдөөгүй бол системийн энтропи нэмэгдэхэд л үйл явц аяндаа явагдана. (Энтропи болон энерги хоёулаа өөрчлөгдөхөд юу тохиолдохыг бид дараа нь авч үзэх болно.) Ийм учраас бильярдын ширээн дээрх бөмбөгнүүд дохиогоор цохиулсны дараа бага эрэмблэгдсэн байрлалд шилждэг. Энтропи өөрчлөгддөг янз бүрийн системүүдгэж дүгнэж болно хамгийн их энтропийн зарчим:
Аливаа систем аяндаа өөрт байгаа хамгийн эмх замбараагүй байдлыг эзлэхийг эрмэлздэг.
Ихэнхдээ ижил зүйлийг хэлбэрээр томъёолдог энтропи буурахгүй байх зарчим:
Тусгаарлагдсан системийн энтропи буурах боломжгүй.
Энэхүү томъёолол нь орчлон ертөнцийн дулааны үхлийн сэдвээр маш олон маргааныг үүсгэсэн бөгөөд одоо ч үүсгэсээр байна: Орчлон ертөнц нь тодорхойлолтоор тусгаарлагдсан систем(Түүнд байхгүй тул орчин, үүний тусламжтайгаар масс эсвэл энерги солилцох боломжтой), тиймээс түүний энтропи аажмаар нэмэгддэг. Үүний үр дүнд орчлон ертөнц эцэст нь хүрээлэн буй орчноосоо ямар нэгэн байдлаар ялгаатай ганц ч биет оршин тогтнох боломжгүй бүрэн нэгэн төрлийн эмх замбараагүй байдалд орох болно. Сэдэв дотор хамгийн дээд зэрэгсэтгэл татам, гэхдээ энэ тухай өөр цагт ярилцъя.
Энтропи нь чуулгын өөрийн мэдээллийн дундаж утга гэж тодорхойлогддог
Мэдээллийн хамгийн их аргатай адил хамгийн их энтропийн арга нь боломжит бүх боломжит тархалтаас нэгийг хайхад суурилдаг. хамгийн их энтропитөрөл (3.19). Тиймээс, шийдлийн тодорхойгүй байдлыг арилгахын тулд хамгийн их энтропийн шалгуурыг ашигладаг бөгөөд функциональ (3.19) нь зургийн нэг төрлийн "чанарын хэмжүүр" болдог.
Ийм чанарын хэмжүүрийн утга учрыг магадлалын тархалтын нягтыг тооцоолох асуудал руу шилжүүлснээр ойлгож болно. математик статистик. тохиолдолд алдартай мөчүүд санамсаргүй хуваарилалт(3.19) илэрхийллийг дээд зэргээр нэмэгдүүлэх замаар олж авсан тооцоо нь бүх боломжит тооцооллуудаас хамгийн бага хазайлттай байна. Зураг үүсгэх үйл явцад тавигдах хязгаарлалт бүхий дээд тал нь (3.19) өгнө гэж найдаж болно сайн дүнтүгээлтийн нягтрал. Зураг үүсэх үйл явцыг авч үзээд олж мэдье физик утгахамгийн их энтропийн шалгуур.
Эх үүсвэрийн нийт эрчмийг тэнцүү ба цэгээс ялгарах эрчмийг туяанаас өгөгдсөн объект үүсгэж болох аргын тоог тоолъё.
Одоо хамгийн олон тохиолдлуудад үүсэх хуваарилалтыг олцгооё
Үүнийг логарифмаар сольж (хамгийн их нь шилжихгүй) Стирлингийн томьёог ашиглан бид дараахь зүйлийг авна.
Асуудлыг шийдэхийн тулд үүсэх тэгшитгэлийн хязгаарлалтыг анхаарч үзэх хэрэгтэй.
түүнчлэн зургийн нийт эрчмийг хязгаарлах, i.e.
Илэрхийлэл нь хамгийн их энтропийн аргын үндэс болдог. Хамгийн их энтропийн шалгуурыг хэрэглэхийн физик утга нь ихэнх тохиолдолд өгөгдсөн гаралтын тархалтыг бүрдүүлдэг сувгийн оролт дээр ийм магадлалын тархалтыг хайх эсвэл хамгийн боломжит эх үүсвэрийн тархалтыг хайх явдал юм. өгөгдсөн нөхцөлүүсэх. Энэ утгаараа хамгийн их энтропийн аргыг арга гэж үзэж болно хамгийн их магадлалтуяа дүрслэх загварын хувьд.
Хамгийн их энтропийн аргыг бичих хамгийн түгээмэл хэлбэрүүдийн нэгийг авч үзье. Бид зураг үүсгэхтэй зэрэгцэн дуу чимээний талбайн зэрэгцээ үүсэхийг авч үзэх болно.
Дээрх үндэслэлүүд дээр үндэслэн бид чимээ шуугианы талбарыг хаана бий болгож болохыг олж мэдсэн
Асуудлыг шийдэхийн тулд хамгийн их байлгах шаардлагатай хамтарсан магадлалзураг ба дуу чимээний талбай үүсэх
Энэ илэрхийллийн логарифмыг авбал дуу чимээ ба дүрсний энтропийн нийлбэрийг гаргана.
Үүсэх үйл явцын хязгаарлалт, цацрагийн тоог (нийт эрчим) хадгалахыг харгалзан бид дараахь оновчтой асуудлыг олж авна.
Энд ба хэмжигдэхүүнүүд нь оновчлолын бодлогын Лагранжийн үржүүлэгч юм. Системийг шийдэхийн тулд бид хэсэгчилсэн деривативуудыг (3.25) олж, тэгтэй тэнцүүлнэ.
Хязгаарлалтын тэгшитгэлд (3.26), (3.27)-ын илэрхийллүүдийг орлуулснаар бид олно.
(3.28) хэлбэрийн тэгшитгэлээс оролтын хуваарилалтын функцийг олоход ашигладаг Лагранж үржүүлэгчийг тодорхойлно.
(3.29) дахь экспоненциал нь шийдлийн эерэг байдлыг баталгаажуулдаг энтропи функц нь өөрөө мэдэгдэхүйц шугаман бус бөгөөд энэ нь (3.29) тэгшитгэлийн сонирхолтой шинж чанарыг үүсгэдэг: тэдгээр нь гажуудсан зургийн спектрт байхгүй орон зайн давтамжийг агуулж болно. Энэ нь "хэт нягтрал" -ын боломжийн талаар ярих боломжийг олгодог, өөрөөр хэлбэл хязгаарлагдмал зурвасын өргөнтэй үүсгүүрийн системээр устгасан мэдээллийг сэргээх (5-р бүлэг нь хэт нягтралын үр нөлөө, түүний чадавхийг үнэлэхэд зориулагдсан болно). (3.29)-ын үндсэн дээр олж авсан уусмалууд байгааг анхаарна уу чанар нэмэгдсэнхарьцуулахад шугаман алгоритмуудсэргээх, гэхдээ шийдлийг шаарддаг нарийн төвөгтэй системшугаман бус тэгшитгэл.
Эрчим хүчний спектрийг тооцоолоход Бургийн санал болгосон (3.19) хэлбэрийн энтропийн илэрхийллийн өөр хувилбар бий. Энтропийн энэ хэлбэр нь дараах хэлбэртэй байна.
Илэрхийлэл (3.30) дээр суурилсан сэргээн босгох аргыг зураг боловсруулах практикт мөн ашиглаж болно. Дуу чимээтэй спектрийн дээжийг бидэнд мэдэгдээрэй
Энд тус тус спектрийн дээжүүд ажиглагдаж буй зургийн спектрийн үнэн ба шуугиантай дээжийн хоорондох зөрүүг хязгаарлаж үзье.
Дараа нь шийдлийг олохын тулд илүү энгийн функцийг нэмэгдүүлэх шаардлагатай.
онд гэдгийг тэмдэглэх нь зүйтэй сүүлийн үедгарч ирэв их тоо(3.19) ба (3.30) хоёуланд нь суурилсан алгоритмууд нь тус бүрийг томъёолсоноос үүсэх олон төрлийн хязгаарлалтуудыг ашиглана. тодорхой даалгавар. Үнэн, хоёр энтропийн норм байгаа нь нэгдүгээрт, алийг нь практикт ашиглах нь тодорхойгүй, хоёрдугаарт, нөхөн сэргээх асуудлыг хангалттай тодорхой тайлбарлаагүйгээс болж зарим эргэлзээ төрүүлж байна.
Өөр бий сонирхолтой онцлогхамгийн их энтропийг хайхад үндэслэсэн алгоритмууд. Тохиолдлын хувьд (3.27)-(3.29) илэрхийллүүд рүү шилжье хамгийн тохиромжтой системүүсэх, гэхдээ нэмэлт шуугиан байгаа тохиолдолд энэ тохиолдолд хамгийн их энтропийн алгоритмыг ашиглах нь дуу чимээ, дохионы априори шинж чанаргүйгээр дүрсийг чимээ шуугианаас тусгаарлахыг шаарддаг. Гэсэн хэдий ч илүү нарийвчлалтай дүн шинжилгээ хийснээр (3.28) хэлбэрийн тэгшитгэлийг ашиглан шийдэл нь парадокс үр дүнг өгдөг: дохио ба дуу чимээ нь хоорондоо холбоотой байдаг. шугаман хамаарал. Үнэн хэрэгтээ энд дохионы тооцоолол тэнцүү байна
дуу чимээний тооцоолол нь:
IN практик хэрэглээЭнэ нөлөөллөөс зайлсхийхийн тулд дуу чимээний энтропийн илэрхийлэлийг тодорхой жингийн коэффициентээр авч (3.24) оронд дараах функцийг авч үзнэ.
Гэсэн хэдий ч энэ техник нь дериватив хувиргалтын физик утгыг тодорхойгүй үлдээдэг.
Хамгийн их энтропийн аргын өөр нэг сул тал нь хамгийн сайн үр дүнТүүний тусламжтайгаар тэдгээрийг нэг төрлийн дэвсгэр дээр бие даасан импульсээс бүрдэх объектуудыг сэргээн босгох замаар олж авдаг бөгөөд энэ аргыг орон зайн өргөтгөсөн объектуудад хэрэглэх оролдлого нь хэлбэлзэл үүсгэдэг.
Хамгийн их энтропи ба хамгийн их мэдээллийн аргуудын талаархи танилцуулсан үр дүнг нэгтгэж болно
хамгийн их магадлалын аргыг ашиглан тархалтын нягтыг тооцоолох алгоритмыг бүтээхэд үндэслэсэн нэг схемд. Тиймээс авч үзсэн алгоритмуудыг § 2.4-т тодорхойлсон статистикийн зохицуулалтын аргуудын бүлэгт оруулж болно. Цорын ганц ялгаа нь эдгээр алгоритмууд нь өөр статистик загвар дээр үндэслэсэн байдаг - магадлалын нягтрал болгон дүрсийг дүрслэх. Ийм загвар нь авч үзэж буй функцүүдийн шугаман бус байдалд шууд хүргэдэг. Гэсэн хэдий ч өмнө дурдсан сул талууд нь мэдээллийн онолын нөхөн сэргээх аргын давуу талыг хадгалахын зэрэгцээ (хязгааргүй давтамжийн зурвас, шийдлийн сөрөг бус байдал гэх мэт) илүү өргөн хүрээний дүрсийг сэргээх боломжийг бидэнд олгодог алгоритмуудыг хайхад хүргэдэг.
