Jarak Hamming. Ensiklopedia bagus tentang minyak dan gas

Pada kumpulan kata-kata biner yang panjangnya m jarak d(a,b) antara kata a dan b adalah banyaknya posisi kata-kata tersebut yang tidak cocok, contoh: jarak antara kata a = 01101 dan b = 00111 adalah 2.

Konsep yang didefinisikan dengan cara ini disebut jarak Hamming.

Ini memenuhi aksioma jarak berikut:

1) d(a,b)  0 dan d(a,b)=0 jika dan hanya jika a = b;

2) d(a,b) = d(b,a) ;

3) d(a,b) + d(b,c)  d(a,c) (pertidaksamaan segitiga).

Bobot w(a) suatu kata a adalah banyaknya satuan di antara koordinat-koordinatnya. Maka jarak antara kata a dan b adalah bobot dari jumlah a b: d(a,b)=w(a b) , dimana simbol  menyatakan operasi penjumlahan berdasarkan koordinat modulo 2. Secara intuitif jelas bahwa kode tersebut lebih cocok untuk deteksi dan koreksi kesalahan, semakin berbeda kata-kata kodenya. Konsep jarak Hamming memungkinkan kita memperjelas hal ini.

Dalil Agar suatu kode dapat mendeteksi kesalahan pada k posisi (atau kurang), jarak terkecil antar codeword perlu dan cukup adalah  k + 1.

Pembuktian teorema ini sama dengan pembuktian pernyataan berikut.

Dalil. Agar kode dapat memperbaiki semua kesalahan pada posisi k (atau kurang), jarak terkecil antar codeword perlu dan cukup menjadi  2k + 1.

32. Teorema kemampuan mengoreksi kode.

Kode yang dapat memperbaiki kesalahan secara otomatis disebut koreksi mandiri. Untuk membuat kode koreksi mandiri yang dirancang untuk memperbaiki kesalahan tunggal, satu digit pemeriksa tidaklah cukup. Seperti dapat dilihat dari berikut ini, jumlah bit kontrol k harus dipilih agar pertidaksamaan 2k≥k+m+1atau k≥log2(k+m+1) terpenuhi, dengan m adalah jumlah bit biner dasar dari kata sandi. Saat ini, kode koreksi blok biner adalah yang paling menarik. Saat menggunakan kode tersebut, informasi ditransmisikan dalam bentuk blok dengan panjang yang sama dan setiap blok dikodekan dan didekode secara independen satu sama lain. Di hampir semua kode blok, karakter dapat dibagi menjadi informasi dan verifikasi.

Karakteristik utama dari kode koreksi diri adalah:

1. Jumlah kombinasi yang diperbolehkan dan dilarang. Jika n adalah banyaknya simbol dalam blok, r adalah banyaknya simbol pengecekan dalam blok, k adalah banyaknya simbol informasi, maka 2n adalah banyaknya kemungkinan kombinasi kode, 2k adalah banyaknya kombinasi kode yang diperbolehkan, 2n −2k adalah jumlah kombinasi yang dilarang.

2. Redundansi kode. Nilai rn disebut redundansi kode koreksi.

3. Jarak kode minimum. Jarak kode minimum d adalah jumlah minimum simbol terdistorsi yang diperlukan untuk berpindah dari satu kombinasi yang diperbolehkan ke kombinasi lainnya.

4. Jumlah kesalahan yang terdeteksi dan diperbaiki. Jika g adalah jumlah kesalahan yang dapat diperbaiki oleh kode, maka d≥2g+1 perlu dan cukup

5. Kemampuan korektif kode.

33. Pengkodean matriks. Kode grup.

Saat secara eksplisit menentukan skema pengkodean di ( m, n)-code harus menentukan 2 m codeword, yang sangat tidak efisien.

Salah satu cara ekonomis untuk menggambarkan skema pengkodean adalah teknik pengkodean matriks.

Sebelumnya, setiap skema pengkodean dijelaskan oleh tabel yang menentukan panjang kata kode N untuk setiap kata sumber yang panjangnya M. Untuk blok yang panjang, metode ini memerlukan sejumlah besar memori dan oleh karena itu tidak praktis. Misalnya, untuk ( 16, 33 ) kode akan membutuhkan 33 * 2 16 = 2.162.688 bit.

Membutuhkan lebih sedikit memori pengkodean matriks. Membiarkan E matriks dimensi m×n, terdiri dari unsur e ij , dimana Saya adalah nomor baris, dan J - nomor kolom. Masing-masing elemen matriks e aku j dapat berupa 0 atau 1. Pengkodean dilaksanakan oleh operasi b = aE atau di mana kata kode dianggap sebagai vektor, yaitu sebagai matriks baris berukuran 1×n.

Pengkodean tidak boleh menetapkan kata sandi yang sama ke pesan sumber yang berbeda. Cara sederhana untuk mencapai hal ini adalah dengan M kolom matriks membentuk matriks satuan. Ketika suatu vektor dikalikan dengan matriks identitas, vektor yang sama diperoleh; oleh karena itu, vektor pesan yang berbeda akan berhubungan dengan vektor yang berbeda dari kode sistematik.

Kode matriks juga disebut kode linier. Untuk linier (n − r, n)-kode dengan jarak Hamming minimum D ada Batas bawah Plotkin (Plotkin) untuk jumlah minimum bit cek R pada n³ 2d − 1,

Biner ( Suatu kode m,n) disebut kode grup jika kata kodenya membentuk grup.

Perhatikan bahwa himpunan semua kata biner dengan panjang m membentuk grup komutatif dengan operasi penjumlahan berdasarkan koordinat modulo 2, yang mana relasi a a berlaku. Akibatnya, himpunan kata pesan a dengan panjang m merupakan grup komutatif.

Kode blok dipanggil kelompok, jika kata sandinya membentuk suatu kelompok.

Jika kode tersebut merupakan kode kelompok, maka jarak terkecil antara dua kata kode sama dengan bobot terkecil kata yang bukan nol.

Ini mengikuti dari hubungannya d(b Saya ,B J ) = w(b Saya + B J ).

Saat menggunakan kode wildcard, kesalahan tersebut dan hanya kesalahan yang sesuai dengan string kesalahan yang sama persis dengan kata kode tidak terdeteksi.

Baris kesalahan seperti itu menerjemahkan satu kata kode ke kata kode lainnya.

Oleh karena itu, probabilitas bahwa suatu kesalahan akan tetap tidak terdeteksi sama dengan jumlah probabilitas semua string kesalahan yang sama dengan kata kode.

Kumpulan semua kata biner sebuah = sebuah 1 ... A M panjang M membentuk grup Abelian (komutatif) sehubungan dengan penambahan bitwise.

Membiarkan E - pengkodean m×n-matriks yang memiliki M × M- submatriks dengan determinan bukan nol, misalnya identitas. Kemudian pemetaannya sebuah → sebuah E menerjemahkan sekelompok semua kata biner yang panjangnya M ke sekelompok kata sandi yang panjangnya N.

Mari kita berasumsi bahwa Maka kita dapatkan

yaitu Oleh karena itu, pemetaan satu-ke-satu dari sekelompok kata biner yang panjangnya M menggunakan matriks tertentu E mempertahankan properti operasi grup, yang berarti kata sandi membentuk grup.

Properti kode grup: jarak kode minimum antar vektor kode sama dengan bobot minimum vektor bukan nol. Bobot vektor kode sama dengan jumlah vektor kode dalam kombinasi kode.

Lebih mudah untuk menentukan kode grup menggunakan matriks, yang dimensinya ditentukan oleh parameter k dan n. Banyaknya baris adalah k dan banyak kolom adalah n = k+m.

Kode-kode yang dihasilkan oleh matriks-matriks ini disebut kode-(n, k), dan matriks-matriks yang bersesuaian disebut generator (generator).

Halaman 1

Jarak Hamming antara dua barisan yang panjangnya sama menunjukkan jumlah posisi yang ditempati oleh elemen-elemen yang tidak cocok. Dalam kasus barisan yang panjangnya berbeda, jarak Hamming didefinisikan sebagai jumlah minimum posisi yang ditempati oleh elemen-elemen yang tidak cocok di.

Jarak Hamming d (u, v) antara dua kata u dan v yang panjangnya sama sama dengan banyaknya angka divergen dari kata-kata tersebut. Ini digunakan dalam teori kode blok (V.

Dengan menggunakan sifat metrik jarak Hamming, dapat dibuktikan secara langsung bahwa /l merupakan metrik pada Xt, namun bukan merupakan metrik pada himpunan barisan periodik campuran.

Fungsi kedekatan ini setara dengan jarak Hamming.

Metrik p pada algoritma KLOP ditentukan oleh jarak Hamming.

Jika prosedur pencarian dapat menemukan posisi yang jarak Hammingnya nol, maka permasalahan akan terpecahkan.

Perbandingan himpunan bagian fuzzy B dan B3, derajat ketidakjelasan, serta jarak Hamming menunjukkan bahwa himpunan bagian fuzzy yang dipertimbangkan berbeda. Namun, jika kita mengambil elemen m2 G Uz sebagai nilai kalkulasi, yang derajatnya termasuk dalam subset fuzzy yang dihasilkan adalah maksimum, maka penggunaan relasi fuzzy R yang dihitung dengan cara ini dapat dibenarkan. Selain fakta bahwa dengan pendekatan ini dimungkinkan untuk menggambarkan nonlinier hubungan antara suhu maksimum di zona kedua reaktor dan laju aliran lelehan polietilen, metode ini tidak memperhitungkan sifat non-stasioner dari lelehan. proses memperoleh LDPE, yang dikaitkan dengan perubahan karakteristik proses teknologi.

Fungsi transfer kode ini menunjukkan bahwa terdapat satu jalur dengan jarak Hamming d - dari jalur yang semuanya nol, yang menyatu dengan jalur yang semuanya nol pada node tertentu. Dari diagram keadaan yang ditunjukkan pada Gambar. 8.2.6, atau diagram teralis yang ditunjukkan pada Gambar. 8.2.5, jelas jalur dari d6 adalah acbe. Sekali lagi dari diagram keadaan atau kisi kita melihat bahwa jalur ini adalah acdbe dan acbcbe. Suku ketiga pada (8.1.2) menunjukkan adanya empat jalur dengan jarak d 0 dan seterusnya. Jadi, fungsi transfer memberi kita properti jarak dari kode konvolusional.

Hasil ini konsisten dengan pengamatan bahwa jalur yang seluruhnya nol (/0) mempunyai jarak Hamming d3 dari barisan yang diterima, sedangkan jalur /1 mempunyai jarak Hamming d5 dari jalur yang diterima. Dengan demikian, jarak Hamming adalah metrik yang setara untuk penguraian kode keputusan yang sulit.

Dalam buku Stefan Zweig “Humanity’s Finest Hours” terdapat kisah indah “The Genius of One Night” tentang perwira tentara Prancis Rouget de Lisle, yang menulis “La Marseillaise” yang terkenal pada suatu malam di tengah panasnya inspirasi yang mencengkeramnya. Ini terjadi pada tahun 1792 di Marseille yang revolusioner. Lagu tersebut menyebar ke seluruh Perancis dalam beberapa hari, dengan cepat mendapatkan popularitas yang sangat besar di seluruh dunia dan kemudian menjadi lagu kebangsaan Republik Perancis. Sejarah telah melestarikan nama Rouget dalam ingatan anak cucu berkat single lagu ini.

Dengan analogi, Richard Hamming bisa disebut sebagai “jenius dalam satu ide”. Dia merumuskannya pada tahun 1950 dalam satu-satunya artikel ilmiahnya yang ditujukan untuk kode koreksi kesalahan. Artikel tersebut berisi konstruksi kode blok yang memperbaiki kesalahan tunggal yang terjadi selama transmisi pesan.

Richard Hamming terus-menerus terlibat dalam penelitian ilmiah aktif, tetapi satu-satunya karyanya di bidang teori informasi, yang volumenya merupakan persentase kecil dari karya ilmiahnya, menjadi terkenal. Artikel ini dengan cepat mendapatkan ketenaran di seluruh dunia dan memberinya ketenaran yang memang layak diterimanya.

Sama seperti penemuan Faraday dan Maxwell yang diikuti oleh berbagai penemuan di bidang telekomunikasi yang mengubah hidup kita, demikian pula setelah terciptanya teori informasi oleh Claude Shannon dan Vladimir Kotelnikov, teori potensi kekebalan kebisingan, peluang baru terbuka bagi dunia. perkembangan telekomunikasi. Salah satu bagian terpenting dari teori informasi adalah teori pengkodean, yang landasannya diletakkan oleh Hamming.

Shannon menetapkan bahwa informasi dapat dikirimkan tanpa kesalahan melalui saluran komunikasi jika kecepatan transmisi tidak melebihi kapasitasnya. Namun, bukti Shannon tidak membangun. Penelitian selanjutnya oleh dia dan ilmuwan Amerika lainnya S.O. Rice menunjukkan bahwa hampir semua kode yang dipilih secara acak memungkinkan seseorang mencapai batas teoritis kekebalan kebisingan untuk penerimaan pesan. Namun, kode tersebut memiliki kompleksitas decoding yang tinggi: jumlah operasi yang diperlukan untuk memecahkan kode kombinasi kode yang diterima meningkat secara eksponensial seiring dengan panjangnya.

Hamming adalah orang pertama yang mengusulkan metode konstruktif untuk membangun kode dengan redundansi dan decoding sederhana. Karyanya telah menentukan arah sebagian besar pekerjaan di bidang ini setelahnya.

Untuk menghormatinya, Institut Insinyur Listrik dan Elektronika memberikan medali untuk mengakui para ilmuwan yang telah memberikan kontribusi signifikan terhadap teori informasi.

Kode yang mampu memperbaiki kesalahan (dalam saluran komunikasi di komputer digital, dll.) selama pemrosesan sinyal diusulkan oleh Hamming bahkan sebelum tahun 1948, ketika artikel terkenal Shannon "Teori Komunikasi Matematika" diterbitkan, yang meletakkan dasar yang kuat bagi teori ini. bidang.

Dalam makalah ini, Shannon, mengutip penelitian yang dilakukan pada tahun 1947 oleh rekannya di Bell Labs Richard Hamming, menggambarkan sebagai contoh kode sederhana dengan panjang 7 yang mengoreksi semua kesalahan tunggal. Publikasi materi asli Hamming ditunda hingga April 1950 karena alasan paten. Perlu dicatat bahwa contoh kode koreksi kesalahan yang diberikan dalam artikel tersebut oleh Shannon mengawali penelitian ilmuwan Amerika lainnya, M. E. Golay. Golay, terlepas dari Hamming, menemukan kode yang memperbaiki kesalahan tunggal. Pada tahun 1949 (yaitu, sebelum Hamming) ia menerbitkan sebuah catatan pendek (hanya setengah halaman) tentang hasil-hasilnya dalam Proceedings of the IEEE. Dalam catatan ini, ia tidak hanya mempertimbangkan kode biner, tetapi juga kode umum, yang kombinasinya termasuk dalam bidang berhingga (kumpulan elemen matematika dengan operasi penjumlahan, pengurangan, pembagian, dan perkalian tertentu) dengan elemen pn (p adalah bilangan prima , dan n adalah bilangan bulat) .

Perlu dicatat bahwa sejumlah ide dasar teori komunikasi dikenal sebagai hasil matematika tertentu bahkan sebelum ide tersebut mulai diterapkan oleh para ilmuwan dalam memecahkan masalah penyampaian pesan melalui saluran komunikasi. Dalam bukunya “Algebraic Coding Theory”, seorang pakar terkemuka Amerika di bidang teori coding, E. Berlekamp, menyampaikan pernyataan yang sangat menarik. Dia mencatat bahwa desain kode Hamming dijelaskan dalam konteks yang berbeda pada tahun 1942 oleh ahli matematika Amerika terkenal R. A. Fisher, dalam sebuah karya yang membahas teori analisis faktor (salah satu cabang statistik matematika) dan hubungannya dengan matematika. teori kelompok. Omong-omong, teorema V. A. Kotelnikov, yang menunjukkan kemungkinan merepresentasikan sinyal analog dalam bentuk digital, juga ditemukan sebagai salah satu hasil matematis parsial dari teori interpolasi fungsi pada awal abad ke-20 oleh matematikawan Inggris E. T. dan J. M. Whitker. Perlu ditekankan bahwa baik Fisher maupun para ilmuwan Inggris yang disebutkan di atas tidak menghubungkan hasil mereka dengan masalah paling penting bagi dunia modern dalam mentransmisikan informasi melalui saluran komunikasi.

Wolfgang Goethe berkata: “Tidak cukup hanya sekedar menimba ilmu; Saya perlu mencari aplikasi untuknya. Tidaklah cukup hanya sekedar berharap; harus dilakukan.” Untuk teori dan teknologi... komunikasi, teorema Kotelnikov dan kode Hamming sangat penting, karena berkat merekalah prospek yang jelas untuk menciptakan sistem digital terbuka bagi para insinyur, yang pada akhir abad ke-20 merevolusi telekomunikasi dan karenanya mereka berhak dipanggil menurut nama para ilmuwan ini.

Menjadi katalisator yang mempercepat perkembangan teori coding, artikel Hamming menarik perhatian komunitas ilmiah. Di semua buku teks, golongan kode ini disebut kode Hamming, dan pemaparan teori pengkodean diawali dengan uraian konstruksinya. Tampaknya, akan lebih adil untuk menyebut kode-kode ini sebagai kode Hamming–Golay, mengingat Golay mempunyai ide yang sama dengan Hamming secara independen dan menerbitkannya lebih awal. Fakta bahwa artikelnya tidak menarik perhatian yang layak kemungkinan besar disebabkan oleh kebetulan.

Dibandingkan dengan teori Shannon, kode-kode yang diperkenalkan oleh Hamming ternyata sangat lemah. Namun, metode reguler Hamming untuk menyusun kode koreksi kesalahan sangatlah penting. Mereka menunjukkan kepada para insinyur kemungkinan praktis untuk mencapai batas-batas yang ditunjukkan oleh hukum teori informasi. Kode-kode ini telah menemukan penerapan praktis dalam penciptaan sistem komputer. Makalah Hamming juga memberikan solusi terhadap masalah pengepakan yang lebih padat untuk bidang berhingga. Dia memperkenalkan ke dalam penggunaan ilmiah konsep paling penting dari teori pengkodean - jarak Hamming antara kombinasi kode dalam ruang vektor, yang didefinisikan untuk kode biner sebagai jumlah posisi kombinasi ini dengan simbol yang berbeda, dan batas Hamming untuk kemampuan mengoreksi blok. mengoreksi kode. Batas Hamming untuk kode biner dihitung menggunakan rumus berikut:

Dalam ekspresi ini, jumlah kesalahan e dapat dikoreksi dengan kode blok koreksi dengan panjang N, yang memiliki kombinasi kode M (CjN adalah koefisien binomial).

Karya Hamming memainkan peran kunci dalam pengembangan teori pengkodean selanjutnya dan mendorong penelitian ekstensif yang dilakukan pada tahun-tahun berikutnya. Pada tahun 1956, David Slepyan adalah orang pertama yang menyajikan teori kode pengecekan paritas berdasarkan dasar matematika yang serius. Pergeseran besar dalam bidang teori pengkodean terjadi ketika ilmuwan Perancis A. Hoquenghem (1959) dan ilmuwan Amerika R. K. Bose dan D. K. Roy-Chowdhury (1960) menemukan sekelompok besar kode (kode BCH) yang mengoreksi banyak kesalahan. Peneliti Amerika I. S. Reed dan G. Solomon (1960) menemukan kelas kode saluran non-biner yang terkait dengan kode BCH.

Pada tahun 1980, Hamming menulis buku teks brilian, “Coding Theory and Information Theory,” yang diterjemahkan ke dalam bahasa Rusia pada tahun 1983. Buku ini, seperti karya-karyanya yang lain, dibedakan berdasarkan orisinalitas pertanyaan yang diajukan, popularitas presentasi, pemahaman mendalam tentang masalah praktis, kebenaran dan tingkat ketelitian yang wajar dalam interpretasi matematis atas masalah yang diangkat. Penyajian materi disusun sedemikian rupa sehingga pembaca secara intuitif memahami mengapa teorema ini atau itu benar.

) dalam ruang vektor barisan kode, dalam hal ini jarak Hamming antara dua barisan biner (vektor) dan panjangnya adalah banyaknya posisi yang berbeda - dalam rumusan ini jarak Hamming dimasukkan dalam Kamus Algoritma dan Struktur Data Institut Standar Nasional AS (Bahasa Inggris). Kamus Algoritma dan Struktur Data NIST ).

Jadi, jarak Hamming antara vektor 0 011 1 dan 1 010 1 adalah 2 (bit yang berbeda ditandai dengan warna merah). Selanjutnya, metrik tersebut digeneralisasikan ke barisan q-ary: untuk sepasang string “pemilihan” dan “pagar” jarak Hamming sama dengan tiga.

Secara umum, jarak Hamming untuk benda dan dimensi diberikan oleh fungsi:

Jarak Hamming memiliki sifat metrik yang memenuhi ketentuan berikut:

Jarak Hamming dalam bioinformatika dan genomik

Literatur

Richard W. Hamming. Kode deteksi kesalahan dan koreksi kesalahan, Jurnal Teknis Sistem Bell 29(2):147-160, 1950.
Richard Bleichut. Teori dan praktek kode pengendalian kesalahan. M., "Dunia", 1986

Tautan

Richard Hamming dan awal teori pengkodean // Museum Komputer Virtual

Yayasan Wikimedia.

2010.

Lihat apa itu "Jarak Hamming" di kamus lain: Jarak Hamming

- Jarak Hamming Jarak d (u,v) antara dua barisan kode u dan v yang panjangnya sama, sama dengan banyaknya simbol yang membedakannya. Kode blok dengan jarak Hamming minimum d memungkinkan seseorang untuk mendeteksi (d 1) dan... ... jarak kode - Jarak Hamming minimum yang diambil atas semua laring dari kata sandi yang berbeda dalam kode yang seragam. [Kumpulan istilah yang direkomendasikan. Edisi 94. Teori transmisi informasi. Akademi Ilmu Pengetahuan Uni Soviet. Komite Terminologi Teknis. 1979] Teori topik......

Panduan Penerjemah Teknis

Dalam bidang matematika dan teori informasi, kode linier adalah jenis kode blok penting yang digunakan dalam skema deteksi dan koreksi kesalahan. Kode linier, dibandingkan dengan kode lain, memungkinkan penerapan algoritma yang lebih efisien... ... Wikipedia

Deteksi kesalahan dalam teknologi komunikasi adalah suatu tindakan yang bertujuan untuk memantau keutuhan data pada saat merekam/mereproduksi informasi atau pada saat mentransmisikannya melalui jalur komunikasi. Prosedur pemulihan koreksi kesalahan (koreksi kesalahan)... ... Wikipedia