Információ- és kódelmélet
HTML
Digitális Tankönyvtár
Szerző:
- Fegyverneki Sándor
Típus:
- jegyzet
Elektronizálás módja:
- Latex-PDF
Terjedelem:
- 10 ív
Digitális elemek és számuk:
- 25 kép,ábra;
- 6 nem interaktív animáció,szimuláció;
- 60 tevékenység, feladat, kísérlet;
Tartalom:
Az egyirányú hírközlési rendszer általános modellje. Az információmennyiség mérése: Hartley-féle értelmezés. Az esemény Shannon-féle információmennyisége, Jensen-egyenlőtlenség, az entrópia tulajdonságai. I-divergencia, kölcsönös információmennyiség, McMillan-felbontási tétel, a feltételes entrópia. Kódoláselméleti fogalmak, forráskódolás: stacionaritás, betűnkénti és blokkonkénti kódolás, emlékezet-nélküliség, egyértelmű dekódolhatóság. Sardianas-Patterson algoritmus. Keresési stratégiák és prefix kódok. Kraft-Fano egyenlőtlenség. Hatásfok, McMillan-dekódolási tétel. Shannon-Fano-, Gilbert-Moore-, Huffman-féle kód. Az optimális kód tulajdonságai, a kódfához kapcsolódó tulajdonságok. Stacionér forrás entrópiája, a zajmentes hírközlés alaptétele. Lempel-Ziv kódolás és változatai. Csatornakapacitás: emlékezetnélküli eset, zajmentes eset, bináris szimmetrikus csatorna, zajos csatorna típusok. Zajmentes nem azonos átviteli idő esete: információ átviteli sebesség, csatornakapacitás, optimális eloszlás. Az átlagos időhossz, Kraft-Fano egyenlőtlenség. Általános zajos csatorna esete: négyzetes átviteli mátrix, Arimoto-Blahut algoritmus, általános eset additív költséggel. McMillan-felbontási tétel és a zajos kódolás kapcsolata. Zajos csatorna kódolása: (k,n)-kód, , maximum likelihood dekódolás, csoportkód, lineáris kód, szisztematikus kód, szindróma, mellékosztályok és szindrómák kapcsolata, mellékosztály és dekódolási táblázat. Hamming-kód, ciklikus kódok, BCH kódok stb. Analóg források és csatornák: Entrópia, I-divergencia. Speciális eloszlások entrópiája. Csatornakapacitás. Entrópia maximalizálás, véges szórású eset. Az alapvető fogalmak, állításokon kívül részletesen megadott algoritmusokat és példákat tervezünk. Továbbá alkalmazások és esttanulmányok leírását is.
Irodalom:
[1] Csiszár I., Fritz J.: Információelmélet, Tankönyvkiadó, Bp. 1980.
[2] Györfi L., Győri S., Vajda I.: Információ- és kódelmélet, Typotex, Budapest, 2002.
[3] Ködmön J.: Kriptográfia, ComputerBooks, Budapest, 1999/2000.
[4] T.M. Cover, J.A. Thomas: Elements of Information theory, Wiley, New York, 1991.
[5] D. MacKay: Information Theory, Inference and Learning Algorithms, Cambridge University Press, Cambridge, 2003. Letölthető: http://www.inference.phy.cam.ac.uk/itprnn/book.pdf
[6] J. Pieprzyk, T. Hardjono, J. Seberry: Fundamentals of Computer Security, Springer, Berlin, 2003.
Kurzus:
Információ- és kódelmélet, GEMAK122M, Információelmélet, GEMAK264B