ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ

Περιεχόμενα
Πρόλογος iii
0 Στοιχεία Θεωρίας Πιθανοτήτων 1
0.1 Αθροίσιμες οικογένειες . . . . . . . . . . . . . . . . . . . . . . . . 2
0.2 Πιθανότητες . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
0.3 Διακριτές τυχαίες μεταβλητές . . . . . . . . . . . . . . . . . . . . 12
0.4 Ανεξαρτησία, δεσμευμένη προσδοκία . . . . . . . . . . . . . . . . 19
Ασκήσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1 Εντροπία και αμοιβαία πληροφορία 25
1.1 Εντροπία τυχαίας μεταβλητής . . . . . . . . . . . . . . . . . . . . 26
1.2 Δεσμευμένη εντροπία . . . . . . . . . . . . . . . . . . . . . . . . . 29
1.3 Αμοιβαία πληροφορία . . . . . . . . . . . . . . . . . . . . . . . . 33
1.4 Δείκτης εντροπίας . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
1.5 Δείκτης εντροπίας μαρκοβιανών διαδικασιών . . . . . . . . . . . . 41
Ασκήσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
2 Κωδικοποίηση 57
2.1 Κώδικες . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
2.2 Ανισότητα των Kraft και McMillan . . . . . . . . . . . . . . . . . . 60
2.3 Βέλτιστοι κώδικες . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
2.4 Νόμος των μεγάλων αριθμών και συμπίεση . . . . . . . . . . . . . 70
2.5 Χωρητικότητα διαύλου μετάδοσης . . . . . . . . . . . . . . . . . . 77
2.6 Κωδικοποίηση προσαρμοσμένη σε δίαυλο μετάδοσης . . . . . . . . 82
Ασκήσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
3 Δειγματοληψία 97
3.1 Συνεχή και διακριτά σήματα . . . . . . . . . . . . . . . . . . . . . 98
3.2 Σειρά του Fourier περιοδικής συνάρτησης . . . . . . . . . . . . . . 101
3.3 Κύρια θεωρήματα της θεωρίας σειρών του Fourier . . . . . . . . . 105
3.4 Πτύχωση και θεώρημα του Dirichlet . . . . . . . . . . . . . . . . . 114
3.5 Μετασχηματισμός του Fourier . . . . . . . . . . . . . . . . . . . . 121
i
ii Περιεχόμενα
3.6 Το θεώρημα δειγματοληψίας . . . . . . . . . . . . . . . . . . . . . 125
3.7 Αρχή Αβεβαιότητας στη Θεωρία Πληροφορίας . . . . . . . . . . . 129
Ασκήσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
Λύσεις των ασκήσεων 139
Κεφάλαιο 0 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
Κεφάλαιο 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
Κεφάλαιο 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
Κεφάλαιο 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
Βιβλιογραφία 209
Κατάλογος συμβόλων 211
Ευρετήριο 213