Лабораторна робота 1
Кількість та одиниці виміру інформації
Одиниці виміру інформації
Інформацію, яку отримує людина, можна вважати мірою зменшення невизначеності знання (ентропією). Якщо повідомлення призводить до зменшення невизначеності наших знань, то можна говорити, що таке повідомлення містить інформацію. За одиницю кількості інформації прийнято таку кількість інформації, яке містить повідомлення, що зменшує невизначеність знання в два рази. Така одиниця є мінімальною і названа біт. Існують більші одиниці вимірювання інформації:
1 Кілобайтів = 1024 байт = 2 10 байт, 1 Мегабайт = 1024 Кбайт = 2 20 байт,
1 Гігабайт = 1024 Мбайт = 2 30 байт, 1Терабайт = 1024 Гбайт = 2 40 байт,
1 Петабайт = 1024 Тбайт = 2 50 байт, 1Екзабайт = 1024 Пбайт = 2 60 байт.
1) Розставте знаки <, =,> в наступному ланцюжку:
20 байт ... 1000 біт ... 1 Мбайт ... 1024 Кбайт ... 1 Гбайт.
2) Упорядкуйте величини по зростанню:
1 025 байт, 1 Кбайт, 1 Мбайт, 1023 Кбайт, 1.2 Тбайт, 1025 біт.
3) Виберіть правильні відповіді: 5 Мбайт - ... менше 5000 Кбайт, рівні 5120 Кбайт, рівні 512 Кбайт, більше 5000 Кбайт, більше 1 Гб?
4) Встановіть відповідності між одиницями вимірювання інформації?
5) Знайдіть х з співвідношень:
а) 16 х біт = 32 Мбайт, б) 8 х Кбайт = 16 Гбайт
Кількість інформації (ентропійний спосіб)
1. равновероятности події. Будь-яка система характеризується своїми станами, які відбуваються в результаті певних подій. Події різновірогідні. якщо при зростаючому числі дослідів число станів системи (наприклад, «орла» і «решки» монети) поступово зближуються. Так, під час кидання равносторонней чотиригранної піраміди існує 4 рівноймовірно події, а при киданні шестигранного грального кубика - 6 рівноймовірно подій.
Формула Хартлі визначає кількість інформації I в бітах для кількості можливих рівноймовірно подій N наступним чином:
Для визначення кількості можливих подій, якщо відомо кількість інформації, застосовують зворотний формулу:
Для обчислення значення логарифма за допомогою калькулятора можна використовувати формулу
1) Чому дорівнює найбільше натуральне число, які кодуються 7 битами, 128, 127, 256, або 64?
2) Скільки інформації міститься в одному розряді двійкового числа?
3) Яка кількість інформації містить повідомлення, що потрібний файл знаходиться на одному з 8 лазерних дисків?
4) Повідомлення про те, що лекція буде на 10 поверсі, несе 4 біти інформації. Скільки поверхів у будинку?
- Неравновероятние події. Якщо в результаті експерименту події відбуваються з різними можливостями, то події неравновероятни. Наприклад, якщо одна зі сторін монети буде важчою, то вона буде частіше випадати. Або якщо з 10 олівців буде 2 червоних і 8 синіх, то ймовірність діставання червоного олівця буде значно більше, ніж синього.
Кількість інформації для однієї з подій з різними можливостями визначається за формулою:
гдевероятностьp = K / N, K - колічествоінтересующего події, N- загальна кількість подій.
Кількість інформації для подій з різними можливостями визначається за формулою Шеннона:
де pi - ймовірності окремих подій.
Приклад: У коробці лежить 8 ручок з чорною пастою і 24 з червоною. Скільки інформації несе повідомлення про те, що дістали ручку з чорною пастою?
N = 8 + 24 = 32 всього ручок
Рч = 8/32 = 1/4-ймовірність діставання чорної ручки
Т.ч. повідомлення про те, що дістали ручку з чорною пастою, несе 2 біти інформації.
1) Студент на першому курсі отримав 100 оцінок. Повідомлення про те, що він отримав п'ятірку, несе 2 біти інформації. Скільки п'ятірок студент отримав на першому курсі?
2) На екзамені з інформатики отримано 6 п'ятірок, 15 четвірок, 8 трійок і 1 двійка. Яка кількість інформації в повідомленні про те, що Степанов отримав четвірку?
3) У коробці 10 білих, 20 червоних, 30 синіх і 40 зелених олівців. Яка кількість інформації в повідомленні про колір вийнятого олівця?
4) Надійшли заявки на обладнання з трьох міст: А (10 заявок), В 40 заявок), С (30 заявок). Чи не вдалося виконати тільки одну з них. Яка кількість інформації, міститься в повідомленні про те, що не виконано заявка з міста В?
3. Алфавітний підхід до вимірювання інформації. Для людини кількість інформації залежить від її зрозумілості та новизни, тобто з точки зору зменшення невизначеності наших знань (ентропії). Будь-яке технічний пристрій працює з даними і використовує алфавітний підхід до вимірювання інформації, так як сигнали кодують певні символи відповідно до алфавіту. Потужність алфавіту - загальна кількість його символів, включаючи літери, цифри, знаки пунктуації та спеціальні символи. Чим більше потужність алфавіту, тим більша кількість інформації несе один символ.
Припустимо, чтосімволи алфавіту зустрічаються з однаковою ймовірністю і несуть однакову кількість інформації. Для вимірювання інформації з точки зору алфавітного підходу (коли кількість не залежить від змісту, а залежить від потужності алфавіту і кількості символів в тексті) використовується алгоритм:
1) Знайти потужність алфавіту - N.
2) Обчислити інформаційний обсяг одного символу Ic за формулою Хартлі (1).
3) Знайти кількість символів в повідомленні К.
4) Обчислити інформаційний обсяг всього повідомлення (кількість інформації) за формулою I = Iс # 8729; К, (5)
Приклад: Знайти об'єм інформації, що міститься в тексті з 1000 символів, написаному російськими буквами.
Для вирішення використовуємо алгоритм:
1) Знайдемо потужність алфавіту N = 33 російських великих літер +33 російських малих літер +21 спец.знаков = 87 символів
2) Інформаційний обсяг одного символу за формулою (1):
3) Кількість символів в повідомленні До = 1000
4) Інформаційний обсяг всього повідомлення по формулі (5):
1) Текст з 1000 символів написаний англійською, російською та грецькою мовами. Порівняти обсяги інформації, що міститься в текстах.
1. Імовірнісний підхід до вимірювання кількості інформації.
2. Визначення кількості інформації при рівноймовірно станах системи (формула Хартлі).
3. Визначення кількості інформації при неравновероятних станах системи (формула Шеннона).
4. Відмінності імовірнісного підходу до вимірювання кількості інформації від об'ємного.
5. Наведіть приклади застосування імовірнісного підходу до вимірювання кількості інформації.