Інформаційна ентропія - міра хаотичності інформації або міра внутрішньої невпорядкованості інформаційної системи. Ентропія збільшується при хаотичному розподілі інформаційних ресурсів і зменшується при їх впорядкування.
Інформаційна ентропія - міра хаотичності інформації, невизначеність появи будь-якого символу первинного алфавіту. При відсутності інформаційних втрат чисельно дорівнює кількості інформації на символ переданого повідомлення.
Інформаційна ентропія - невизначеність появи будь-якого символу первинного алфавіту. При відсутності інформаційних втрат чисельно дорівнює кількості інформації на символ переданого повідомлення.
Наприклад, в послідовності букв, що становлять якесь речення російською мовою, різні літери з'являються з різною частотою, тому невизначеність появи для деяких букв менше, ніж для інших.
Якщо ж врахувати, що деякі поєднання букв (в цьому випадку говорять про ентропію n-ого порядку) зустрічаються дуже рідко, то невизначеність ще більше зменшується.
Поняття інформаційної ентропії визначено Шенноном для випадку дискретних даних і вельми схоже на поняття термодинамічної ентропії. Це величина, що позначає кількість інформації, що міститься в даному повідомленні (або послідовності сигналів).
Відомості про інформаційну ентропії необхідні для підвищення надійності передачі сигналів.
Вперше поняття ентропія та інформація пов'язав Шеннон в 1948. З його подачі ентропія стала використовуватися як міра корисної інформації в процесах передачі сигналів по дротах. Слід підкреслити, що під інформацією Шеннон розумів сигнали потрібні, корисні для одержувача.
Некорисні сигнали, з точки зору Шеннона, це шум, перешкоди. Якщо сигнал на виході каналу зв'язку є точною копією сигналу на вході то це означає відсутність ентропії. Відсутність шуму означає максимум інформації.
Взаємозв'язок ентропії та інформації знайшло відображення у формулі: H + I = 1, де Н - ентропія, I - інформація.