Кількість інформації - в теорії інформації це кількість інформації в одному випадковому об'єкті щодо іншого. Нехай і - випадкові величини, задані на відповідних множинах і. Тоді кількість інформації щодо є:
,
, - умовна ентропія, в теорії передачі інформації вона характеризує шум в каналі.
властивості ентропії
Для ентропії справедливі властивості:
,
де кількість елементів множини.
При цьому, якщо один з елементів безлічі реалізується з імовірністю 1, а решта, відповідно, 0, в силу того, що і.
Максимум значення ентропії досягається, коли всі, тобто всі результати різновірогідні.
Для умовної ентропії справедливі властивості:
,
При цьому, якщо відображення в однозначне, тобто .
Максимум значення умовної ентропії досягається, коли і - незалежні випадкові величини.
Властивості кількості інформації
Для кількості інформації справедливі властивості:
як наслідок теореми Байеса. якщо і - незалежні випадкові величини.
Остання властивість показує, що кількість інформації збігається з ентропією, якщо компонента втрати інформації (шум) дорівнює нулю.
У цій статті не вистачає посилань на джерела інформації.
Дивитися що таке "Кількість інформації" в інших словниках:
Кількість інформації - в теорії інформації міра інформації, що повідомляється появою події певної ймовірності; або міра оцінки інформації, що міститься в повідомленні; або міра, що характеризує зменшення невизначеності, що міститься в одній випадковій величині ... ... Фінансовий словник
кількість інформації - Міра інформації, що повідомляється появою події певної ймовірності; міра оцінки інформації, що міститься в повідомленні; міра, що характеризує зменшення невизначеності, що міститься в одній випадковій величині відносно іншої ... ... Довідник технічного перекладача
КІЛЬКІСТЬ ІНФОРМАЦІЇ - см. Ентропія. Геологічний словник: в 2 х томах. М. Недра. За редакцією К. Н. Паффенгольца і інших. 1978 ... Геологічна енциклопедія
кількість інформації - informacijos kiekis statusas T sritis fizika atitikmenys: angl. information content vok. Informationsinhalt, m; Informationsmenge, f rus. кількість інформації, n pranc. quantité d'information, f ... Fizikos terminų žodynas
кількість інформації - ступінь знятої (або знищеної) невизначеності в результаті передачі повідомлення ... Тлумачний перекладознавчий словник
кількість інформації - Міра зменшення невизначеності ситуації (випадкової величини) х, що виникає внаслідок того, що стають відомими результати іншій ситуації (випадкової величини) у ... Політехнічний термінологічний тлумачний словник
кількість інформації за Фішером - Значення кількості інформації по Кульбаку в окремому випадку двох близьких гіпотез про значення параметра, т. е. у разі, коли у визначенні кількості інформації по Кульбаку Р1 (х) = Р (х, θ), а P2 (х ) = Р (х, θ + δθ), де θ ... ... Довідник технічного перекладача