Існує досить багато визначень терміну «інформація». Всі вони відображають різні підходи до тлумачення цього поняття.
Перше пояснення інформації як новини, повідомлення, своєрідного газетного жанру, за допомогою якого людина отримує різного роду відомості, дали журналісти і філологи в 20-30-і рр. XX ст. Більш будів-гаю трактування терміна пов'язана з виникненням двох нових дисциплін: математичної (статистичної) теорії інформації і кіберне-тики.
Внесок в розвиток теорії інформації вніс американський інженер Ральф Хартлі. У 1928 році він запропонував логарифмічну міру інформації. Процес отримання інформації розглядався як вибір одного повідомлення з кінцевого наперед заданої множини з N рівноймовірно повідомлень, а кількість інформації I, що міститься в обраному повідомленні, визначалася формулою:
Формула Хартлі підходить лише для ідеальних систем. Насправді ж повідомлення не є рівноімовірними.
У 1948 році американський інженер і математик Клод Шеннон сформулював основи математичної теорії інформації. Він досліджував випадкові процеси і явища, для яких характерна невизначеність результату (так, ні). Під інформацією розумілися не будь-які відомості (повідомлення), а лише ті, які знімають повністю або зменшують існуючу до їх отримання невизначеність. Відповідно до теорії К. Шеннона, інформація - це знята невизначеність.
Невизначеність існує тоді, коли може відбутися одне з не-скількох подій. Кількість інформації, що отримується в результаті зняття неоп-визначеності, обчислюється за формулою, яку називають формулою Шеннона:
де I - кількість інформації;
Pi - ймовірність події, 1≤i≤m;
m - число всіх можливих подій.
Формула визначення кількості інформації враховує можливу неоднакову вірогідність повідомлень.