Энтропи́я в теории информации, мера неопределённости какого-либо опыта (испытания), который в зависимости от случая может заканчиваться различными исходами. При этом предполагают, что имеются определённые вероятности появления того или иного исхода. Пусть $x_1, x_2, ..., x_n$ – различные исходы опыта, $p_1, p_2, ..., p_n$ – соответствующие вероятности $p_j\geqslant 0,$ $\sum_{j=1}^n p_j=1.$ Тогда энтропия $H$ определяется выражением $$H=H(p_1,p_2,...,p_n)=\sum_{j=1}^n p_j\log_2(1/p_j)$$ $($считается, что $0\log_2 0=0).$

Свойства энтропии: энтропия равна нулю в том случае, когда одно число из $p_j$ равно единице, а остальные равны нулю, т. е. когда исход опыта достоверен; энтропия достигает максимального значения при данном $n,$ когда все исходы равновероятны; энтропия объединения двух независимых опытов равна сумме их энтропий. Функция $H$ от $p_j$ является единственной, удовлетворяющей этим и ещё нескольким, столь же естественным, требованиям. Однако ценность понятия энтропии определяется не этим обстоятельством, а тем, что она играет важную роль в теории информации.

Для теории информации особый интерес представляет случай, когда $x_j$ суть сообщения некоторого источника информации, передаваемые по каналу связи. Сообщения при этом рассматривают как временны́е последовательности элементов (букв), выбираемых с некоторыми вероятностями из какой-то определённой совокупности (алфавита). Выводы теории информации касаются сообщений, являющихся «достаточно длинными» (в принципе неограниченно длинными) последовательностями букв, что соответствует предположению о весьма длительной работе источников сообщений и каналов связи. Поэтому энтропия источника на символ (или скорость передачи сообщений, измеряемая в двоичных единицах на символ) определяется некоторым предельным переходом. С этой целью, наряду с сообщениями, представленными в виде неограниченных последовательностей $a_1, a_2, ..., a_N, ...$ букв некоторого $s$-буквенного алфавита, рассматривают «урезанные» сообщения длины $N,$ т. е. цепочки $a_1, a_2, ..., a_N.$ Выбирая в определении энтропии в качестве $x_j$ эти $N$-членные цепочки и в качестве $p_j$ – соответствующие вероятности, получают некоторую величину $H_N.$ Отношение $H_N/N$ даёт энтропию на букву для $N$-членных цепочек. В теории информации устанавливается, что при очень широком допущении устойчивости вероятностных закономерностей во времени (стационарность источника) величина $H_N/N,$ убывая, стремится к пределу $H_∞=\lim_{N→∞}H_N/N,$ называемому энтропией сообщения на символ. Если все символы имеют некоторую длительность и $τ$ – их средняя длительность, то отношение $H_∞/τ$ даёт энтропию источника на единицу времени. Эти две величины $H_∞$ и $H_∞/τ$ являются основными информационными характеристиками источника сообщений. Так, $H_∞$ позволяет оценить максимально возможную степень «сжатия» сообщения при использовании того же алфавита (см. Избыточность сообщений, Кодирование).

Соотношение между скоростью создания сообщений $H_∞/τ$ и ёмкостью какого-либо канала с тем же входным алфавитом, что использован при записи сообщений, определяет возможность «почти безошибочной» передачи этих сообщений по каналу (см. теорема Шеннона).

Энтропию испытания с бесконечным числом исходов можно попытаться определить с помощью предельного перехода. Но этот путь приводит, как правило, к бесконечному значению энтропии. Поэтому задаются определённым уровнем точности $ε$ и определяют так называемую ε-энтропию как описываемого с точностью до $ε$ исхода опыта.