Данный доклад посвящен фундаментальным основам теории информации, рассматривая ключевые концепции, разработанные Клодом Шенноном и Ральфом Хартли. Мы углубимся в вероятностный подход к измерению информации, анализируя его значимость в различных областях, от телекоммуникаций до компьютерных наук. В докладе будут рассмотрены основные формулы, предложенные Шенноном и Хартли, а также их практическое применение и ограничения. Особое внимание будет уделено пониманию принципов кодирования и передачи данных, основанных на вероятностных моделях.