36. Дискретный канал с шумом. Вторая терема Шеннона.

 

      2-ая теорема (для каналов связи с помехами):

                Если пропускная способность канала равна C, а производительность источ­ника H’(x)<C, то путём соответствующего кодирования можно передавать информацию по каналу связи со скоростью, сколь угодно к C и с вероятно­стью ошибки, сколь угодно близкой к нулю. Если же H’(x)>C, то можно за­кодировать источник таким образом, что ненадёжность будет меньше, чем H’(x)-C+e, где e. – сколь угодно малая величина.

Не существует способа кодирования, обеспечивающего ненадёж­ность, меньшую, чем H'(x)-C.

                К сожалению, теорема К.Шеннона для каналов с шумами(помехами) указывает только на возможность та­кого кодирования, но не указывает способа построения соответствующего кода. Однако известно, что при приближении к пределу, устанавливаемому теоремой Шеннона, резко возрастает время запаздывания сигнала  в уст­ройствах кодирования и декодирования из-за увеличения длины кодового слова n. При этом вероятность ошибки на выходе канала стремится к величине

                                               .                                                                 

Очевидно, что  p_э ® 0, когда n×t_э ® ¥, и следовательно, имеет место “обмен” верности передачи на скорость и задержку передачи.

    Пропускная способность дискретного канала связи со скоростью передачи  и вероятностью ошибки  определяется по формуле:

                                           C_дискр=V(1+plog₂(p)+(1-p)*log₂(1-p)), бит/с