Аннотация
В главе, посвященной теореме Шеннона в книге, основное внимание уделяется концепции пропускной способности канала. Сначала рассматривается концепция пропускной способности канала, а затем подробно рассматривается пропускная способность Шеннона для различных каналов. Рассмотрены системы блочного моделирования. Исследовано моделирование уравнения гармонического осциллятора. Проведено сравнение моделирующих сред.
Теорема Шеннона
Сколько данных будет передавать канал / носитель за одну секунду или какая скорость передачи данных поддерживается каналом? Давайте найдем ответ на этот вопрос подробнее.
Любая дискуссия о дизайне системы связи будет неполной без упоминания теоремы Шеннона. Теория информации Шеннона сообщает нам количество информации, которую может нести канал. Другими словами, он определяет пропускную способность канала. Теорема может быть сформулирована в простых терминах следующим образом
- Данная система связи имеет максимальную скорость передачи информации C, известную как пропускная способность канала.
- Если скорость передачи информации R меньше, чем C, то передача данных в присутствии шума может происходить со сколь угодно малыми вероятностями ошибок с использованием методов интеллектуального кодирования.
- Чтобы получить более низкие вероятности ошибок, кодер должен работать с более длинными блоками данных сигнала. Это влечет за собой более длительные задержки и более высокие вычислительные требования
Теорема Шеннона-Хартли указывает, что при достаточно продвинутых методах кодирования передача, которая приближается к максимальной пропускной способности канала, возможна с произвольно небольшими ошибками. Интуитивно понятно, что для данной системы связи при увеличении скорости передачи информации количество ошибок в секунду также будет увеличиваться.
Уравнение Шеннона - Хартли
Уравнение Шеннона-Хартли связывает максимальную пропускную способность (скорость передачи в битах), которая может быть достигнута по данному каналу с определенными характеристиками шума и ширины полосы. Для AWGN максимальная вместимость определяется как
Здесь C максимальная пропускная способность канала в битах в секунду, иначе называемая пределом пропускной способности Шеннона для данного канала, B - пропускная способность канала в герцах, S - мощность сигнала в Вт, а N - мощность шума, также в Вт. Отношение S/ N называется отношением сигнал / шум (SNR) . Можно убедиться, что максимальная скорость, с которой мы можем передавать информацию без какой-либо ошибки, ограничена шириной полосы, уровнем сигнала и уровнем шума. Он сообщает, сколько битов может быть передано в секунду без ошибок по каналу с шириной полосы частот 
, когда мощность сигнала ограничена 
и подвергается воздействию гауссовских белых (некоррелированных) шумовых 
аддитивной природы. .
Предел пропускной способности Шеннона определен для данного канала. Это фундаментальная максимальная пропускная способность, которая может быть достигнута на канале при любой комбинации любой схемы кодирования, передачи или схемы декодирования. Это лучший предел производительности, который мы надеемся достичь для этого канала.
Вышеприведенное выражение для пропускной способности канала имеет интуитивный смысл:
- Пропускная способность ограничивает скорость передачи информационных символов по данному каналу.
- Отношение SNR ограничивает, сколько информации мы можем сжать в каждом передаваемом символе. Увеличение SNR делает передаваемые символы более устойчивыми к шуму. SNR является функцией качества сигнала, мощности сигнала и характеристик канала. Измеряется на переднем конце приемника.
- Чтобы увеличить скорость передачи информации, отношение сигнал / шум и выделенная ширина полосы должны быть сопоставлены друг с другом.
- При отсутствии шума отношение сигнал / шум становится бесконечным, поэтому возможна бесконечная скорость передачи информации при очень малой полосе пропускания.
Таким образом, мы можем обменять пропускную способность на SNR. Однако, поскольку полоса пропускания (B) стремится к бесконечности, пропускная способность канала не становится бесконечной - поскольку с увеличением полосы пропускания мощность шума также увеличивается.
Уравнение Шеннона опирается на два важных понятия:
- Что в принципе возможен компромисс между SNR и пропускной способностью
- То, что информационная емкость зависит как от SNR, так и от пропускной способности
Стоит упомянуть две важные работы видных ученых до статьи Шеннона [1] , которая заключается в следующем.
Предыдущая работа Эдварда Амстронга по частотной модуляции (FM) является отличным доказательством того, что SNR и полоса пропускания могут быть сопоставлены друг с другом. В 1936 году он продемонстрировал, что можно увеличить SNR системы связи, используя FM, за счет выделения большей полосы пропускания [2].
В 1903 г. WM Miner в своем патенте (патент США 745,734 [3] ) представил концепцию увеличения пропускной способности линий передачи с использованием методов дискретизации и мультиплексирования с временным разделением. В 1937 году А.Х. Ривз в своем французском патенте (Патент Франции 852,183, Патент США 2,272,070 [4] ) расширил систему, включив в нее квантователь, проложив путь для хорошо известного метода импульсной кодовой модуляции (PCM). Он понял, что ему потребуется больше пропускной способности, чем традиционные методы передачи, и использовал дополнительные повторители с подходящими интервалами для борьбы с шумом передачи. С целью минимизации шума квантования он использовал квантователь с большим количеством уровней квантования. Патент Ривза опирается на два важных факта:
- Можно представить аналоговый сигнал (например, речь) с произвольной точностью, используя достаточную частотную выборку и квантуя каждую выборку в один из достаточно больших предварительно определенных уровней амплитуды.
- Если SNR достаточно велико, то квантованные выборки могут передаваться с произвольно небольшими ошибками.
Из патента Рива неявно следует, что бесконечное количество информации может передаваться по каналу без помех произвольно малой полосы пропускания. Это связывает скорость передачи данных с SNR и пропускной способностью.
Пожалуйста, обратитесь к [1] и [5] для фактического доказательства Шенноном. Гораздо более простой вариант доказательства (я бы назвал это иллюстрацией) можно найти в [6]
Неограниченный предел Шеннона для канала AWGN
Некоторые общие характеристики гауссовского канала могут быть продемонстрированы. Учтите , что мы отправка двоичных разрядов через канал AWGN со скоростью передачи R , равный пропускной способностью канала C : R = C . Если средняя мощность сигнала равна S , то средняя энергия на бит равна 
, такдлительность бит равен 1 / C секунд. Если односторонний спектральная плотность мощности шума является 
(мощности нормированы на 1 Ω сопротивление), то общая мощность шума равна 
. Уравнение Шеннона-Хартли становится
Переставляя уравнение,
С / B = η (спектральная эффективность в (бит/с/Гц))
Фрагмент кода Matlab, использованного для построения вышеуказанного отношения, доступен в следующей книге.
На графике на следующем рисунке красная пунктирная линия на графике представляет асимптоту 
при приближении полосы пропускания (B) к бесконечности. Асимптота при 
. Это значение называется пределом Шеннона или, в частности , пределом энергоэффективности Шеннона .
Давайте выведем предел энергоэффективности Шеннона и проверим, равен ли он - 1,59.dB. Асимптотическое значение (скажем, x), которое мы ищем, является значением 
, когда спектральная эффективность η приближается к 0.
Пусть 
и 
. Так как f(0) = g(0) = 0 и аргумент предела становится неопределенным (0/0),в этом случае может быть применено правило Лопиталя. Согласно правилу Лопиталя, если 
и 
оба равны нулю или оба равны ± ∞ , то для любого значения k.
Таким образом, следующий шаг сводится к нахождению первой производной от f(η) и g(η) Выражая 
в натуральном логарифме
Пусть u =η ln(2) и 
, тогда по цепочному правилу дифференцирования
Поскольку g(η)=η, первая производная от g(η) имеет вид
Используя уравнения (8) и (9) и применяя правило Лопиталя, предел Шеннона определяется как
Предел эффективности по мощности Шеннона не зависит от BER. Предел Шеннона говорит нам о минимально возможном , необходимом для достижения сколь угодно малой вероятности ошибки при M → ∞ . (M - количество уровней сигнализации для метода модуляции, для BPSK M = 2, QPSK M = 4 и т. Д.).
Это дает минимально возможное , которое удовлетворяет закону Шеннона-Хартли. Другими словами, он дает минимально возможное значение , необходимое для достижения максимальной пропускной способности (R = C, где R - скорость передачи, а C - пропускная способность канала). В нем не будет указано, на каком BER вы получите этот лимит. Также не будет указано, какую технику кодирования использовать для достижения предела. При приближении к емкости сложность системы резко возрастет. Таким образом, целью любой системы является достижение этого предела. Например, класс кодов, называемых кодами четности с низкой плотностью (LDPC) вблизи предела Шеннона, но он не может этого достичь.
Полученный выше предел Шеннона называется абсолютным пределом эффективности мощности Шеннона. Это предел системы с ограниченной полосой частот независимо от схемы модуляции или кодирования. Это также называется неограниченным пределом энергоэффективности Шеннона. Если мы выберем конкретную схему модуляции или схему кодирования, мы можем рассчитать ограниченный предел Шеннона для этой схемы. Мы увидим общую форму уравнения Шеннона, которая применяется к любому каналу, а затем разработаем ее, чтобы найти ограниченные возможности для канала AWGN.
В следующих разделах обсуждаются общие формы неограниченных уравнений Шеннона для различных типов общих моделей каналов. Эти общие уравнения могут быть использованы для определения неограниченной пропускной способности канала определенного типа - например, AWGN.
Список использованной литературы
1. C. E. Shannon, “A Mathematical Theory of Communication”, Bell Syst. Techn. J., Vol. 27, pp.379-423, 623-656, July, October, 1948
2. E. H. Armstrong:, “A Method of Reducing Disturbances in Radio Signaling by a System of Frequency-Modulation”, Proc. IRE, 24, pp. 689-740, May, 1936.https://www.st-andrews.ac.uk/~www_pa/Scots_Guide/iandm/part8/page1.html
3. Willard M Miner, “Multiplex telephony”, US Patent, 745734, December 1903,https://patents.google.com/patent/US745734
4. A.H Reeves, “Electric Signaling System”, US Patent 2272070, Feb 1942,https://patents.google.com/patent/US2272070
5. Shannon, C.E., “Communications in the Presence of Noise”, Proc. IRE, Volume 37 no1, January 1949, pp10-21
6. The Scotts Guide to Electronics, “Information and Measurement”, University of Andrews – School of Physics and Astronomy https://www.st-andrews.ac.uk/~www_pa/Scots_Guide/iandm/part8/page1.html