Тестирование внешних модемов
Тестирование на устойчивость к затуханию
Когда полезный сигнал передается по линии связи, имеющей конечное сопротивление, он теряет часть своей мощности, проходя через коммутационные устройства и другие узлы телефонных станций. Потерю мощности сигнала принято характеризовать его затуханием. Затухание измеряется в децибелах и определяется по простой формуле:
,
где Pin — мощность входного сигнала, а Pout — мощность выходного сигнала.
Для измерения абсолютных величин используются единицы, называемые (дБм) «децибел на милливатт» и рассчитываемые по формуле
,
где S — уровень принимаемого сигнала.
Характеристика модема, показывающая, насколько успешно он справляется с затуханием сигнала в линии, называется чувствительностью. Чем она выше, тем при большем затухании в линии прибор способен устойчиво работать. Фактически чувствительность определяет минимальный уровень входного сигнала, при котором возможно установление связи на идеальной линии. Чувствительность модема принято выражать в децибелах относительно мощности в 1 мВт (дБм). Например, если чувствительность модема составляет –44 дБм, то это означает, что минимальный уровень входного сигнала, при котором возможно установление связи, равен 4 x 10-5 мВт.
Затухание в линии может меняться в зависимости от времени, и это можно имитировать при помощи аппаратуры Canal-5, однако проще снять зависимость скорости соединения от затухания, поскольку современные модемы могут при ухудшении условий связи переходить на меньшие скорости.
При проведении тестов на устойчивость к затуханию затухание в линии клиента варьировалось в пределах от 9 дБ до предельной величины, при которой обеспечивается соединение. Для каждого значения затухания определялась скорость приема, что позволило построить графики зависимости скорости передачи от затухания. Для получения достоверных результатов каждый замер проводился не менее пяти раз (при большом разбросе значений количество измерений увеличивалось). Зная предельное затухание, при котором возможно установление связи и уровень выходного сигнала от мастер-модема, можно было рассчитать чувствительность модема.
Определение чувствительности модема производилось как с настройками модема по умолчанию (фабричная установка), так и с дополнительными настройками. Отметим, что не всегда с помощью дополнительных настроек модема удавалось повысить его чувствительность. Причиной тому является адаптивная подстройка мастер-модема под изменяющиеся условия связи, выражающаяся в увеличении уровня выходного сигнала. В итоге, хотя модем и мог преодолеть большее значение затухания в канале связи, результирующая чувствительность могла уменьшаться.
Тестирование на устойчивость к шуму
Следующая неприятность, с которой сталкивается модем, — это шум в линии. Шум подразделяется на два вида: постоянный (шипение) и импульсный (треск). Постоянный шум как бы снижает чувствительность модема: когда его уровень приближается к уровню сигнала, то последний просто теряется на его фоне. То есть сколь бы высокой чувствительностью ни обладал модем, он не сможет принять сигнал на фоне близкого по мощности шума. Импульсный шум не носит столь летального характера, но тоже достаточно неприятен. Из-за него могут появляться в лучшем случае испорченные пакеты, что ведет к повторной передаче, а значит, к снижению общей скорости соединения, а в худшем случае — ретрейны, если модем не распознал характер помехи и начал заново измерять параметры линии для настройки системы эхоподавления.
Измерение устойчивости модема к шуму постоянного уровня проводилось по методике, похожей на описанную выше для затухания. Вначале устанавливался уровень шума –60 дБм (что приблизительно соответствует уровню шума хорошего аналогового аудиокомплекса), затем ступенями по 3 дБм уровень шума увеличивался до того предела, при котором модем еще был способен установить соединение. Ослабление в абонентской линии при этом оставалось постоянным и было равно 12 дБ. Зная уровень сигнала модема провайдера и уровень шума, можно рассчитать отношение сигнал/шум (Signal to Noise Ratio, SNR), выразив его в децибелах
где S — уровень сигнала; N — уровень шума.
При тестировании модемов на устойчивость к шуму для каждого значения уровня шума измерялась скорость передачи, причем измерения повторялись не менее пяти раз. По полученным значениям строился график зависимости скорости передачи от значения отношения сигнал/шум. Кроме того, определялось минимальное значение отношения сигнал/шум, при котором возможно установление соединения и устойчивая работа модема.
Определение минимального отношения сигнал/шум производилось как с настройками модема по умолчанию, так и с дополнительными настройками, что во многих случаях позволяло за счет уменьшения скорости передачи существенно уменьшать отношение сигнал/шум. Рекордное значение, полученное для тестируемых модемов, составило 2 дБ. При таком значении модем способен распознавать сигнал на уровне шума, если мощность сигнала больше мощности шума всего в 1,58 раза.
Тестирование на устойчивость к сдвигу несущей частоты
Исследовалось также влияние сдвига частоты, характерного для аналоговой аппаратуры с частотным разделением каналов (ЧРК). Такая аппаратура все еще широко используется на территории России, так что этот параметр может представлять определенный интерес. Кратко поясним этот малоизвестный широким читательским кругам феномен. Известно, что при частотном уплотнении на передающей стороне спектр телефонного канала 300-3400 Гц сдвигается в высокочастотную область, а на принимающей перемещается обратно. Поскольку генераторы, частота которых складывается с частотой сигнала, а затем вычитается из этой суммы, не синхронизированы, то даже при кварцевой стабилизации некоторый сдвиг частоты неизбежен и модем должен уметь с этим бороться. Сдвиг несущей частоты влияет прежде всего на механизм эхоподавления, так как «свой» сигнал приходит со сдвигом частоты. Максимально допустимая по нормативам величина составляет 7 Гц. Измерение максимально допустимой частоты сдвига производилось при затухании в линии абонента 12 дБ. Величина сдвига наращивалась до тех пор, пока удавалось получить соединение.
В ходе тестирования было выявлено, что скорость передачи данных практически не зависит от сдвига несущей частоты. Этот факт означает, что если отразившийся в виде эха сигнал опознан модемом как «свой», то в результате эхоподавления модем вычитает его из суммарного получаемого сигнала, увеличивая тем самым отношение сигнал/шум. При этом скорость передачи данных не зависит от частоты сдвига несущей. Однако при достижении некоторого критического значения частоты сдвига модем не способен распознать в принимаемом сигнале свое эхо, в результате чего уровень шума резко возрастает и связь не устанавливается.
Тестирование на устойчивость к джиттеру
Джиттер, или дрожание фазы передаваемого сигнала, также возникает в аппаратуре с ЧРК. Некачественная фильтрация напряжения питания в тракте передачи сигнала приводит к его паразитной модуляции с частотами, величина которых обычно составляет 100 Гц.
При тестировании модемов на устойчивость к этому параметру имитировалось дрожание фазы на частоте 100 Гц с амплитудой изменения от 0 до 45 градусов. Затухание канала при испытаниях составляло 12 дБ. Выяснилось, что многие модемы успешно справляются с джиттером фазы во всем диапазоне ее изменения.
Тестирование на устойчивость к переприемам по тональной частоте (ТЧ)
Наличие участков переприема по ТЧ более характерно для междугородней связи. Телефонное соединение из одного города в другой может происходить не напрямую, а через промежуточный пункт. Такие участки переприемов сигнала сказываются прежде всего на искажении амплитудно-частотной характеристики канала связи (АЧХ). Для исправления перекосов в АЧХ у модемов предусмотрена схема эквалайзера.
Программное обеспечение имитатора телефонных каналов позволяет выбрать и установить необходимое количество участков переприемов в диапазоне от 0 до 12 участков с шагом установки, соответствующим 0,5 характеристики участка переприема. Относительные частотные характеристики затухания (АЧХ) и группового времени прохождения (ГВП) блока имитатора канала ТЧ в зависимости от заданного количества участков переприема соответствуют характеристикам каналообразующей аппаратуры СИП-60, нормируемым приказом № 43 Министерства связи РФ от 15.04.1996.
При тестировании для модемов определялось максимальное количество переприемов, при котором возможно установление связи и устойчивая работа модемов.
Комплексное тестирование модемов на линиях различного качества
Для комплексной оценки модемов были проведены испытания в условиях, «приближенных к боевым». Понятно, что если линия «плохая», то в ней присутствуют все виды помех, усугубляемые сильным затуханием. В «хорошей», наоборот, помех меньше, затухание слабее. Поэтому было проведено тестирование, имитирующее подключение модема к линиям, условно поделенным на четыре категории: идеальная, хорошая, удовлетворительная, плохая. Параметры линий, использованные в этом тесте, приведены в табл. 2. Для каждого типа линии устанавливалось соединение между испытуемым модемом и мастер-модемом и определялась скорость передачи.
Следует отметить, что некоторые модемы не смогли показать себя в данных испытаниях должным образом. Это связано, по всей видимости, с тем, что они плохо справляются с импульсными помехами и шумовыми всплесками, особенно если такие помехи проскакивают в момент установления соединения, когда модемы «договариваются» друг с другом о скорости соединения.
Результаты комплексного тестирования модемов на линиях различного качества показаны на рис. 8.
Испытание модемов на «идеальной» реальной линии
Кроме стендовых испытаний модемов, когда при каждом повторном установлении соединения образовывался канал связи с точно заданными помехами и параметрами, каждый модем испытывался на реальной линии связи. Линия связи была выбрана очень хорошая, для которой отношение сигнал/шум составляет 45-50 дБ и соединение с провайдером возможно по протоколу V.90. Каждый модем устанавливал соединение с провайдером не менее 10 раз, после чего оценивалась средняя скорость установления соединения. Конечно, при каждом дозвоне к провайдеру устанавливается свой собственный, уникальный канал связи со своей помеховой обстановкой, каждый раз новой. Кроме того, скорость установления связи и реальная скорость работы — не одно и то же. На скорость работы модема в Интернете влияет множество факторов, большинство из которых носит случайный и непредсказуемый характер. Например, хорошо известно, что во время дождя выход в Интернет для многих пользователей может быть очень проблематичным. Поэтому принимать получаемые при этом результаты для сравнения модемов было бы неверно. Но при достаточно большой статистике соединений можно, на наш взгляд, субъективно оценить возможности модема при работе по протоколу V.90.
Методика оценки качества
Объективно оценить работоспособность модема — задача не из легких. Основная проблема заключается в том, что не существует единого интегрального параметра, позволяющего определить производительность модема при учете всех факторов, то есть чувствительности, скорости передачи, способности выделения сигнала на уровне шума и т.д. Например, сравнивать модемы только по чувствительности было бы неверно, так как при высокой чувствительности скорость передачи может оказаться неудовлетворительно низкой.
Для оценки качества модемов мы выбрали ряд наиболее важных, на наш взгляд, характеристик, а именно: результаты тестирования модемов на устойчивость к затуханию; результаты тестирования модемов на устойчивость к шуму; результаты тестирования модемов на устойчивость к прочим дестабилизирующим воздействиям; результаты комплексного тестирования модемов на линиях различного качества и субъективная экспертная оценка функциональности модема.
Среди результатов тестирования модемов на устойчивость к затуханию для оценивания были выбраны следующие характеристики: чувствительность модема с настройками по умолчанию (фабричные установки); скорость приема на пределе чувствительности модема с настройками по умолчанию; чувствительность модема с дополнительными настройками; скорость приема на пределе чувствительности модема с дополнительными настройками и скоростной показатель качества по затуханию. Среди перечисленных характеристик в пояснении нуждается введенный нами скоростной показатель качества по затуханию. Представим себе два модема, один из которых обладает высокой чувствительностью, но поддерживает низкую скорость передачи во всем диапазоне возможных значений затухания сигнала, а другой, хотя и не обладает высокой чувствительностью, однако способен поддерживать высокие скорости передачи во всем допустимом диапазоне затухания. Какой из этих двух модемов более предпочтителен для пользователя? Вопрос неоднозначный. Все зависит от того, какая линия связи доступна пользователю. Если линия связи «плохая», с большим затуханием, то выбор модема с высокой чувствительностью позволит хоть и не на высокой скорости, но все же устанавливать соединение. Если же линия связи обладает малым затуханием, то более предпочтителен выбор скоростного модема. Идеальным же будет модем, который, обладая высокой чувствительностью, способен поддерживать высокую скорость во всем диапазоне затухания. Сравнить скоростные показатели модемов по затуханию можно, вычислив площадь криволинейной трапеции, образуемой графиком зависимости скорости передачи от затухания в канале связи. Площадь такой фигуры, выражаемая в безразмерных единицах, и будет скоростным показателем по затуханию. Отметим, что никаким физическим смыслом данный показатель не наделен. Просто чем он выше, тем большую скорость передачи обеспечивает модем во всем диапазоне затухания.
Среди результатов тестирования модемов на устойчивость к шуму для оценивания были выбраны следующие характеристики: критическое отношение сигнал/шум (SNR) с настройками по умолчанию (фабричные установки); скорость приема при критическом отношении сигнал/шум с настройками по умолчанию; критическое отношение сигнал/шум (SNR) с дополнительными настройками; скорость приема при критическом отношении сигнал/шум с дополнительными настройками и скоростной показатель модема по шуму. Точно так же, как и в предыдущем случае, скоростной показатель модема по шуму определяется как площадь криволинейной трапеции, образованной графиком зависимости скорости модема от отношения сигнал/шум. Сам показатель выражается в безразмерных единицах и характеризует способность модема поддерживать скорость во всем допустимом диапазоне изменения уровня шума. Чем выше этот показатель, тем более скоростным является данный модем.
Среди результатов тестирования на устойчивость к прочим дестабилизирующим факторам для оценивания были выбраны следующие характеристики: максимально возможный сдвиг несущей частоты, максимальная амплитуда джиттера фазы и максимальное количество переприемов по ТЧ.
В результате комплексного тестирования модемов на линиях различного качества оценивалась скорость передачи на линии «хорошего», «удовлетворительного» и «плохого» качества.
Субъективная экспертная оценка качества модема складывалась из оценки технического руководства модема, оценки возможности управления модемом с помощью AT-команд, субъективной оценки функциональности модема, возможности регулирования уровня передачи, ограничения скорости соединения и получения диагностики соединения. Выбор именно этих характеристик модема для оценивания был вызван тем, что они, на наш взгляд, наиболее важны при дополнительной настройке модема на некачественную линию связи.Для каждой рассмотренной характеристики вычисляется ее показатель качества. Необходимость введения этого абстрактного понятия вызвана стремлением сравнить модемы между собой. Ведь конечная цель тестирования заключается именно в сравнении модемов между собой, и не только по отдельным характеристикам, но и в целом. Такое сравнение было бы несложной задачей, если бы существовал какой-то обобщенный (интегральный) показатель производительности или качества модема. Для определения такого интегрального показателя качества сначала вычисляется показатель качества каждой отдельной характеристики, после чего они складываются с соответствующими весовыми коэффициентами.
Итак, первая проблема, с которой приходится сталкиваться, — это вычисление показателя качества для каждой отдельной характеристики. Понятно, что сама по себе характеристика в «чистом» виде не может быть собственным качеством. Действительно, как можно, например, складывать чувствительность модема и максимально возможный сдвиг несущей частоты? Поэтому показатель качества каждой характеристики должен быть безразмерной величиной. Более того, показатель качества должен отражать действительное положение вещей, то есть если характеристика одного модема хуже аналогичной характеристики другого модема, то и соотношение показателей качества этих характеристик должно быть аналогичным. Показатели качества и весовые коэффициенты устанавливались при помощи экспертных оценок.
После того как определены показатели качества каждой характеристики, можно вычислить качество самого модема. Однако просто сложить показатели качества для каждой характеристики недостаточно. Ведь разные характеристики имеют различную значимость. Естественно, что показатель качества чувствительности модема куда более важен, чем оценка технического руководства. Поэтому для каждой характеристики необходимо определить ее весовой коэффициент, являющийся показателем значимости данной характеристики. Весовые коэффициенты выражаются в процентах или в долевых частях, но так, чтобы сумма всех весовых коэффициентов была равна 100% или соответственно 1. Тогда интегральный показатель качества модема вычисляется как сумма произведений показателей качества отдельных характеристик и соответствующих весовых коэффициентов.
Рассчитанные по описанной выше методике интегральные показатели качества модема использовались при выборе самого качественного модема. Чем выше интегральный показатель качества модема, тем лучше. Если же разделить интегральный показатель качества модема на его цену, то полученное значение будет характеризовать уровень выгоды — чем выше отношение «качество/цена», тем выгоднее покупка модема. Результаты оценки характеристик модемов и интегральный показатель качества модемов представлены в табл. 4.
Выбор редакции
По интегральному показателю качества лидером оказался модем CNET 5614 XE/E210, который и стал выбором редакции. Отметим, что и по отношению «качество/цена» он занял первое место. На втором месте по интегральному показателю качества с незначительным отрывом — модем 3Com U.S.Robotics Courier V. Everything. Второе место по отношению «качество/цена» занял модем Acorp 56EMS.