Как мы тестировали

Тестирование почтовых сервисов сильно затруднено отсутствием четко и однозначно определяемых параметров, способных служить показателем качества и надежности предоставляемых услуг. Исходя из специфики предоставляемой услуги был выработан ряд критериев, позволяющих выполнить сравнение рассматриваемых сервисов. Оценка скорости отправки письма с сервера производилась путем отправки сообщения через систему электронной почты клиенту Mirabilis ICQ. Надежность работы почтовой системы в целом оценивалась посредством отправки 10 писем на внешние адреса и путем приема 10 писем с внешних адресов. Кроме того, оценивались скорость загрузки титульной страницы сервиса и доступность предоставляемых серверов POP3 и SMTP. Таким образом, сравнение проводилось по следующим параметрам:

• Время загрузки титульной страницы
• Скорость отправки сообщения
• Отправка 10 сообщений
• Прием 10 сообщений
• Доступность серверов POP3
• Доступность серверов SMTP
• Доступность сервиса через Web-интерфейс
• Время реакции службы технической поддержки

Прежде всего нам пришлось решать проблему контроля вышеперечисленных параметров. Это было вызвано отсутствием тестирующего программного обеспечения, позволяющего определить эти параметры. Поэтому нашей первой задачей стало написание программного обеспечения контроля доступности сервиса по выбранным протоколам и решение вопроса о точке его размещения. И если само ПО было создано относительно быстро, то выбор точки размещения занял достаточно длительное время. Высказывались разные мнения (вплоть до подключения через модем), однако в результате обсуждения мы решили разместить наше ПО максимально близко к магистрали М9, поскольку в этом случае погрешность, вносимая линиями связи, минимальна.

Работа почтовых сервисов отслеживалась круглосуточно с периодом 1 час в течение двух дней. Параллельно с работой программы в ручном режиме проверялись отправка/получение и скорость отправки сообщений. По этим параметрам все рассмотренные сервисы показали примерно равный уровень, исключение составил проект http://www.Mail.ru/, чей результат оказался неожиданно низким. Прежде всего из 10 отправленных для контроля скорости отправки сообщений в приемлемые сроки были получены только 8 (остальные дошли через 8 часов). При повторе отправки на другой почтовый ящик наблюдалась аналогичная картина, кроме того, одно отправление просто исчезло. Адресованные на адреса http://www.Mail.ru/ почтовые сообщения иногда доставлялись с задержкой или непонятным образом пропадали в дороге. Именно по причине пропажи сообщений проект http://www.Mail.ru/ получил достаточно низкую оценку. Однако незадолго до сдачи материала в печать автор получил информацию, что во время тестирования производилась переконфигурация аппаратного и программного обеспечения проекта, что в некоторой степени объясняет отмеченные недостатки системы. Поэтому мы сочли возможным при окончательном подсчете итогов не учитывать указанные недостатки и присудить проекту http://www.Mail.ru/ 3-е место.