Обзор и тестирование системы «Kaspersky Anti-Spam» версии 3.0

Олег Зайцев

Введение

Условия тестирования и опытной эксплуатации

Установка

Устройство Kaspersky Anti-Spam и принцип его работы

Настройка и управление

Оценка качества работы системы

Заключение

Введение

С проблемой спама сталкивался любой пользователь Интернета, прибегающий к услугам электронной почты. В корпоративной среде с активным документооборотом спам особенно неприятен — он вклинивается в поток деловой корреспонденции, сотрудники вынуждены тратить рабочее время на фильтрацию почты, к тому же полезные письма нередко теряются среди спама.

Естественно, для борьбы со спамом можно применять персональные фильтры, устанавливаемые на компьютерах пользователей (например, обучаемый фильтр на базе теоремы Байеса), но в корпоративной среде с сотнями рабочих мест наилучшим решением является установка на сервер электронной почты централизованного фильтра. Данная статья посвящена тестированию и описанию возможностей системы Kaspersky Anti-Spam (KAS) версии 3.0, предназначенной для фильтрации спама на уровне почтового сервера.

Условия тестирования и опытной эксплуатации

Система Kaspersky Anti-Spam 3.0 была установлена на основном корпоративном почтовом сервере ОАО «Смоленскэнерго», работающем под управлением FreeBSD 4.9, почтовый сервер — QMail. Из дополнительных программ на сервер был установлен антивирус KAV 5.0.2 для фильтрации писем, содержащих компьютерные вирусы. Специализированные средства фильтрации спама до установки Kaspersky Anti-Spam на сервере отсутствовали.

Данный почтовый сервер обрабатывает в месяц в среднем 80-100 тыс. писем (2,5-3,5 тыс. писем в день), причем примерно 40-60 тыс. писем в месяц составляет деловая переписка. Сервер обслуживает порядка тысячи почтовых ящиков, из которых 250 управляется непосредственно сервером, остальные — серверами поддоменов. Аппаратная платформа — Intel Xeon 1,8 ГГц, 1 Гбайт ОЗУ.

Установка

Процедура установки продукта и его настройки заняла не более часа, при этом никаких проблем не возникло. В нашем случае Kaspersky Anti-Spam был установлен непосредственно на почтовый сервер, однако существует возможность его установки и на выделенный сервер — тогда он может обслуживать запросы от нескольких почтовых серверов (запросы при этом передаются по сети).

Единственной особенностью, отмеченной в ходе установки Kaspersky Anti-Spam, является тот факт, что операционная система на почтовом сервере Смоленскэнерго собрана в минимальной конфигурации, без графической оболочки, поэтому запустить браузер после установки Kaspersky Anti-Spam для его настройки невозможно, а web-интерфейс KAS по умолчанию доступен только непосредственно с сервера, на котором он установлен. Однако эта ситуация описана в документации и там же указан путь решения: в одном из конфигурационных файлов необходимо задать IP-адрес сетевого интерфейса и номер порта TCP, используемые web-интерфейсом. Редактирование этого конфигурационного файла было, по сути, единственной операцией, проделанной в ходе установки вручную.

Для почтового сервера QMail схема интеграции имеет вид, показанный на рис. 1.

 

Рис. 1. Схема взаимодействия Kaspersky Anti-Spam с почтовым сервером QMail

Процедура установки подробно изложена в документации, а в приложении описан процесс интеграции Kaspersky Anti-Spam с различными почтовыми серверами и тонкости настройки в каждом из случаев. Документация по KAS произвела очень хорошее впечатление: ее объем — 132 печатные страницы формата A4, информация хорошо структурирована.

Устройство Kaspersky Anti-Spam и принцип его работы

Устройство KAS подробно описано в документации, поэтому рассмотрим его на концептуальном уровне (рис. 2).

 

Рис. 2. Архитектура Kaspersky Anti-Spam с почтовым сервером QMail
(диаграмма из документации к KAS)

Клиентские модули предназначены для интеграции KAS с почтовым сервером. Сервер фильтрации обведен на рисунке пунктиром. Его задачей является прием запросов от клиентских модулей, анализ и вынесение вердикта по каждому из запросов. Сервер фильтрации, в свою очередь, состоит из модуля фильтрации, который, собственно, и осуществляет проверку писем.

Помимо вышеназванного модуля, в составе продукта имеется центр управления, предназначенный для управления продуктом при помощи web-интерфейса. Модуль обновления данных отвечает за загрузку обновлений. Следует отметить, что KAS, подобно антивирусу, использует обновляемые базы — в данном случае это базы контентной фильтрации. Система мониторинга отвечает за контроль состояния всех компонентов — ее задачей является информирование администратора о неполадках и сбоях в KAS.

Классификация писем и детектирование спама в KAS производятся с применением набора различных методик, основными из которых являются следующие:

  • анализ формальных признаков — основан на применении к письму набора правил, позволяющих классифицировать письмо как спам. В частности, анализу подвергается заголовок письма, его структура, размер и ряд других признаков, например IP-адрес почтового сервера, от которого получено письмо, и IP-адреса промежуточных серверов, а также адрес отправителя. Кроме того, этот метод предполагает использование черного и белого списков почтовых адресов и IP-адресов, которые создаются и редактируются администратором;
  • контентная фильтрация — основана на анализе содержимого письма с применением искусственного интеллекта, методов нечеткой логики и семантического анализа. Исследованию подвергаются текст письма и вложения поддерживаемых типов (Plain Text, HTML, RTF, Microsoft Word). Для проведения подобного анализа применяется база данных, наполнение и сопровождение которой осуществляется аналитиками «Лаборатории Касперского». Обновление базы производится автоматически через заданные в настройках интервалы времени при помощи подсистемы автоматического обновления. Важным моментом является то, что, кроме текста письма, анализируются и находящиеся в нем графические изображения, все чаще применяемые спамерами для обхода антиспам-систем;
  • проверки с помощью внешних сервисов — основаны на передаче запроса некоторым внешним сервисам и использовании ответа для классификации письма. В частности, в KAS применяются:

   - запросы к сервисам DNSBL (DNS-based black list — черные списки на базе DNS);

   - проверка адреса отправителя по правилам, полученным по SPF, также базирующемся на стандартном DNS-запросе;

   - проверка найденных URL в теле письма ссылок при помощи сервиса SURLB, предназначенного для опознания ссылок на рекламируемые спамерами ресурсы. Применение данной технологии позволяет блокировать письма, содержащие вместо осмысленного текста ссылку на информацию рекламного характера;

  • проверки на базе технологии UDS (Urgent Detection System), разработанной «Лабораторией Касперского» («ЛК»), — основаны на том, что из подозрительного в отношении спама письма выделяется набор признаков, достаточный для анализа и идентификации сообщения. Набор признаков имеет небольшой размер и не содержит информации, позволяющей восстановить адресатов или текст письма. Он передается на один из серверов «Лаборатории Касперского» в виде UDS-запроса по протоколу UDP, а на сервере «ЛК» признаки подвергаются анализу, результаты которого передаются в качестве ответа. Применение данной технологии не создает угрозы утечки информации и не порождает существенного трафика, но позволяет детектировать известные спам-рассылки до обновления контентной базы, что обеспечивает высокую эффективность системы.

В результате анализа письму присваивается один из следующих статусов:

  • Spam — письмо с высокой вероятностью является спамом;
  • Probable Spam — письмо не может однозначно классифицироваться как спам, но в нем обнаружены характерные для спама признаки;
  • Formal — письмо является так называемым формальным сообщением, то есть сгенерировано автоматически и содержит некоторое уведомление для пользователя — например сообщение о невозможности отправки письма или ответ почтового антивируса;
  • Trusted — письмо получено из достоверных источников, список которых ведется централизованно администратором;
  • Blacklisted — письмо получено из источников, значащихся в черном списке, который ведется централизованно администратором;
  • Not Detected — письму не присвоен ни один из вышеперечисленных статусов, и оно не опознано как спам.

Кроме перечисленных статусов, существует еще один — Obscene. Он выставляется посредством отключаемой проверки, которая детектирует наличие в тексте письма нецензурных слов и непристойных фраз.

Реакция на письма, имеющие тот или иной статус, настраивается администратором системы. Поддерживаются операции: принять письмо, перенаправить письмо или его копию на заданный адрес, установить в заголовке письма текстовую метку, создать в письме специальный заголовок, удалить письмо или отклонить прием письма. В ходе тестов в Смоленскэнерго система KAS была настроена на установку маркера в заголовке письма. Например, маркированное спам-письмо имеет заголовок, начинающийся с текста «[!! SPAM]». В результате пользователь получает всю корреспонденцию, но помеченная корреспонденция автоматически отправляется в папку «Спам» почтовой программы. Кроме маркировки письма, в его служебный заголовок помещается ряд специальных полей, значения которых можно применять для анализа или фильтрации почты (рис. 3).

 

Рис. 3. Расширенные заголовки письма, проверенного KAS

Настройка и управление

Все операции по настройке и управлению системой Kaspersky Anti-Spam производятся при помощи web-интерфейса, доступ к которому защищается паролем (рис. 4).

 

Рис. 4. Web-интерфейс Kaspersky Anti-Spam

Элементы web-интерфейса разбиты на несколько категорий, каждая из которых отображается на отдельной закладке:

  • Monitoring — результаты мониторинга системы. На данной закладке отображается информация о состоянии системы в целом, а также протоколы событий «движка» системы и подсистемы автоматического обновления. При просмотре протокола можно установить фильтр для отбора записей с определенным типом событий;
  • Statistics — статистическая информация. На данной закладе отображается статистическая информация о работе системы, которая дублируется в текстовом и графическом виде, причем графики могут строиться по количеству писем различного типа или по их объему. Предусмотрено отображение статистики по дню (с детализацией с шагом в 5 мин), за последние 7 дней (с детализацией с шагом в час), за последние 30 дней (детализация с шагом в час) и за последние 365 дней (детализация с шагом в день). В случае необходимости администратор может получить данные в виде таблицы формата HTML или CSV-файла для последующей обработки (рис. 5);

 

Рис. 5. Web-интерфейс: статистика работы Kaspersky Anti-Spam

  • Policies — правила, на основании которых осуществляется фильтрация спама;
  • Settings — настройки системы;
  • License — сведения о лицензии. Отображает данные о текущей лицензии и позволяет установить новый файл с лицензией.

Конфигурирование правил фильтрации спама и реагирование системы на спам производятся при помощи закладок Policies. Рассмотрим их подробнее.

Закладка с настройками правил фильтрации показана на рис. 6.

 

Рис. 6. Web-интерфейс: закладка Policies

Правила сгруппированы в несколько категорий:

  • General — сгруппированы глобальные настройки, позволяющие включить/выключить фильтрацию спама, задать порог срабатывания, включить или выключить проверки при помощи DNS и SPF, SURBL, по черным и белым спискам;
  • DNS & SPF Checks — настройки фильтрации с применением DNS-проверок, позволяющие включить или отключить контроль IP-адреса по DNS и использование сервисов DNSBL и SPF;
  • Headers Checks — настройка правил контроля заголовков, позволяющая управлять такими правилами, как контроль слишком большого количества получателей, наличие в поле FROM сочетания цифр и букв, отсутствие доменного имени в адресе, наличие в заголовке письма большого количества символов, точек, динамических фрагментов в виде отметок времени или цифровых кодов;
  • Eastern Encodings — настройка поддержки восточноазиатских языков. Содержит правила, позволяющие блокировать письма в китайской, корейской, тайской и японской кодировке;
  • Obscene Content — правила обработки писем с нецензурной лексикой. В настройке можно задать игнорирование нецензурной лексики или пометку письма маркером [—Obscene—].

На закладке Policies администратор может задать список защищаемых доменов (допускается указание маски, например «*smolen.ru»), а также редактировать черные и белые списки.

Важной особенностью системы является возможность создания групп пользователей, что позволяет администратору выделять определенных пользователей почтового сервера в именованные группы, к каждой из которых он сможет в дальнейшем применять индивидуальные настройки, правила фильтрации спама, черные и белые списки и действия над почтовыми сообщениями различных типов. Кроме созданных администратором групп, предусмотрена группа All (она существует по умолчанию после установки системы), в которую попадают все пользователи, не относящиеся к каким-либо другим группам. Привязка пользователей к той или иной группе производится путем указания их email-адресов в настройке группы. Такими образом, получается, что существуют глобальные правила по умолчанию и индивидуальные правила для каждой из групп, которые могут содержать отклонения от правил по умолчанию.

В опциях каждой из групп есть очень важная настройка — Actions, позволяющая задать реагирование системы на письма, распознанные системой фильтрации. Привязка данной настройки к группам очень удобна: для одних пользователей, к примеру, можно настроить маркировку писем в заголовках, для других — автоматическую пересылку в карантин (причем для каждой группы карантин может быть индивидуальным) — рис. 7.

 

Рис. 7. Web-интерфейс: закладка Policies,
редактирование реакции на письма
с различным статусом

Оценка качества работы системы

Информация, касающаяся оценки качества работы системы, собиралась в течение двух месяцев. Тестирование производилось с настройками по умолчанию, без создания черных и белых списков. Единственное отклонение от настройки по умолчанию: в группе параметров Header Checks выключено правило Digits mixed with letters in FROM header, поскольку в Смоленскэнерго для служебной переписки активно применяются адреса вида «13ASU27». 

В ходе тестирования рассматривались ошибки двух типов:

  • ошибки первого рода, когда письмо является спамом, но не классифицируется системой как спам;
  • ошибки второго рода — когда письмо не является спамом, но ошибочно классифицируется системой как спам.

Легко заметить, что ошибки второго рода в антиспам-системах гораздо серьезнее ошибок первого рода. Опасность подобной ошибки можно снизить при помощи настройки, в частности за счет создания белых списков, перенаправления или маркировки писем вместо их отклонения и удаления. По собственной статистике системы, за время тестов 25,8% писем (57 850 шт.) из всего почтового трафика были признаны спамом, 2,9% (5900 шт.) вызвали подозрение на спам, 15,6% (31 450 шт.) были отнесены к классу Formal, то есть это сообщения почтовых серверов, антивирусов и т.п., 53% (106 291 писем) не были классифицированы как спам (рис. 8).

 

Рис. 8. Статистика Kaspersky Anti-Spam

Как видно из диаграммы, в сумме порядка 47% почтового трафика было отфильтровано как спам или неинформативные сообщения. Как уже отмечалось, столь высокий процент полезной корреспонденции в общем трафике (соотношение полезных писем к спаму в среднем примерно 1:1) связан с активным документооборотом с использованием электронной почты. Эти средние цифры, естественно, не совсем точно отражают картину в рамках отдельно взятых почтовых адресов, поскольку на некоторые «засвеченные» в Интернете адреса приходит большое количество спама, а на какие-то спам не приходит вообще.

С точки зрения оценки качества фильтрации за время тестов было установлено, что:

  • в среднем детектируется порядка 85-90% спама. Процент среднестатистический, для некоторых видов спама он превышает 95%, а для графического спама с защитой от антиспам-систем — порядка 60-70%. Такой процент является весьма неплохим результатом — на практике пользователи стали получать в среднем максимум одно-два спам-письма в день вместо 20-30;
  • за все время тестов не было зарегистрировано ни одной ошибки второго рода, то есть случаев ошибочной классификации полезной корреспонденции в качестве спама не отмечалось.

Анализ пропущенных спам-писем позволил выявить тенденции, показанные на рис. 9.

 

Как видно из диаграммы, основной процент приходится на графический спам. Типовой «портрет» подобного письма: оно содержит связный текст на английском языке (текст может отсутствовать, реже — русский текст) и картинку. В картинке часто присутствуют следы агрессивной маскировки от OCR-систем (систем опознания текста в изображении, применяемых спам-фильтром для анализа). Пример подобного изображения показан на рис. 10.

 

Рис. 10. Типовое изображение из спам-письма
с защитой от OCR

Из диаграммы с процентным составом пропущенных спам-писем видно, что 19% от недетектированного спама составляют письма, классифицированные автором как корпоративный спам, под которым подразумеваются рассылки, осуществляемые в подавляющем большинстве случаев вручную и содержащие нежелательную информацию для пользователей корпоративной сети, например назойливые приглашения на различные конференции и форумы, информацию о различных курсах повышения квалификации, рекламу от различных фирм, с которыми поддерживаются деловые отношения, и т.п. Подобные письма невозможно однозначно классифицировать как спам, и бороться с ним можно включением адресов наиболее назойливых рассылок в черный список.

Заключение

За время тестирования продукт показал очень хорошие результаты, поскольку большинство спам-писем было успешно отфильтровано и от пользователей так и не поступило ни одного рапорта об обнаружении ошибок второго рода (классификация полезного письма в качестве спама). За два месяца не было зафиксировано ни одного сбоя или зависания продукта, при нагрузке на сервер порядка 3 тыс. писем в день существенного превышения потребления ресурсов не наблюдалось. Возможность установки системы на выделенный сервер для обслуживания нескольких почтовых серверов, а также интеграция с почтовыми серверами различных типов — ценные характеристики для больших корпоративных сетей или интернет-провайдеров. Кроме того, в ходе тестирования было установлено, что Kaspersky Anti-Spam отлично работает совместно с «Антивирусом Касперского 5.0», что позволяет применять эти продукты для комплексной защиты пользователей электронной почты от вирусов и спама.

 

В начало В начало

КомпьютерПресс 2'2007


Наш канал на Youtube

1999 1 2 3 4 5 6 7 8 9 10 11 12
2000 1 2 3 4 5 6 7 8 9 10 11 12
2001 1 2 3 4 5 6 7 8 9 10 11 12
2002 1 2 3 4 5 6 7 8 9 10 11 12
2003 1 2 3 4 5 6 7 8 9 10 11 12
2004 1 2 3 4 5 6 7 8 9 10 11 12
2005 1 2 3 4 5 6 7 8 9 10 11 12
2006 1 2 3 4 5 6 7 8 9 10 11 12
2007 1 2 3 4 5 6 7 8 9 10 11 12
2008 1 2 3 4 5 6 7 8 9 10 11 12
2009 1 2 3 4 5 6 7 8 9 10 11 12
2010 1 2 3 4 5 6 7 8 9 10 11 12
2011 1 2 3 4 5 6 7 8 9 10 11 12
2012 1 2 3 4 5 6 7 8 9 10 11 12
2013 1 2 3 4 5 6 7 8 9 10 11 12
Популярные статьи
КомпьютерПресс использует