К тестированию было приглашено 35 вендоров, производящих продукты, направленные на борьбу со спамом. Тесты проводились на базе Real World Labs (Университет г. Саракузы). Из 35 продуктов разных марок протестированы были 27 , способных к полноценному использованию было выбрано 23 продукта : 6 устройств, 6 сервисов, 11 программных продуктов.

Следующие производители были прглашены к участию в тестировании продуктов, но отклонили приглашение:

Мы использовали как ложные позитивы , так и ложные негативы для подсчета точности определения спама каждым анти спам фильтром, поскольку оба вида показателей являются ошибками в классификации сообщений. Следует отметить, что наши оценки взвешенной (weighted) точности(accuracy) определения спама ниже, чем рейтинги точности , которые приводят сами производители анти-спам фильтров. Это связано с тем, что мы придаем большое значение ложным позитивам, поскольку они дороже обходятся пользователям. В наших расчетах мы сделали следующий шаг: мы оценивали каждый ложный позитив и каждый ложный негатив по 5-бальной шкале .

Данные по продуктам взвешенная (weighted) точность( accuracy) показаны в таблице. Мы включили не взвешенную точность в нашу таблицу для сравнения , но использовали взвешенные рейтинги для определения вендора, который получит финальный выигрыш.

С другой стороны, данные о точности определения спама , полученные нами, , были ниже , чем соответствующие данные вендоров, потому что их статистика смотрит лишь на часть картины и нацелена на наиболее благоприятное развитие сценариев. Так BrightMail дает отчет о 99, 999 % точности блокирования спама , основываясь на 1 случае из 1 000 000 случаев ложных позитивов и не давая никаких комментариев относительно ложных негативов.

Мы использовали реальную почту , которая приходила на адреса редакторов и менеджеров рекламного отдела нашего издания NetWork Computing, а также пресс-релизы, рекламные модули, новостные бюллетени в HTML формате и другие письма, которые напоминали по виду спам.

Хотя взвешенная точность фильтрации спама представляет главные метрические данные в первом раунде сравнения работы спам-фильтров, это не единственный показатель при определении победителя. Точность является основным и важнейшим элементом при покупке, но цена, архитектура , управление, конфигурация, пользовательский контроль, безопасность и антивирусные способности продукта также должны учитываться при выборе марки.

Поскольку ложные позитивы остаются самой большой проблемой для пользователей анти-спам фильтров, мы оценивали продукты с точки зрения их способности ставить письма в карантин и давать их краткое описание ( т.е. суммировать каждое сообщение из карантинного раздела, идентифицируя отправителя и предмет сообщения, и принимать решение об удалении или сохранении письма).

Из десяти наиболее привлекательных продуктов с этой точки зрения, мы выбрали Vircom (Modus Gate SW) и BorderWare Mxtreme Mail FireWall, оба использующие BrightMail анти спам, и поместили их на 2ое и 3 е место соответственно , только потому , что их ценовые показатели были несколько выше , чем цена у продукта-победителя , которым стал Barracuda NetWorks Spam FireWall. В то же время , лучшими показателями по признаку взвещенной точности был признан SpamStops Here, который не был учтен в тройке победителей , потому что в этом продукте отсутствует пользовательский контроль и раздел карантинных писем.

BorderWare Mxtreme Mail FireWall Appliance замыкает тройку победителей, поскольку ценовые параметры этого продукта несколько уступают другим эквивалентным продуктам. Однако BW добавляет веса своему продукту тем, что компания предоставила сертификат Common Criteria EAL 4, высоко оценивающий такие возможности системы, как масштабируемость, лучшая автоматическая отчетность , анти-вирусные лицензиии по каждому пользовательскому почтовому ящику, не идущая ни в какое сравнение проверка приложенных файлов , и наконец, распределенные возможности администрирования. Также версия 4 Mxtreme mail FireWall имеет защиту от сбоев в работе благодаря кластерной архитектуре.