- Сигнатурної фільтрація та інші методи відсікання небажаної електронної пошти Тонни спаму в електронних...
- Фільтри на основі правил
- Фільтрація за списками
- Ті, що навчаються системи
- Елементи контролю на рівні агента пересилання повідомлень
- Комбінація антиспамових і антифішингових рішень
Сигнатурної фільтрація та інші методи відсікання небажаної електронної пошти
Тонни спаму в електронних поштових скриньках заважають користувачам, і якби тільки тим, що доводиться витрачати багато часу на сортування пошти, що поступає. Гірше те, що входять послання можуть таїти в собі загрозу фішингових атак.
Останнім часом для боротьби зі спамом і (прямо чи опосередковано) фішингом стали використовуватися комерційні програми або продукти з відкритим кодом. Зазвичай системи, що виявляють наявність спаму, використовують фільтри на основі сигнатур і правил, а також навчаються системи для розпізнавання спаму.
Фільтри на основі сигнатур
Метод фільтрів на основі сигнатур почали застосовувати одним з перших з метою запобігти поширенню спаму або хоча б зменшити його обсяг. Сигнатурний фільтр включає базу даних з сигнатурами відомих поштових послань, що містять спам. Якщо в поштовому посланні для одержувача міститься котрась із сигнатур бази даних фільтра, то фільтр відносить дане повідомлення до спаму.
Перевага сигнатурних фільтрів полягає в їх високої точності. Поштове повідомлення вважається спамом тільки в тому випадку, якщо інше повідомлення з точно таким же змістом було позначено раніше як спам. Сигнатурні фільтри працюють швидко, а сигнатури зазвичай обчислюються по хешу - ознакою даного виду спаму. Хоча створення хешу великих поштових повідомлень не обов'язково відбувається швидко, все ж цей фільтр працює, як правило, набагато ефективніше, ніж інші типи фільтрів (наприклад, із застосуванням статистичного аналізу в системах з навчанням).
Сигнатури для фільтрів на їх основі можуть створювати кінцеві користувачі, системні адміністратори або постачальники рішень для боротьби зі спамом і фішингом. Зазвичай постачальники таких фільтрів постійно оновлюють їх сигнатури.
На жаль, сигнатурні фільтри мають істотний дефект: спамери можуть внести невеликі зміни в зміст своїх поштових послань, в результаті чого видозмінений спам все-таки просочується через фільтри. Розподілені бази даних сигнатур виправляють цей недолік. Така база, комерційна (наприклад, Vipul Razor) або відкрита (наприклад, Pyzor), є результатом спільної роботи постачальників і безпосередніх користувачів. Розподілені бази даних сигнатур, на відміну від локальних баз, зберігаються в Internet, там же вони оновлюються, та й клієнти мають до них доступ. Досвід показує, що вони досить ефективні, оскільки сигнатури в них оновлюються швидко.
Фільтри на основі правил
Фільтри на основі правил використовують спеціальні ключові слова в заголовках і текстах електронних листів для того, щоб визначити, чи містить ця послання спам. Однак фільтри на основі правил перевіряють не всі послання, а лише певні елементи, зазначені в конкретному правилі, за яким визначається наявність спаму в посланні.
На відміну від сигнатурних фільтрів, правила фільтрації часто створюють адміністратори систем і кінцеві користувачі. На жаль, правила фільтрації визначають наявність спаму гірше (послання, що містять спам, що не ідентифікуються як спам і, навпаки, потрібні повідомлення позначаються як спам) сигнатурних фільтрів.
Високий показник пропуску небажаних повідомлень пояснюється тим, що правила використовують для виявлення спаму ключові слова. Наприклад, системні адміністратори можуть використовувати в правилі слова типу Viagra, Rolex або mortgage. Спамери ж можуть вживати спотворене написання ключового слова, наприклад v1agra, r0lex або mortg @ ge, в результаті чого СПАМ не детектується правилом.
У разі помилкового визначення спаму із застосуванням правил можлива ситуація, коли можуть позначатися як спам листи, які містять в тексті слова, що асоціюються зі спамом. Наприклад, слово pre-approved використовується в рекламі сайтів, що надають послуги кредитування, але може вживатися і як звичайне слово.
Фільтрація за списками
Крім фільтрів на основі сигнатур і правил, деякі системи, які використовуються для фільтрації, і багато користувальницькі поштові агенти (Mail User Agents, MUA) застосовують фільтрацію по відправнику поштового послання. В цьому випадку відправники заносяться в чорні списки (Realtime Blackhole Lists, RBL), а також в білі і сірі списки - про них я розповім нижче. Були розроблені системи типу «виклик-відгук», що використовують стратегію ідентифікації користувача шляхом перевірки його реакції на непередбачуваний запит системи для більш швидкого введення білого списку. Сірі списки вбудовуються всередину сервера, щоб ефективно перешкоджати дії програмного забезпечення спамерів.
Чорні списки. Чорний список містить список адрес IP, доменів і / або може містити як окремі записи з чорного списку (наприклад, IP-адреса тільки одного поштового сервера), так і діапазон IP-адрес (наприклад, адреси постачальників Web-послуг, які допомагають спамеру розсилати повідомлення).
Більшість чорних списків мають певні переваги - швидкість і незначна кількість локальних ресурсів для обробки. Але є у цього методу і недоліки. Найгірше те, що чорні списки часто карають багатьох ні в чому не винних користувачів ISP за зловживання одного (спамера). Ця проблема особливо актуальна для чорних списків, які не перевіряють IP-адреси. ISP може бути занесений в чорний список, навіть якщо він не має відношення до спамерам. Це означає, що занесення в чорний список може бути одним з методів атаки типу «відмова в обслуговуванні» (Denial of Service, DoS) проти поштової служби ISP. Тут цікаво, що спамери можуть мігрувати від одного провайдера до іншого, в результаті чого чорні списки швидко застарівають.
Змінний чорний список (Real-time Black List, RBL), або список IP-адрес відправників спаму. Змінний чорний список забезпечує центральну базу даних IP-адрес спамерів. Такі списки широко застосовуються агентами передачі повідомлень Message Transfer Agents (MTA) для фільтрації пошти до обробки актуального змісту повідомлення. Однак цінність списків RBL неоднозначна, оскільки в разі їх застосування може постраждати багато невинних користувачів, якщо ISP підтримує блок адрес IP, якими користується спамер, оскільки в цьому випадку ISP додається до чорного списку.
Білі списки. Замість IP-адрес, доменів і джерел адрес, які можна помітити як джерела спаму, білі списки включають адреси, від яких надходять повідомлення, що не містять спам. Ці списки дають низьку частоту надходження спаму (велика частина спаму відфільтрована), але вони також можуть давати високу ймовірність помилкової позитивної оцінки надійності джерел інформації. Цей тип рішення можна застосовувати тільки в тому випадку, якщо користувачі отримують електронну пошту від відомих відправників. В якості альтернативи внесення в білий список може служити доповненням до стандартних фільтрів спаму (наприклад, фільтрів на основі сигнатур і правил). В цьому випадку білий список визначає тільки ті адреси, повідомлення від яких можуть обходити перевірку фільтром спаму. Якщо ж вхідний поштовий трафік виходить не з адрес білих списків, то пошту треба сканувати звичайними фільтрами.
Системи виклик-відгук (сhallengeresponse). На рис. 1 показано, що система виклик-відгук є модифікацією звичайної системи з білим списком.
Пошта, що надходить від нових відправників, перевіряється контрольними засобами, наприклад, на наявність відповіді відправника на автоматичний поштовий запит або відповіді на певне питання. Після одноразової перевірки вихідна пошта поставляється одержувачу, причому відправник заноситься в білий список.
Системи виклик-відгук ефективно використовують позитивні сторони методу внесення в білий список, причому користувачам не потрібно постійно підтримувати актуальність білого списку. Однак системи виклик-відгук мають свої мінуси. Наприклад, багато відправники схильні ігнорувати повідомлення від системи виклик-відгук, і в результаті система дає збій, оскільки в цьому випадку легітимна пошта ніколи не буде доставлена одержувачу.
Сірі списки. Внесення в сірий список - відносно новий метод боротьби зі спамом. Коли новий агент пересилки повідомлень MTA підключається до сервера, що підтримує роботу пошти за сірими списками, поштове повідомлення, відправлене агентом MTA, відхиляється з кодом «тимчасова помилка» протоколу SMTP. Якщо надсилає повідомлення агент MTA відповідає вимогам RFC, він пересилає пошту для подальшої доставки. Локальний агент MTA оновлює свій білий список відправників MTA після заздалегідь певного часу (від декількох хвилин до години і більше), і відправник пізніше може підключитися знову і надати пошту. Такий підхід ефективний, тому що були випадки надсилання спаму не користуються стандартними агентами MTA. Вони використовують програмне забезпечення «поштового робота», яке підключається до поштових серверів, робить спроби доставляти пошту, а в разі збою (який відбувається, якщо працює метод сірого списку) переходить до наступного. Єдиний істотний недолік цього методу полягає в більш повільної доставки важливою електронної пошти при першому повідомленні від нового відправника.
Ті, що навчаються системи
Здатна протистояти потоку спаму навчається система коригується відповідно до надходить поштою, яку отримує користувач. Велика частина таких систем заснована на байєсівської фільтрації. На рис. 2 показана навчається система з байєсівської фільтрацією. Така система створює базу даних слів і ймовірностей, з якими ці слова зустрічаються в поштовому повідомленні, що містить спам. Ці слова можуть зустрічатися в будь-якому місці послання, що прийшов з IP-адреси, і можуть мати довільний вигляд. Словами, які присутні в посланні, що містить спам, приписується вищий індекс ймовірності, ніж словами, що містяться в звичайних посланнях.
Одна з переваг байесовских фільтрів полягає в тому, що фільтр дозволяє налаштовувати систему на конкретну пошту. В процесі навчання байесовский фільтр стежить за вхідної та вихідної поштою і починає створювати базу даних (або вносить поправки в базу даних постачальника) відповідно до поштовим потоком. Крім того, системні адміністратори підлаштовують базу даних (наприклад, на вхід системи вручну подається відомий спам) так, щоб в процесі байєсівської фільтрації вдавалося краще розпізнавати спам. Після закінчення періоду навчання байесовский фільтр починає виявляти спам. Оскільки в період навчання в процесор вводиться звичайну поштову потік організації, система відразу працює з низькими показниками пропущених небажаних і відхилених потрібних повідомлень.
Оскільки база даних постійно оновлюється, у міру того як спамери змінюють свою техніку, байєсовські системи можуть адаптуватися автоматично, особливо в разі, коли фільтр знаходиться на самому поштовому сервері. Основний недолік полягає в тому, що він займає системний процесор на поштових системах. Байєсова фільтрація заснована на складних алгоритмах, при цьому зазвичай потрібен постійний і швидкий доступ до бази даних ймовірностей. Сам доступ до бази даних може викликати затримки на завантаженому поштовому сервері.
Елементи контролю на рівні агента пересилання повідомлень
Додаткові рішення можуть зменшити обсяг вхідного спаму за допомогою агента пересилання повідомлень MTA. Цей метод полягає в тому, що надсилає повідомлення агент MTA має правильний зворотну адресу DNS. Оскільки спамери використовують кілька модемних, а також бездротових з'єднань, їх IP-адреси рідко мають в DNS зареєстровані зворотні імена, і вимога наявності правильних зворотних адрес DNS може бути ефективним. Однак, оскільки багато офіційних поштові сервери не мають зворотної дозволу імен в DNS, цей підхід може викликати принаймні невелике збільшення числа помилкових позитивних спрацьовувань.
Інший метод використовує перевірку правильності процедури подання свого імені відповісти тому, хто поштовим сервером під час стадії ідентифікації SMTP. Для виконання цієї перевірки отримує поштовий сервер порівнює ім'я хоста в запиті HALO із записами про поштових серверах (Mail Exchanger, MX) в домені відправлення. Якщо ім'я хоста не відповідає будь-якому записі MX, то виникає підозра, що надсилає повідомлення поштовий сервер дає неправдиву інформацію. Нарешті, за допомогою контролю показників інтенсивності системні адміністратори можуть як мінімум зменшити вплив входять поштових повідомлень, якщо вузол атакований спамером. Показники інтенсивності, як правило, задаються досить високі, щоб не постраждала звичайна пошта, а відхилялися б тільки «масові відправники». Наприклад, нормальний відправник частіше включає в одне повідомлення кілька cc-адрес, а не кілька сотень. Спамери ж нерідко посилають одне поштове відправлення сотням одержувачів. Звичайний контроль інтенсивності полягає в обмеженні числа дозволених користувачів. У разі занадто великого числа одержувачів поштове повідомлення також відкидається.
Комбінація антиспамових і антифішингових рішень
Як можна помітити, всі розглянуті рішення мають свої обмеження. У таблиці показано, що найточніші і швидкі системи, наприклад сигнатурні фільтри, прив'язані до специфіки поштових повідомлень, які навчаються ж системи мають тенденцію уповільнювати роботу процесора і мають підвищену число помилкових негативних спрацьовувань. Часто найкращим варіантом є поєднання позитивних сторін кількох систем в одному розгорнутому рішенні, яке робить непомітними слабкі сторони кожної системи.
Наприклад, поєднання елементів контролю на рівні MTA з методом внесення в сірий список дозволяє відхилити значний обсяг спаму, що посилається поштовими роботами. При попаданні залишилися поштових повідомлень в фільтр можна підвищити показник пропуску легітимною пошти, комбінуючи навчальні системи з сигнатурними фільтрами і на основі правил.
Дастін Пурье - Консультант та експерт з керуючим і інтегруючим системам і службам UNIX і Windows. Автор Best Practices for Managing Linux and UNIX Servers (Windows IT Pro eBooks). [email protected]