Програмне забезпечення: Аналіз лог файлів проксі серверів

1. Аналіз лог файлів
2. Аналіз логів проксі серверів
3. 1. ProxyInspector for Microsoft ISA Server (Enterprise)
4. Для пакетного фільтра:
5. 2. ProxyInspector for WinRoute
6. 3. ProxyInspector for Ositis WinProxy.
7. 4. ProxyInspector for WinGate
8. Використання
9. MailDetective for Alt-N MDeamon
10. висновок

13.11.2003

Аналіз логів може дати керівникам, начальникам ІТ відділів повну картину того, як співробітники використовують Інтернет, що в свою чергу може допомогти в організації підвищення продуктивності праці, виявити співробітників, що використовують Інтернет не в службових цілях, а для розваг, а значить, заощадити гроші компанії . Крім того, аналіз логів може заощадити час адміністратора, витрачений на виявлення несправностей або проломів в системі і допомогти усунути їх.

TECKLORD

Аналіз лог файлів

Вступ

Ця стаття описує утиліти компанії ADVSoft для роботи з лог файлами таких поширених продуктів, як проксі сервера Microsoft ISA Server 2000, Qbik Wingate (2.x і вище), Ositis Winproxy (3.x і вище), Kerio Winroute (3.x і вище) і поштовий сервер Alt-N MDeamon. Ці утиліти призначаються для швидкого складання звітів по мережевої активності користувачів, з використанням інформації, зібраної вищепереліченими продуктами.

Аналіз логів може дати керівникам, начальникам ІТ відділів повну картину того, як співробітники використовують Інтернет, що в свою чергу може допомогти в організації підвищення продуктивності праці, виявити співробітників, що використовують Інтернет не в службових цілях, а для розваг, а значить, заощадити гроші компанії . Крім того, аналіз логів за допомогою продуктів від ADVSoft може заощадити час адміністратора, витрачений на виявлення несправностей або проломів в системі і допомогти усунути їх.

Аналіз логів проксі серверів

Компанія ADVSoft надає 3 версії утиліти ProxyInspector: ProxyInspector Light (ця утиліта буде доступна лише в кінці цього року, і в даний момент не поширюється), ProxyInspector і ProxyInspector Enterprise (Поки існує версія лише для Microsoft ISA Server). Утиліта ProxyInspector Light працює лише з локальною базою даних, сумісна з такими програмами як Qbik WinGate, Ositis WinProxy і Krio WinRoute. Ліцензія поширюється на 12 користувачів Інтернет для одного сервера. Ця утиліта буде оптимальним варіантом для маленьких компаній. Ця утиліта є найбільш урізаною версією зі всіх, пропонованих ADVSoft. ProxyInspector - це більш складна утиліта з підтримкою командного рядка, що працює як з локальної БД, так і з БД на сервері Interbase 6.x / Firebird. Вона сумісна з усіма перерахованими вище програмними продуктами, і, крім того, підтримує Microsoft ISA Server. Кількість користувачів для одного проксі сервера - від 25 до 250 чоловік. Утиліта ProxyInspector Enterprise призначена насамперед для роботи у великій доменної мережі, оскільки володіє такими спеціальними можливостями, як синхронізація з Active Directory, підтримка бази даних на SQL сервері від Microsoft і Interbase 6.x / Firebird, робота з логами одночасно декількох серверів. Кількість користувачів на один проксі сервер від 100 осіб. Ця утиліта просто зручна у використанні і може допомогти знайти потрібну інформацію в лічені секунди.

1. ProxyInspector for Microsoft ISA Server (Enterprise)

ProxyInspector for ISA Server може бути встановлений на будь-якій машині, що має доступ до логів ISA сервера. Після установки ProxyInspector for ISA Server слід зробити деякі зміни в настройках ISA сервера. Всі логи повинні вестися ISA сервером в форматі W3C. Для коректної роботи утиліти логи для сервісу Web проксі повинні містити такі записи:

• Client IP
• Client user name
• Client agent
• Date
• Time
• Bytes sent
• Bytes received
• Protocol name
• Object name

Для сервісу фаірвол:

• Client IP
• Client user name
• Client agent
• Date
• Time
• Destination IP
• Bytes sent
• Bytes received
• Protocol name

Для пакетного фільтра:

• Date
• Time
• Source IP
• Destination IP
• Rule
• Source port
• Destination port

Налаштування

Як і обіцяв виробник, ця програма має інтуїтивно-зрозумілий інтерфейс, і всі необхідні настройки можна зробити без читання документації і глибокого аналізу написаного в «хелпе» тексту.
Вікно налаштувань програми складається з 5 меню і підміню, розташованих в правому фреймі (Рис. 1). Як вже говорилося, ProxyInspector for ISA Server може працювати з віддаленою базою (зберігати дані використовуючи SQL сервер). Вказати шлях до бази в такому випадку слід в меню База даних. У меню Звіти надається можливість вибору формату звіту для збереження (ProxyInspector for ISA Server може зберігати звіти у вигляді простої html сторінки, html сторінки з CSS і у вигляді електронних таблиць Excel), формату інформації про трафік (чомусь в двох варіантах підрахунку байтів в кілобайті), редагування оформлення діаграм, вибору часу і дати для генерації вбудованих звітів, підстановки користувачів, угруповання сайтів і вибору виду збереження даних в форматі MS Excel.

Мал. 1

Меню Електронна пошта дозволяє задати опції для відсилання звіту поштою (на жаль можна створити лише один запис). Меню Microsoft ISA Server 2000 містить важливі настройки для створення необхідних звітів. Тут же вказується шлях до бази логів ISA сервера.

2. ProxyInspector for WinRoute

Робота з цим проксі сервером підтримується двома версіями утиліти ProxyInspector - ProxyInspector Light і ProxyInspector. Налаштування утиліти особливо не відрізняються від попередніх. Єдине зауваження: краще зупинити свій вибір на вказівці шляху до лог файлів WinRoute вручну, і проігнорувати альтернативу читання шляху з реєстру, оскільки різні версії цього проксі сервера зберігають інформацію про шляхи в різних ключах реєстру. Більш докладно про налаштування WinRoute можна прочитати на сторінці http://www.advsoft.ru/ru/support/manuals/ в розділі ProxyInspector for WinRoute.
Якщо потрібне створення звітів за активністю користувачів, слід вказати в налаштуваннях проксі сервера обов'язкову аутентифікацію, інакше створення звіту по мережевої активності окремого користувача буде неможливо.

3. ProxyInspector for Ositis WinProxy.

З цим ПО також працюють дві версії описуваної утиліти: ProxyInspector Light і ProxyInspector. Для коректної роботи ProxyInspector в налаштуваннях Ositis WinProxy слід проставити галочку для Enable detailed logging to file (вести докладний лог у файлі), в меню File -> Settings на вкладці Logging і вказати власне сам шлях до директорії для лог файлів. Докладніше про налаштування WinProxy можна прочитати за адресою http://www.advsoft.ru/ru/support/manuals/proxyinspector/piwp_setup.php

4. ProxyInspector for WinGate

Підтримується двома версіями: ProxyInspector Light і ProxyInspector. Після установки утиліти, пропонується скористатися майстром конфігурацій для настройки WinGate. При бажанні, можна вручну налаштувати WinGate, змінивши потрібні параметри в опціях програми. Детальний опис налаштування дається в Допомоги, що додається до утиліти ProxyInspector for WinGate.
Особливу увагу слід приділити утиліті ProxyInspector Enterprise for Microsoft ISA Server, так як на нашу думку - ця найпотужніша утиліта, з усіх тестованих.

Використання

Після настройки конфігурацій програми, слід імпортувати записи ISA сервера, так як ProxyInspector працює зі своєю власною базою, що захищає логи від перезапису в разі несподіваного завершення роботи системи. Імпорт логів в ProxyInspector for ISA Server можливий за допомогою графічного інтерфейсу (кнопка «Імпортувати лог файли» на панелі інструментів) і командного рядка (слід зауважити, що робота з командним рядком підтримується в версіях ProxyInspector і ProxyInspector Enterprise). У випадку з командним рядком, імпорт логів можна автоматизувати, скориставшись Планувальником завдань.

Команда piconsole.exe -atgen створить .bat файл (для Планувальника завдань). Приклад цього файлу:
--------------- schedule.bat -------------
at 8:00 / every: M, T, W, Th, F, S, Su "C: \ Program Files \ ProxyInspector for ISA Server \ PIConsole.exe" -import
at 10:00 / every: M, T, W, Th, F, S, Su "C: \ Program Files \ ProxyInspector for ISA Server \ PIConsole.exe" -import
at 12:00 / every: M, T, W, Th, F, S, Su "C: \ Program Files \ ProxyInspector for ISA Server \ PIConsole.exe" -import
at 14:00 / every: M, T, W, Th, F, S, Su "C: \ Program Files \ ProxyInspector for ISA Server \ PIConsole.exe" -import
at 16:00 / every: M, T, W, Th, F, S, Su "C: \ Program Files \ ProxyInspector for ISA Server \ PIConsole.exe" -import
at 18:00 / every: M, T, W, Th, F, S, Su "C: \ Program Files \ ProxyInspector for ISA Server \ PIConsole.exe" -import
at 20:00 / every: M, T, W, Th, F, S, Su "C: \ Program Files \ ProxyInspector for ISA Server \ PIConsole.exe" -import
at 22:00 / every: M, T, W, Th, F, S, Su "C: \ Program Files \ ProxyInspector for ISA Server \ PIConsole.exe" -import
at 00:00 / every: M, T, W, Th, F, S, Su "C: \ Program Files \ ProxyInspector for ISA Server \ PIConsole.exe" -import
--------------- schedule.bat -------------
Використання команд:

Створити .bat файл PIConsole.exe -import Імпортувати лог в БД PIConsole.exe -report "template_name" / saveto = "file_name" Створити звіт за шаблоном і зберегти в файл. (Додаткові ключі: / excel (звіт у форматі MS Excel), / nocss (звіт в html-форматі без каскадних стилів)) PIConsole.exe -report "template_name" / mailto = "recipient" [/ subject = "message_subject"] Створити звіт за шаблоном і відправити поштою (Додаткові ключі: / excel (звіт у форматі MS Excel), / nocss (звіт в html-форматі без каскадних стилів)) PIConsole.exe -packdb Видалити записи з локальної бази даних. (Ця операція можлива тільки з-під командного рядка. Використовуючи GUI можна лише позначити записи на видалення).
Якщо база даних зберігається на SQL сервері, то для видалення записів слід використовувати вбудовані можливості вашого SQL сервера
PIConsole.exe -silent Заборона виведення повідомлень програми на екран

Після імпортування логів можна приступати до генерації звітів. Для початку створимо найпростіший звіт по проксі сервера. Для цього в навігаційної панелі подвійне клацання по меню Проксі сервер. У вікні (Рис. 2), вкажемо необхідні параметри для формування звіту. В даному випадку, ми залишили настройки за замовчуванням.

Мал. 2

Далі, вказавши період для формування звіту, ми отримали опис в деталях і діаграмах по використанню всього трафіку. ProxyInspector for ISA Server створив загальний звіт про використання трафіку користувачами, розподілі його по IP адресами, сайтам, по годинах, днях тижня, протоколам і програмами. Фрагмент звіту разом з діаграмою (табл.1):

Activity by user User Requests Sent Received Total

traffic (*)% (Total traffic) anonymous 43,456 45.3 MB 126.5 MB 180.8 MB 9.21% System 83 66.54 MB 15.6 MB 82.14 MB 4.18% user1 16 5,870 Bytes 95.4 MB 95.5 MB 4.86% user2 425 875.54 MB 1.54 MB 877.08 MB 44.66% user3 952 1,005 Bytes 5,450 KB 5.5 KB 0.01% user4 45 453.87 KB 6.65 MB 6.1 MB 0.31% user5 658 554.45 MB 23.54 MB 578 MB 29.43% user6 56 345 KB 74.56 MB 74.9 MB 3.81% user7 19 926 Bytes 78.4 MB 78.4 MB 3.46% user8 47 3,45 Bytes 45,540 KB 45.5 KB 0.01% Total 45,164 1541.8 MB 422.2 MB 1964 MB 100%

ProxyInspector for ISA Server здатний створити звіти по активності окремого користувача, групи користувачів, часу, дня тижня, IP-адресу і т.д. Щоб переглянути список користувачів, розкрийте меню «Користувачі» в правому фреймі головного вікна (Рис. 3).
При виборі одного або декількох користувачів, буде складено повний звіт по їх мережеву активність: дані про IP-адресу, адреси відвіданих сайтів і розподіл трафіку по ним, розподіл трафіку по годинах, днях тижня, протоколам, програмами та діаграми, що ілюструють вищесказане. Ця можливість може дуже стане в нагоді системним адміністраторам і фахівцям з безпеки для отримання докладної інформації про діяльність того чи іншого працівника фірми, які він використовує програмами.
Для зручності читання логів, або створення звіту мережевої активності групи користувачів (наприклад, співробітників одного відділу (якщо потрібно звіт по цілому відділу)), деяких користувачів можна об'єднати в групи (пункт меню база-> Групи користувачів).

ProxyInspector for ISA Server дозволяє зберігати деяку інформацію про користувачів (Нік, справжнє ім'я, додаткова інформація, e-mail), попередньо синхронізувавши її з Active Directory. Ця можливість дозволяє швидко отримати необхідну інформацію про людину шляхом наведення курсору мишки на його ім'я в меню «Користувачі» в правому фреймі головного вікна програми. Для створення такої бази, ви можете скористатися вікном Редактор властивостей користувачів (база-> Редактор властивостей користувачів).
Для створення звіту по протоколам, можна скористатися вікном Редактор протоколу, з меню База, щоб додати, або видалити із загального списку протоколів необхідні дані. Менеджер звітів дає можливість створювати шаблони звітів для майбутнього використання.

Складно заперечити, що створення звітів мережевої активності є одним з найважливіших елементів захисту мережі, так як дає вичерпну інформацію про користувачів, їх діяльності, що використовуються ними додатках і т.д.

Давайте перейдемо до практичного використання і спробуємо вирішити деякі проблеми безпеки. Припустимо, в нашому розпорядженні невелика корпоративна мережа (до 150 робочих станцій під управлінням Windows 2000, XP; AD). Користувачі поділені на групи по відділах, кожна група працює з певним програмним забезпеченням і виконує різні завдання. Скажімо відділ роботи з громадськістю використовує в основному пошту (the Bat і Outlook Express), а відділ реклами - ICQ і Web браузер. Ви помітили загальне підвищення вихідного трафіку в порівнянні з минулим тижнем. Простий звіт по групам користувачів з вибором лише одного параметра для створення звіту (Розподіл трафіку по протоколах (вихідний трафік) допоможе вам визначити відділ, з якого пересилаються дані. Далі створимо звіт по використовуваних протоколах цього відділу:

SMTP 10,546 2,452 MB 2,164 KB 2454.1 MB 94% POP3 1,475 66.54 MB 657.5 MB 148.7 MB 2% Невідомий 13 5,870 Bytes 1,273 KB 1,280 KB 1,3% HTTP 351 15.8 KB 195 MB 195.1 MB 2,7% FTP 4 0 KB 35.6 KB 35.6 KB 0.01% Total 45,164 1541.8 MB 422.2 MB 1964 MB 100%

Явна перевага використання SMTP протоколу може говорити лише про те, що ведеться активна розсилка якоїсь інформації, будь то спам, або цінні дані. Сформувавши звіт по протоколу SMTP, ми без праці визначимо IP-адреса, з якого ведеться розсилка, і ім'я користувача. Нам залишається лише налаштувати SMTP фільтр для ISA сервера і у вільну хвилинку вирішити проблему.
Інакше, цю проблему можна вирішити, скориставшись балками Web-проксі, в яких вказується назва активного в мережі додатки. Для цього створимо звіт по додатках і використаному ними протоколу. У списку доступних додатків виберемо невідомі нам і групу додатків "Not specified". Таким чином, подивившись статистику по використаних протоколах, ми зможемо визначити додаток, яке надсилає інформацію по протоколу SMTP. Зауважимо, що такий спосіб виявлення додатки залежить від правильності налаштувань ISA сервера.
А нализ логів поштових серверів.
Зайве говорити, що аналіз логів поштових серверів грає важливу роль в забезпеченні безпеки підприємства. Компанія ADVSoft надала утиліту для створення звітів по лог файлів для поштового Alt-N MDeamon. Оскільки доступна тільки демо-версія утиліти MailDetective for Alt-N MDeamon, то саме її ми спробуємо описати в нашій статті.

MailDetective for Alt-N MDeamon

Ця утиліта створює звіт по роботі поштового сервера за певний проміжок часу і виділити наступну інформацію з логів, виводячи дані про кількість листів, локальному трафіку, зовнішньому трафіку і загальному трафіку:
1. Загальний звіт по роботі сервера
Розподіл пошти по одержувачам
Розподіл пошти по відправникам
Розподіл пошти по доменах відправників
Розподіл пошти по доменах одержувачів.
Примітка: володіючи такою інформацією дуже легко знайти неполадки в роботі поштового сервера (якщо такі є) і швидко їх усунути
2. Звіт по роботі сервера в певний час
Дається можливість переглянути дані по кожній годині.
3. Створення звіту по кожному дню тижня
4. Створення звіту по кожному поштової скриньки
Дозволяє контролювати листування одного користувача, або групи користувачів.
5. Звіт по активності користувачів певного домену.
Ведення звітів такого типу може позбавити підприємство від крадіжки інтелектуальної власності, так як дозволяє стежити за листуванням співробітників, і контролювати її.
Утиліта MailDetective for Alt-N MDeamon підтримує також режим командного рядка. Вищенаведений приклад для ProxyInspector дійсний також і для MailDetective але з одним винятком: назва виконуваного файлу в MailDetective - MDConsole.exe, а не PIConsole.exe, як в ProxyInspector.

висновок

Ця стаття була присвячена набору утиліт для формування звітів і аналізу лог фалів поштових та проксі серверів за допомогою утиліт ProxyInspector Light, ProxyInspector, ProxyInspector Enterprise і MailDetective від компанії ADVSoft. Ці утиліти виявилися більш зручними для формування звітів і спостереження за мережевою активністю, ніж вбудовані засоби самих додатків. Завантажити демо-версію цих утиліт можна звідси
Ми сподіваємося, що системні адміністратори, які використовують вищеописані проксі сервера і поштові сервери, по справжньому оцінять всі можливості цього потужного засобу для роботи з лог файлами.