Жорстка і м'яка фільтрація спаму в the bat!

Велике спасибі всім читачам, які відгукнулися на цю статтю і написали мені всі свої зауваження, прохання і пропозиції. Ставлячи крапку в тій статті, я і не планував писати продовження, наївно вважаючи, що все і так добре і буде ідеально працювати. Саме питання, що виникли при використанні фільтрів в The Bat! і виявлені в результаті мого особистого досвіду і спілкування по милу з читачами, послужили стимулом до написання продовження.

Які ж мінуси у даної схеми?

Звичайно, за все треба платити. Повний автоматизм, абсолютна чистота поштової скриньки і економія Вашого особистого часу оплачуються незначним збільшенням вихідного трафіку. Цією отмазкой можна було б обмежитися, але не можна не відзначити, що систему фільтрів можна зробити більш гнучкою, значно знижує вхідний і вихідний трафіки. А трафік - це час і кілобайти, і, врешті-решт, гроші, які потрібно віддавати провайдеру. І адже далеко не всі сидять на товстих і безкоштовних каналах зв'язку!

Вона призначена, в першу чергу для домашніх користувачів, які мають досить стабільний коло знайомств з невеликим приростом нових переписувачів, для яких нові контакти не є критично важливими.

Однак жорстка система фільтрів не підходить для службового використання, коли висока ймовірність нових контактів, і не завжди допустимо вимагати підтверджень, наприклад, будь-якій фірмі, яка чекає на нових клієнтів. В цьому випадку можна скористатися скороченим набором фільтрів (дивіться розділ "М'яка система фільтрів" в кінці статті). В "м'якої" схемою відключений режим підтвердження листування ціною пропуску деякої кількості спаму.

Описана нижче система фільтрів було розроблено і успішно випробувана для версії The Bat! не нижче 1.62.

Друга група фільтрів входить в правило сортування "Вибіркове скачування" і здійснює фільтрацію на основі полів заголовка листа RFC-822. Для спрацьовування фільтрів цієї групи з сервера скачується лише заголовки листів.

Нарешті, ми підійшли до опису суті нової конструкції фільтрів.

Загальна схема фільтрів буде виглядати так:

Більш наочно нову конструкцію фільтрів можна представити у вигляді таблиці:

Видаляє листи від відправників з стоп-листа з файлу spam.txt

Якщо у Вас стара система фільтрів, то фільтр № 1, який раніше називався "Спам по заголовку" видалимо. У новій схемі його замінять правила фільтрації за формальними ознаками (правило "Вибіркове скачування", див. Далі).

Самі плюшки MAILER-DAEMON в цьому фільтрі переміщаються в кошик, але, якщо треба, можна змінити для них папку призначення і створити спеціальну.

Не виключено, що даний фільтр взагалі ніколи не спрацює :-), тому що повідомлення MAILER-DAEMON з яких-небудь формальними ознаками будуть видалені ще раніше при "вибіркового скачуванні" (див. далі "Обробка пошти на сервері", фільтр № 12).

У нашому прикладі використовується цифровий код 456123. Можна задати код англійськими літерами, але не росіянами, щоб уникнути проблем з кодуваннями кирилиці.

До повідомлення прикріплюється файл вихідного повідомлення, що може збільшити вихідний трафік. В принципі це потрібно тільки для користувача-відправника, яка не є спамерів, щоб вислати йому оригінал його листи. Якщо це здається Вам зайвим, тоді приберіть з шаблону останній рядок:

і пункт 15 із фільтра № 6.

Щоб кошик могла підчищати себе від старих листів місячної давності, натиснемо на неї правою кнопкою миші і у властивостях вкажемо:

  1. [√] Термін зберігання листів (днів) [30]
  2. [√] Видалити старі листи
  • Вкладка [Дії]
  • [√] Видалити лист
  • Інші пункти залишаємо за замовчуванням
  • Кнопка [Закрити] - закриває сортувальник і зберігає введений фільтр
  • Тепер все просто - виділяємо лист "прорвався" спамера і Ctrl + Е його :)))

    Спамерських роботам ці правила по барабану. Вони можуть записати туди що завгодно або взагалі проігнорувати ці поля. Ось по їх дурниці не слідувати стандарту і можна відрізнити спам від звичайного листа.

    Побачити заголовок листа в The Bat! можна, натиснувши меню [Вид / Показувати заголовки (RFC-822)].

    Для обробки пошти на сервері в Баті використовується правило сортування "Вибіркове скачування". Вся принадність цього правила полягає в тому, що воно спрацьовує першим, і видаляє листи без скачування безпосередньо на сервері.

    Фільтр № 9
    1. Виділяємо ящик [email protected]
    2. Меню [Ящик / Налаштування сортувальника листів]
    3. Виділяємо правило сортування [Вибіркове скачування]
    4. Кнопка [Створити]
    5. Вкладка [Правила]
    6. Назва фільтра "Без відправника"
    7. визначати по
      • відправнику
    8. сигнальні рядки
      @
      .
    9. правило
      [√] Активно
    10. Вкладка [Додатково]
    11. Дія
      • видалити
    12. метод визначення
      • Хоча б один рядок не повинна бути знайдена
    13. Інші пункти залишаємо за замовчуванням
    14. Кнопка [Закрити] - закриває сортувальник і зберігає введений фільтр
    Фільтр № 10
    1. Виділяємо ящик [email protected]
    2. Меню [Ящик / Налаштування сортувальника листів]
    3. Виділяємо правило сортування [Вибіркове скачування]
    4. Кнопка [Створити]
    5. Вкладка [Правила]
    6. Назва фільтра "Від мене"
    7. визначати по
      • відправнику
    8. сигнальні рядки
      [email protected]
    9. правило
      [√] Активно
    10. Вкладка [Додатково]
    11. Дія
      • видалити
    12. метод визначення
      • Будь-яка рядок знайдена
    13. Інші пункти залишаємо за замовчуванням
    14. Кнопка [Закрити] - закриває сортувальник і зберігає введений фільтр
    Фільтр № 11
    1. Виділяємо ящик [email protected]
    2. Меню [Ящик / Налаштування сортувальника листів]
    3. Виділяємо правило сортування [Вибіркове скачування]
    4. Кнопка [Створити]
    5. Вкладка [Правила]
    6. Назва фільтра "Не мені"
    7. визначати по
      • одержувачу
    8. сигнальні рядки
      [email protected]
    9. правило
      [√] Активно
    10. Вкладка [Додатково]
    11. Дія
      • видалити
    12. метод визначення
      • Жодна з рядків не повинна бути знайдена
    13. Інші пункти залишаємо за замовчуванням
    14. Кнопка [Закрити] - закриває сортувальник і зберігає введений фільтр

    Наступний фільтр видалить листи, які не відповідають стандартним RFC-822 і не містять одне з обов'язкових полів в заголовку листа (From, To, Subject, Date, Message-ID), а при жорсткому підході і деяких необов'язкових полів (X-Mailer і ін. ).

    Фільтр № 12
    1. Виділяємо ящик [email protected]
    2. Меню [Ящик / Налаштування сортувальника листів]
    3. Виділяємо правило сортування [Вибіркове скачування]
    4. Кнопка [Створити]
    5. Вкладка [Правила]
    6. Назва фільтра "Ні полів в заголовку RFC-822"
    7. визначати по
      • заголовкам
    8. сигнальні рядки
      Date:
      From:
      To:
      Subject:
    9. правило
      [√] Активно
    10. Вкладка [Додатково]
    11. Дія
      • видалити
    12. метод визначення
      • Хоча б один рядок не повинна бути знайдена
    13. Інші пункти залишаємо за замовчуванням
    14. Кнопка [Закрити] - закриває сортувальник і зберігає введений фільтр

    Більш жорстко цей фільтр буде працювати і, відповідно, більше спаму вб'є на сервері, якщо в сигнальні рядка додати поля "Message-ID:" і "X-Mailer:". Але при цьому потрібно мати на увазі, що він також видалить повідомлення MAILER-DAEMON, у яких немає в заголовку хоча б одного з цих полів.

    Поле Message-ID (ідентифікатор листи) обов'язково має бути присутнім в заголовку листа і практично всі поштові клієнти і поштові web-сервіси дотримуються цього правила. Виняток становлять спец. повідомлення, наприклад, ті ж MAILER-DAEMON деяких поштових серверів.

    Поле "X-Mailler:" ставиться практично всіма поштовими клієнтами і відомими мені поштовими web-службами, хоча є необов'язковим з точки зору стандарту RFC-822 (починається з префікса X-). Деякі зарубіжні поштові сервери замість поля X-Mailer пишуть X-Sender або X-SenderIP, тому існує невелика ймовірність блокування корисних листів.

    Перш ніж приймати рішення включати чи не включати поля Message-ID і X-Mailer, потрібно вивчити заголовки приходять до Вас листів. У Баті побачити заголовок листа можна, натиснувши меню [Вид / Показати заголовки (RFC-822)]. І керуватися треба принципами "Не нашкодь", "Сім разів відміряй і один раз відріж". Але краще перестрахуватися і погодитися на деяке збільшення вхідного трафіку, ніж втратити хоча б одну корисну лист.

    Ще один фільтр, названий мною "Параноя", допомагає "зарубати" багато спаму на сервері завдяки тому, що спамери в заголовку листа в рядку одержувача пишуть:

    Чи напише таке ім'я Ваш друг або знайомий? Навряд чи. Швидше за все, він напише так:

    Описати рядок виду "To: pupkin "Можна за допомогою регулярних виразів. Такий рядку відповідає наступне регулярний вираз:

    В результаті фільтр "Параноя" буде виглядати таким чином:

    Фільтр № 13
    1. Виділяємо ящик [email protected]
    2. Меню [Ящик / Налаштування сортувальника листів]
    3. Виділяємо правило сортування [Вибіркове скачування]
    4. Кнопка [Створити]
    5. Вкладка [Правила]
    6. Назва фільтра "Параноя"
    7. визначати по
      • заголовкам
    8. сигнальні рядки
      To: \ s [Pp] upkin \ s \
      To: \ sPUPKIN \ s \
    9. правило
      [√] Активно
    10. Вкладка [Додатково]
    11. Дія
      • видалити
    12. метод визначення
      • Будь-яка рядок як регулярний вираз
    13. Інші пункти залишаємо за замовчуванням
    14. Кнопка [Закрити] - закриває сортувальник і зберігає введений фільтр
    Фільтр № 14
    1. Виділяємо ящик [email protected]
    2. Меню [Ящик / Налаштування сортувальника листів]
    3. Виділяємо правило сортування [Вибіркове скачування]
    4. Кнопка [Створити]
    5. Вкладка [Правила]
    6. Назва фільтра "Стоп-лист"
    7. визначати по
      • відправнику
    8. правило
      [√] Активно
    9. Вкладка [Додатково]
    10. Дія
      • видалити
    11. метод визначення
      • Будь-яка рядок знайдена
    12. [√] Прочитати сигнальні рядки з файлу
      C: \ spam.txt
    13. Інші пункти залишаємо за замовчуванням
    14. Кнопка [Закрити] - закриває сортувальник і зберігає введений фільтр

    Для вирішення цієї проблеми треба в описаній тут схемою фільтрів відключити всі фільтри, які потребують підтвердження листування. Ціна цього - спрощена система фільтрів буде пропускати невелика кількість спаму.

    Для службового користування кастріруя наведену схему:

    Сподіваюся, що викладені тут методи допоможуть Вам повністю або частково позбутися від поштового сміття і істотно заощадити час при роботі з електронною поштою.

    Я як і раніше вважаю, що найкращим засобом було б побудова системи захисту від спаму на рівні поштового сервера. Те, що роблять власники поштових порталів Яндекс.ru, KM.ru і Mail.ru (Spamtest.ru) гідно всякого уваги. Саме їхніми зусиллями можна завершити епоху спаму в рунеті.

    Copyright © 2024