Każdy, kto posiada pocztę elektroniczną, dostał kiedyś maila którego określił słowem „spam”. Nikt nie miał wątpliwości, że jest to „spam”. Gdyby jednak przyszło powiedzieć dlaczego tak nazwaliśmy jakiegoś maila i dlaczego nie chcemy takich dostawać, nie byłoby to już takie łatwe i oczywiste. Nasza definicja niosłaby ryzyko, że określimy nią również te maile, które otrzymywać chcemy.

Definicji „spamu” może być wiele, dyskusje na ten temat mogą być „nie kończące się”. Jako operator poczty internetowej dla kilku milionów użytkowników, Onet musiał wypracować własne definicje ogólne i własne podejście do problemu.

Przyjęliśmy wewnętrznie dwie definicje, „Spam obiektywny” oraz „Spam subiektywny”, i na bazie tych definicji staramy się projektować nasze bariery antyspamowe. „Spam obiektywny” to masowa korespondencja wysyłana od wielu różnych nadawców do wielu różnych odbiorców, taka co do której nikt nie ma wątpliwości że jej nie chce, choćby dlatego, że dostał ją już wielokrotnie. „Spam subiektywny” to taka korespondencja, którą część naszych użytkowników chce dostawać, często po to zakłada darmowe konto pocztowe, by służyło mu do odbierania różnego rodzaju powiadomień, newsletterów, rejestracji w serwisach internetowych, zakupów. Najbardziej wyrazistym przykładem „Spamu subiektywnego” jest pornografia. Dla wielu jest to niewątpliwy spam, dla wielu to treść pożądana i atrakcyjna. Nierzadko ocena użytkownika zależy od konta pocztowego, na które mail wchodzi – treść pornograficzna na nasze oficjalne konto pocztowe nie jest dobrze widziana, natomiast na konto mniej oficjalne jest często świadomie zamawiana.

Jako operator poczty dla tak wielu indywidualnych przecież użytkowników, indywidualnych osobowości i nawyków, stajemy przed ogromnym wyzwaniem, wyzwaniem prowadzenia Wojny ze Spamem.

W pierwszej części „Spam Wars” ogólnie opowiemy o wojnie ze spamem przychodzącym.

Bariera „Systemowa”

Barierą systemową można nazwać grupę filtrów antyspamowych opisanych w większości w dokumentach RFC. Rzetelny administrator, który będzie się trzymał zasad konfiguracji i utrzymania serwera pocztowego nie będzie miał kłopotu z przejściem tej bariery. Na tę barierę składają się filtry analizujące parametry połączenia i komunikacji między serwerami, system operacyjny serwera nadawcy, kraj z którego łączy się serwer nadawcy, poprawność konfiguracji domeny w systemie DNS, przestrzeganie standardów SMTP, filtr wymagajacy ponowienia próby dostarczenia – tzw. greylisting, filtr sprawdzający rekord SPF i inne podobne opisywane szeroko w internecie techniki. Bariera systemowa służy głównie ochronie stabilności naszych systemów.

Bariera „Onetowa”

Barierą Onetową nazywamy nasze podejście do zgłoszeń użytkowników, do własnych obserwacji i własnych wniosków dotyczących maili wchodzących do naszego systemu. Korzystamy z własnej czarnej listy – dotyczącej zarówno adresów IP jak i nazw domen. Korzystamy z systemu kredytowania parametryzowanego w zależności od wolumenu ruchu z danej sieci – inaczej traktujemy dużych operatorów, systemy rządowe, a inaczej pojedyńcze serwery pocztowe czy dzierżawione. Korzystamy z filtrów analizujących nagłówki przychodzących maili. Bariera Onetowa jako bardziej indywidualna, służy w tym samym stopniu ochronie stabilności działania naszych systemów, jak i reaktywnej ochronie skrzynek naszych użytkowników.

Bariera „Indywidualna”

Koncepcja zindywidualizowania ostatniej bariery antyspamowej, bariery użytkownkia, pojawiła się w Onecie kilka lat temu. Sukcesywnie zmienialiśmy architekturę by sprostać założeniom biznesowym i ułatwić obsługę filtrów. Koncepcja ta jest równocześnie naszą odpowiedzią na „Spam subiektywny”. To odbiorca poczty najlepiej wie których maili nie chce, operator ma jedynie podpowiadać użytkownikowi, które maile są „podejrzane” i umieszczać je w folderze SPAM. Użytkownik dwoma przyciskami – Spam oraz Nie spam – ma pokazywać co myśli o danej wiadomości tworząc swoją indywidualną bazę. Baza służy analizie statystycznej treści maila i jej klasyfikacji. Oprócz tego użytkownik może tworzyć własne reguły pocztowe, za pomocą których może blokować wybranych nadawców i wybrane typowe zawartości pola „Temat”. Bariera Indywidualna służy już tylko i wyłącznie ochronie skrzynek użytkowników, stabilność naszych systemów byłaby zakłócona gdyby fala spamu miała się zatrzymać dopiero na niej.

Koncepcja ochrony antyspamowej dla poczty przychodzącej w Onecie ma utrzymać dynamiczną równowagę pomiędzy indywidualnym podejściem każdego użytkownika i charakterem treści, które otrzymuje, równowagę pomiędzy zgłoszeniami dotyczącymi błędnego klasyfikowania poczty, a zgłoszeniami o przepuszczaniu „ewidentnego” spamu i równowagę między stabilnością działania systemów, a kosztami ich utrzymania.

Liczba maili odrzuconych w „Barierze systemowej” przez filtr „Nieprawidłowy wpis revDNS” na przestrzeni tygodnia. Widać skoncentrowane ataki trwające do 2 godzin.

Praca w zespole antyspamowym to praca fascynująca, choć nie łatwa, a nierzadko niewdzięczna. Bo spamu nie da się przewidzieć. Często fala spamu jest nieprzewidywalna, ma nową i błyskotliwą charakterystykę. Nie wiadomo na której barierze się zatrzyma i na którym filtrze z tej bariery. Czesto zadajemy sobie pytanie: czy serwer obsługujący średnio 1000 maili na minutę wytrzyma falę 30000? Czy uda nam się zapewnić stabilność działania systemu DNS w przypadku fali 60000 na minutę/serwer? Czy odpowiednio ustawiliśmy parametry równoczesnych połączeń? A jeśli atak się przedrze? Czy wytrzyma greylisting? Co się stanie jeśli atak przedrze się do następnej bariery, czy wytrzyma architektura indywidualnych filtrów antyspamowych użytkownika?

W zespole antyspamowym ścierają się osobowości, koncepcje i pomysły. Inżynierowie nie wystarczą, niezbędny jest matematyk, przydaje się biolog i historyk. Brakuje nam jeszcze tylko wróżki Mrugnięcie okiem.

 

Artur Pędziwilk
Administrator Systemów UNIX