ISP tarafından bakıldığında elimizde sınırlı ip adresi olduğu için müşterilerin her bağlantısında farklı ip adresi veriliyor ve eğer bir ip adresi spam kara listelerine girdiyse o ip adresini başka müşteri aldığında mail gönderemiyor ya da gönderdiği mailler Junk, Spam klasörlerine düşüyor.

ISP ortamında yüzbinlerce kullanıcı olduğu için ve bu yüzbinlerce kullanıcı milyonlarca mail gönderdiği için hangi mailin spam hangisinin normal olduğunu bulmanın kolay bir yolu yok. Tabi patronların lügatında yok/olmaz diye bir sözcük yer almadığı için iş başa düştü ve milyonlarca mailin aktığı bir sistemde %kaç oranında SPAM mail gidiyor, %kaç oranında ip adresi spam listelerine girmiş sorularına cevap aramaya koyulduk.

Teknik olarak cevaplandırmaya çalıştığımız sorular: ağımızdan ne kadar spam gönderiliyor, hangi ip adresleri spam gönderiyor ve ötesinde spam gönderen ip adreslerinin kaç tanesi kara listelere girmiş durumdadır?

İlk olarak bir ip adresinin spammer olup olmadığını bulacak mantık düşündük.  Spammer mantığımız şöyle çalışıyor: bir ip adresi belirli değerden fazla(örneğin 500) SMTP bağlantısı kurmaya çalışıyorsa bu ip adresi spam göndermeye çalışıyor demektir.

Adım adım Spam listesi çıkarma

İlk olarak  TCP/25 portuna yapılan bağlantı isteklerini(SYN paketi)  loglamamız gerekiyor

# tcpdump -nntttt -i lagg0  -w hamlog.pcap   \( src net 199.0.0.0/17 src net 192.0.0./16 \) and dst port 25 and  ‘tcp[13] & 2 != 0’ &

Yukardaki komutu tüm SMTP trafiğini görecek bir konumda çalıştırmak gerekir. Bunun için TAP cihazları ya da Switchlerden mirror alarak Linux sistemler kullanılabilir.

hamlog.pcap dosyası bizim ip bloğumuzdan yapılan tüm SMTP bağlantılarını içermektedir.

Bu dosya içerisinden hangi ip adresinin kaç adet SMTP bağlantısı başlatmak istediği bilgisini çıkaralım

#tcpdump -nn -r hamlog>textlog

#cut -f3 -d” ” cuma |cut -f1,2,3,4 -d”.”|sort -n|uniq -c |sort -nr>liste

Listeye bakacak olursak aslında spam gönderici ip adresleri hemen belli oluyor. Bir ip adresinin 32.000 SMTP bağlantısı başlatma isteğinde bulunması bormal değildir.

326189 88.101.218.151
220194 99.79.22.97
218239 99.79.63.9
189308 17.17.16.131
144264 99.79.43.122
142219 99.79.13.25
122556 99.57.67.104
121786 99.79.102.70
120254 99.79.91.239
119938 99.79.126.59
119047 99.79.79.183
103905 99.79.76.173
103525 99.79.91.221

Bu dosya hangi ip adresinin kaç adet STMP bağlantısı kurmaya çalıştığını da içermektedir. Bize sadece hangi ip adresleri spam gönderiyor bilgisi lazım. Bu bilgiyi de aşağıdaki komutla alabiliriz.

#akw -F ” ” ‘{print $2}’ >liste

Sonra ortaya çıkan ip adreslerini RBL sorgulaması yaparak hangilerinin SPAM kara listelerine girdiğini bulabiliriz.

Komut satırından RBL sorgulaması için rblcheck yazılımını kullanıyorum.

#for a in `cat sorgu`;do rblcheck -m $a |grep -v “not listed”;done >>SONUC

SONUC dosyasi icerigine bakacak olursak hangi ip adreslerinin hangi karalistelere girdiğini görebiliriz.

11.22.111.243 listed by xbl.spamhaus.org
11.22.60.245 listed by pbl.spamhaus.org
11.22.81.66 listed by pbl.spamhaus.org
11.22.35.151 listed by xbl.spamhaus.org
11.22.94.254 listed by xbl.spamhaus.org
11.22.31.0 listed by pbl.spamhaus.org
11.22.78.254 listed by pbl.spamhaus.org
1.23.4.175 listed by xbl.spamhaus.org
11.22.76.9 listed by pbl.spamhaus.org
11.22.71.101 listed by xbl.spamhaus.org
11.22.54.221 listed by xbl.spamhaus.org
11.22.81.27 listed by pbl.spamhaus.org
7.7.27.29 listed by xbl.spamhaus.org

NOT: Burada uygulanan yöntem tüm SMTP trafiğini TAP cihazlarıyla kaydedilmesi ve kaydedilen trafik üzerinde işlem yapılmasıyla gerçekleştirilmiştir.

The post ISP’ler için SPAM istatistiği çıkarma first appeared on Complexity is the enemy of Security.

* Normalde 587. portta çalışan uygulama zorunlu kimlik doğrulama gerektirdiği için SPAM göndermek çok kolay olmayacaktır ama bizde çoğu arkadaş  dogrudan 587. portu 25’e yönlendirme yaptığı için spam tekrar hortlayabilir.

Spam gönderenler listesinde top 25 listesi

The post Ekim Ayı Spam Analizi: Türkiye dünya spam sıralamasında 23. sırada first appeared on Complexity is the enemy of Security.

 
Türkiye’nin SPAM listesindeki sıralaması

1. Vietnam
2. India
3. Korea, Republic of
4. Poland
5. China
6. United States
7. Russian Federation
8. Argentina
9. Colombia
10. Romania
11. Turkey

The post Eylül 2009 Spam Analizi first appeared on Complexity is the enemy of Security.

Ağustos ayındaki e-posta trafiğinin %79’unu spam mailler oluşturuyor. Bu da SPAM/Normal Mail oranında ciddi bir düşüş yaşandığını gösterir fakat spamcilerin de yaz tatili yaptığını düşünürsek(yaz aylarında daha az spam gönderiyorlar) bu değerin önümüzdeki aylarda yine yükseleceğini tahmin etmek zor değil.

Ülke Adı

1. Vietnam
2. India
3. Korea, Republic of
4. Poland
5. United States
6. China
7. Russian Federation
8. Turkey
9. Colombia
10. Argentina

The post Ağustos 2009 Spam Analizi first appeared on Complexity is the enemy of Security.

TTNet’in yaptığı spam engelleme çalışmalarının ne kadar işe yaradığını ve kendi sorumlu olduğum Antispam servislerinin spam yakalama oranlarını arttırma amaçlı 3 aydır düzenli olarak yaptığım spam analizinin Mayıs raporu şekildeki gibi çıktı. Nisan ayına göre listede ufak değişiklikler var. Listenin başını USA almış durumda , Türkiye ise ikinciliği henüz kaptırmamış gözüküyor. Brecilya’da yaşanan düşüşün sebebi o ülkeden gelen maillere karşı greylisting tarzı bir yöntem uygulamam.

Spam Gönderim Oranına Göre Top 10 Ülke

1. United States
2. Turkey
3. India
4. Brazil
5. Russian Federation
6. Poland
7. Korea, Republic of
8. Vietnam
9. Colombia
10. Romania

The post Mayıs 2009 Spam Analizi first appeared on Complexity is the enemy of Security.

Geçen aldığım değerlere göre biraz değişiklik var ama ilk ikili  yine değişmemiş gözüküyor, Hindistan bir atağa geçerek 6 .sıradan 3. sıraya yükselmiş.

Bakalım TTnet’in yaptığı çalışmalar buraya yansıyacak mı?

Spam Gönderme Oranına Göre Top 10 Ülke

1. Brazil
2. Turkey
3. India
4. United States
5. Russian Federation
6. Poland
7. Korea, Republic of
8. Vietnam
9. Romania
10. China

The post Nisan Ayı Spam Analizi first appeared on Complexity is the enemy of Security.

Calismalarimin bir ayaginda  Spamlerin hangi ulkelerden geldigini belirlemek var. Bunun için spam yakalama yazılımlarının loglarından kaynak ip adreslerini alarak basit bir script(ıp-Ülke bulma islemi icin Gokhan Alkan  sagolsun GeoIP ile birseyler yazdı) ile hangi ulkelere ait oldugunu bulduruyor ve her ülkenin ne kadar spam gönderdiğini hesaplıyorum.

Sonrasında spam gönderen ülkelerin ne kadar gerçek mail gönderdiğini hesaplayıp bu ülkelerin ip aralıklarına  Grey listing uygulayacağım(Dogrudan grey listing çalıştırmıyorum ziragerçek maillerde yavaşlığa sebep oluyor). Böylece ilgili ülkeden gelen spam oranlarını düşürmeyi planlıyorum.

Aşağıdaki istatistikler günde ortalama 600.000 spam alan ve üzerinde sadece Türk firmalarına hizmet veren domainlerin olduğu spam yakalama yazılımlarından aldığım verileri içeriyor.

Görüleceği üzere Turkiye ikinci sırada. Bunun en temel sebebi zombi konumuna düşmüş ADSL aboneleri. TTNet’in bugünlerde duyurduğu çalışma sonrası bakalım bu oran değicek mi?

Vakit buldukça bu istatistikleri güncelleyeceğim ve spam üzerine yaptığım çalışmaların etkisini izleyeceğim.

Spam gönderme oranına göre ülkeler;

The post Turkiye’den Spam Istatistikleri first appeared on Complexity is the enemy of Security.

Şimdilik e-posta adreslerinin kötü niyetli kullanımı olarak Spam, Phishing ve adres çalma yöntemlerini görüyoruz. Bir de pek önemsemediğimiz fakat bazı durumlarda ciddi olarak işe yarayan bilgiler sunar e-postalarımız. Nedir bu bilgi? Çoğu site(legal/illegal), forum, download hizmetleri vb gibi yerler basit bir işlem için bile e-posta adreslerimizi istiyor. Internet altyapısı kullanılarak bir kişinin hangi adreslerde dolaştığı(Gmail açıkken google kullanıyorsanız tüm aramalarınız kaydedilir örneği), nerelerden hangi dosyaları indirdiği, hangi forumlara, gruplara üye olduğu gibi bilgiler rahatlıkla toplanabilir.

Bazen öyle durumlara giriyoruz ki bir siteden/forumdan yorum okumak için bizden e-posta adresimizi istiyor. Vermeseniz amacınıza ulaşamayacaksınız verseniz e-posta adresiniz o site/foruma kayıtlı olacağı için ilerde sitenin/forumun görüşlerinden dolayı sıkıntı yaşayabilirsiniz. Bu gibi durumlarda yedek birkaç e-posta adresi bulundurmak bir çözüm olsa da  bazen adreleri karıştırıp gerçeğini kullanabiliyor insan.

Şöyle anlık oluşturup kullanabileceğimiz anonoim bir mail hizmeti olsa. Üye olmak için bir dünya girdi vermesek sadece e-posta adresini alsak, kullansak ve atsak diyorsanız Yopmail’i öneririm. Yopmail bu tip paranoyak(!) kişilikler için geliştirilmiş anonim bir e-posta hizmeti. Bir site sizden üyelik için adres mi istedi ? Hemen Yopmail’e gelip rastgele bir isim yazın ve saniyesinde anonim, geçici mail adresiniz oluşsun. Kullandıktan sonra mail adresini iptal etme zahmetine bile girmenize gerek yok.

Hem her yere mail adresinizi bırakmayarak  Spamcilerden kurtulmuş hem de gerekmediği yerlere mailinizi vermeyerek  ilerde başınıza gelebilecek muhtemel sıkıntılardan korunmuş olursunuz.

The post E-posta adresinizi her siteye yazar mısınız? first appeared on Complexity is the enemy of Security.

Bazi SMTP sunucularda ters dns kaydi kontrol yontemi ile spam koruma yapilabiliyor. Her ne kadar cok etkin olmasa da spam gonderen IP adresleri genellikle ters dns kaydina sahip olmadigi icin ise yariyor. Tabi bu arada spam olmayan fakat ters dns kaydi bulunmayan sunuculardan da mailler kabul edilmiyor. Burada maili kabul etmemenizin sebebini hata mesaijnda gosterebilirseniz (ki bildigim tum unix tabanli mtaler destekliyor) karsidaki en azindan sebebini bilir.

Asil bahsetmek istedigim bu isin nasil calistigi , gorebildigim kadari ile ters dns kaydi sorgulamasi yanlis anlasiliyor.

SMTP_A (IP_A) SMTP_B (IP_B) seklinde iki tane smtp sunucumuz olsun. Bunlardan A mail gonderecek B de ters dns kaydi kontrolu yapan sunucumuz..

SMTP_A makinesi mail gondermek icin SMTP_B’ye baglaniyor, baglanti baslangicinda kendini helo/ehlo ile tanitiyor. Burada kendini tanitirken kullandigi hostname onemli.

SMTP_A —> ehlo “mail.huzeyfe.net” —->SMTP_B

SMTP_B baglantinin geldigi IP adresini(IP_A) aliyor, PTR kaydini sorguluyor eger SMTP_A’nin ehlo/helo komutunda belirttigi isim cikarsa Ok diyor, yoksa baglantiyi kabul etmiyor.

Bu yontem uzerinde tek bir IP adresi ve tek bir domainden sorumlu smtp sunucular icin yararli olsa da karmasik sistemlerde ise yaramiyor hatta sistemin yanlis algilanmasina sebep olabiliyor. Aslinda en ideali ters dns kaydinin kontrolunu bir skora baglamak ve SPAM icin gerekli skorun toplanmasinda kullanmak ki cogu yazilim artik bu sekilde calisiyor.

The post SPAM Engellemede Ters DNS(Reverse DNS) Kaydi Calisma Yontemi first appeared on Complexity is the enemy of Security.

Sonra bu spam mesajlari Spamassassin’e Spam olarak tanitarak bundan sonra benzer gelebilecek mesajlara karsi daha direncli olmasini saglayabilirsiniz.

Fakat gelen mesajlar icinde spam mesajlari gormek de hos olmuyor. Kullandigimiz mail istemci programlari araciligi ile cesitli kurallar yazarak SPAM olanlari belli bir dizine atabiliriz.

Bu bir cozumdur fakat yapilan islem sunucu tarafinda degil de istemci tarafinda oldugu icin cok esnek durmuyor. Bir de bu isi yuzlerce kullanici icin teker teker yapmak zorunda oldugunuzu dusunurseniz icinden cikilmaz bir hal alabilir.

Bunun yerine Spam mesajlari daha istemciye gelmeden sunucu tarafinda ozel bir dizine tasimak(Zpam, SPAM, spam gibi) ya da sistemde olusturdugunuz bir e-posta adresine yönlendirmek daha saglikli bir cozum.

Ozel bir dizine tasinan spam mesajlar sa-learn –spam komutu araciligi ile sisteme SPAM olarak tanitilabilir.

Boylece tek merkezden yapilan degisiklikle kullanicilari rahatsiz etmeden spam mesajlari eleyebiliriz. Kullanici arada bir SPAM klasorune bakarak(IMAP kullandigi varsayiliyor) gelen mesajlar arasinda gercek maillerin olup olmadigini kontrol edebilir.

Bunu yapmak icin cesitli yontemler var, benim kolayima gelen Procmail kullanmak. Sistemde tek bir hesap icin yukarida bahsettigim islemleri nasil yapilacagi konusunda kisa ipuclari.

# cd /home/vpopmail/domains/lifeoverip.net/huzeyfe/
# ls
.procmailrc .qmail Maildir

.procmail ve .qmail dosyalarinizi sizin olusturmaniz gerekecek.

.qmail dosyasina asagidaki satirlari ekleyin.

| /usr/local/bin/procmail -pm .procmailrc

sonrasinda .procmail dosyasini acarak asagidaki satirlari kendinize uygun sekilde duzenleyerek ekleyin.

SHELL=”/bin/bash”
LOGFILE=/tmp/procmail.log
#VHOME=`/home/vpopmail/bin/vuserinfo -d [email protected]`
VHOME=”/home/vpopmail/domains/lifeoverip.net/huzeyfe”
VERBOSE=”no”

:0wic
* ? test ! -d $VHOME/Maildir/.Spam
|( /var/qmail/bin/maildirmake $VHOME/Maildir/.Spam ; /bin/echo “INBOX.Spam” >>

$VHOME/Maildir/courierimapsubscribed )

#Spam mesajlar Maildir/.Spam klasorune
:0:
* ^X-Spam-Status: YES
$VHOME/Maildir/.Spam/

:0:
*
$VHOME/Maildir/
:0w
| /usr/home/vpopmail/bin/vdelivermail ” bounce-no-mailbox

NOT: tek bir kullanici icin degil de bir domaine ait tum kullanicilar icin benzer bir yapi kurmak icin  /home/vpopmail/domains/domain_ismi/ dizini altindaki .qmail-default  dosyasi kullanilabilir.

The post Spam mesajları Saklamak first appeared on Complexity is the enemy of Security.