NSS Labs ne kadar güvenilir?

Bir arkadaş NSS-Labs-Group-IPS-Test-Summary (2009) göndermiş ve raporun doğruluğu hakkında yorumlarımı sormuş. NSS Labs’i uzun zamandır takip ediyorum, teknik olarak yaptığı iş, yöntem ve açıklığını takdir etmekle birlikte yayınladığı sonuçların o kadar güvenilir olmadığını düşünüyorum.

Bu güven sarsılması ilk olarak bir IPS firmasına verdiği en yüksek seviye puan sonrası benim yaptığım testlerde firmanın ürününün başarısız çıkması sonrası oluştu. Ardından geçen yıl TippingPoint için yayımladığı raporlar vs şüphelerimi iyice arttırdı.  Bana göre NSS Labs gücünü kullanarak sektörü yanlış yönlendiriyor.

Test ettiği ürünleri ben de aşağı yukarı eş zamanlarda test ettim hem de çoğunu yurtdışındaki uzmanlarıyla haberleşerek gerçekleştirdim. Evet bazı ürünlede ciddi sıkıntılar var ama bu NSS’in raporunda bahsettiği basit(IP fragmentation , url evasion vs)değil. Raporda bahsettiği hatalar -her ne kadar IPS üreticilerinin gönderdiği konfigürasyondan da kaynaklanıyor olsa da- basit ayarlarla aktif hale getirilebilir diye düşünüyorum.

Velhasılı ürün seçiminde bu tip raporlara güveniyorsanız tek bir firmanın raporları sizi yanlış yönlendirebilir. Birden fazla bağımsız firmanın aynı ürün hakkındaki raporlarını incelemeniz daha sağlıklı seçimlere yönlendirecektir.

IPS satışcılarına da bir çift lafım var: NSS vs gibi firmalara çok güvenmeyin, daha bundan 4-5 yıl önce Tippingpoint NSS tarafından GoldAward alan tek ürünüm diye dolanırken şimdi NSS’e test yaptırmıyor. Aynısı sizin satmaya çalıştığınız ürünün başına da gelebilir:)

NssLabs & Tippingpoint olayına dair bazı yazılar:

http://tippingpointblog.com/2009/12/04/update-on-tippingpoint-third-party-product-testing/

http://nsslabs.blogspot.com/2009/12/tippingpoint-tests.html 

http://www.crossbeam.com/wp-content/uploads/NSS-Labs-Group-IPS-Test-Summary.pdf

http://www.securityfocus.com/archive/96/508278/30/0/threaded

http://www.tippingpoint.com/products_awards.html

This entry was posted in Network Security and tagged . Bookmark the permalink.

1 Response to NSS Labs ne kadar güvenilir?

  1. Pingback: NSS’in Q3 Anti-Malware Test Raporu Yayınladı.

Leave a Reply

Your email address will not be published. Required fields are marked *

four × one =