Deteksi serangan malware dengan domain Generation Algorithm berdasarkan analisis traffic DNS

Abstract

Teknik penanganan terhadap penyerangan botnet telah berkembang. Namun, penyerang menemukan teknik lain dalam menghindari pendeteksian dan blokade sehingga dapat bertahan hidup lebih lama. Domain Generation Algorithm (DGA) merupakan salah satu algoritma yang digunakan oleh penyerang untuk membangkitkan domain dengan karakteristik dan pola penamaan yang acak dalam jumlah besar, tetapi hanya sebagian dari domain tersebut yang digunakan botnet untuk berkomunikasi dalam kanal command and control (C&C). Penyerang memanfaatkan DGA untuk dapat berkomunikasi lebih lama dalam kanal C&C. Adanya pembangkitan domain dengan karakteristik dan pola penamaan yang acak dalam jumlah besar membuat penyerang dapat dengan mudah mengganti domain untuk komunikasi dengan domain lain jika pada suatu waktu terjadi pemblokiran domain yang sedang digunakan. Teknik terbaru untuk mendeteksi serangan DGA adalah dengan menganalisis response Non-eXistent Domain (NXDOMAIN). NXDOMAIN merupakan salah satu jenis DNS response yang memiliki RCODE bernilai 3, yang menunjukkan domain tersebut tidak tersedia di DNS server. NXDOMAIN dapat dimanfaatkan dalam pendeteksian karena sebagian domain hasil malware dengan DGA yang tidak aktif akan menghasilkan response NXDOMAIN saat botnet ingin mencari domain yang menjadi titik temu komunikasi dalam C&C. Analisis dapat dilakukan dengan menangkap dan melakukan parsing traffic DNS query dan response, sehingga response NXDOMAIN yang dimiliki tiap domain dapat digunakan untuk menentukan apakah suatu domain merupakan hasil serangan DGA atau tidak. Skripsi ini membuat sebuah perangkat lunak untuk mendeteksi domain serangan DGA dengan menganalisis jumlah NXDOMAIN yang diberikan tiap domain. Metode yang digunakan adalah dengan menghitung jumlah response NXDOMAIN dan jika suatu domain memiliki jumlah response NXDOMAIN lebih dari dua akan dianggap sebagai domain hasil malware dengan DGA. Hasil yang diberikan adalah sekumpulan domain dan rekapitulasi jumlah domain DGA dan non-DGA dari penangkapan traffic DNS menggunakan perangkat lunak yang dibuat dan dataset malware traffic yang disediakan oleh Stratosphere IPS. Tingkat akurasi dari perangkat lunak yang dibuat diukur dengan menghitung nilai precision, recall dan F1 score pada sampel pcap CTU-Malware-Capture-Botnet-91, CTU-Malware-Capture-Botnet-221-1, dan CTU-Malware- Capture-Botnet-25-4. Nilai terbaik dihasilkan dari analisis terhadap sampel CTU-Malware- Capture-Botnet-25-4 dengan precision sebesar 0,999, recall sebesar 0,994, dan F1 Score sebesar 0,997 yang menunjukkan metode dapat digunakan dalam mendeteksi domain serangan malware dengan DGA.