Zulkarnaen menghabiskan satu dekade di kamp pelatihan anggota Jemaah Islamiyah lainnya.
Ia menjadi kepala operasi Jemaah Islamiyah setelah pendahulunya, Encep Nurjaman, atau yang juga dikenal sebagai Hambali, ditangkap di Thailand pada 2003.
Polisi Indonesia mengatakan dia mendalangi serangan gereja yang terjadi secara serentak di banyak wilayah Indonesia selama Natal dan Malam Tahun Baru tahun 2000 yang menewaskan lebih dari 20 orang.***