1944 yılında Bilecik İli Gölpazarı ilçesi Türkmen köyünde, bir çiftçi ailesinin dördüncü çocuğu olarak dünyaya geldi. İlk eğitimini doğduğu köyün ilkokulunda tamamladı Orta öğrenimini Gölpazarında bitirdikten sonra Kuleli Askeri Lisesinin sınavlarının kazanarak 1959 yılında Kuleli Askeri Lisesine girdi. 1963 yılında Kuleli'den 1965 yılında Kara Harp Okulu'ndan mezun oldu. Kara Harp Okulu'ndan mezun olduktan sonra yurdun çeşitli yerlerinde mesleği ile ilgili çeşitli görevlerde 35 sene hizmet verdi. Bu hizmetlerim arasında Edirne, Van ,Eskişehir, Ağrı ve Kocaeli İl Jandarma Alay Komutanlıkları görevlerinde bulundu.
1996 yılında Generalliğe terfi etti. General olarak Karadeniz'de Giresun'da konuşlandırılan Giresun Bölge Komutanlığının kuruluşunu tamamlayarak 2 sene Giresun Jandarma Bölge Komutanlığı görevinde bulundu. Bilahare Çanakkale Tugay Komutanlığı görevinde iken Tugayı Bilecik iline naklettirdi. 1966 yılında teğmen olarak göreve başladığı Bilecik'ten 2000 yılında General olarak emekli oldu. Küçük'ün adı milliyetçi 'Kızıl Elma' koalisyonunun organizasyonu ile tekrar duyuldu. Güneydoğu bölgesinde yüzlerce faili meçhul cinayetin faili olarak anılan JİTEM'in kurucusu.Evliyim , bir kızı ve bir torun sahibidir. Ayrıca, Türk Dünyası Araştırmaları Vakfında gönüllü olarak hizmet verme gayreti içindedir. En büyük ideali; "Yüce Türk Ulusunun bütün dünyada tek bir güç ,tek bir yumruk olarak kendini göstermesi için. Yaşadığı sürece bu ideale hizmet etmektir. Asil Türk Milletinin bir neferi olarak kalmayı. Nerede bir TÜRK varsa orada olmak en büyük dileğidir. Türk olarak dünyaya geldiği için de Yüce Allaha sonsuz şükretmektedir. 23 Ocak 2008 tarihinde Ergenekon örgütüne yönelik düzenlenen Ergenekon operasyonunda gözaltına alındı.
