Kuil terletak di sebuah desa kecil bernama Kanipakam.
Dalam bahasa Tamil "Kani" bermaksud lahan basah dan "Pakam" bermaksud aliran air ke tanah basah. Menurut legenda kuil itu, terdapat tiga bersaudara dan masing-masing mempunyai cacat. Viz., Bodoh, Pekak dan Buta. Mereka mencari nafkah dengan mengusahakan sebidang tanah.
Pada zaman dahulu air diambil dari perigi dengan cara 'Piccota System'. Sebagai salah satu dari mereka biasa mengairi ladang melalui saluran, dua yang lain digunakan untuk bermain di Piccota. Pada satu operasi tersebut, mereka mendapati bahawa air di dalam sumur kering dan mereka tidak lagi dapat meneruskan pekerjaan mereka. Salah seorang dari mereka masuk ke dalam sumur dan mula menggali. Dia terkejut melihat alat besi memukul batu seperti formasi.
Kemudian, dia terkejut melihat darah mengalir keluar dari dalamnya. Dalam beberapa saat seluruh air di dalam sumur, berubah menjadi merah darah. Oleh itu, terkejut dengan pemandangan ilahi ini, ketiga-tiganya menjadi normal untuk menghilangkan kecacatan mereka. Sebaik sahaja penduduk kampung mengetahui tentang keajaiban ini, mereka berduyun-duyun ke sumur dan berusaha untuk memperdalam sumur itu dengan lebih jauh. Tetapi percubaan mereka terbukti sia-sia kerana idola 'swayambhu' (yang dimanifestasikan sendiri) dari Lord Vinayaka muncul dari perairan yang berpusing
kata Tamil "KANIPARAKAM" dan kemudian diucapkan sebagai KANIPAKAM. Satu lagi ciri khas idola yang mencolok dan aneh adalah bahawa ia masih berukuran besar. Pada masa ini, kita dapat melihat lutut dan perut berhala. Smt. Lakshmamma, seorang pemuja yang bersemangat telah menawarkan 'Kavacham' (Armor) kepada Tuhan, lima puluh tahun yang lalu tetapi hari ini ia tidak seberapa dan tidak sesuai dengan idola. Air suci dari sumur itu dipersembahkan kepada para penyembah sebagai theertham. Sri Varasiddhi Vinayaka sebagai penyokong atas 'Kebenaran' Idola swayambhu Kanipakam adalah pemegang kebenaran. Perbalahan antara hari ke hari antara orang diselesaikan dengan mengambil 'sumpah khas'. Orang-orang dalam perselisihan itu berenang di tangki kuil dan bersumpah di hadapan tuan. Itu diambil sebagai kebenaran Injil.
Ada kejadian ketika orang yang melakukan dosa itu secara sukarela setuju segera setelah dia mencelupkan dan banyak lagi sebelum memasuki bait suci itu sendiri. Nampaknya Tuhan melumpuhkan orang yang berdosa secara tidak kelihatan dan membuatnya bertobat dan merasa bersalah atas perbuatannya yang berdosa.