சிதம்பரத்தில் சாயரட்சை நேரத்தில் நடராஜரின் ஆனந்த தாண்டவத்தை காணமுடியாமல் வருந்திய விஸ்வாமித்திரர் இத்தலம் வருகிறார். இவரது வருத்தத்தை போக்க இங்கு நடக்கும் அர்த்தஜாம பூஜையின் போது, சிதம்பரத்தில் ஆடிய தாண்டவத்தை விஸ்வாமித்திரருக்கு இறைவன் காட்டுகிறார். எனவே இத்தலம் சிதம்பரத்திற்கு இணையாக கோயில் ஆனதால், ஆதிசிதம்பரம் என்றும் கோவிலூர் எனவும் அழைக்கப்படுகிறது.