문수산은 신라와 고려 때는 영축산이라 불리던 산으로 문수사는 산의 이름을 따서 절의 이름을 지었다고 한다. 돌을 문지르며 소원을 빌면 소원이 이루어진다는 문댐돌로 유명하다. 대한불교조계종 제15교구 통도사의 말사로 신라 선덕여왕 15년(646) 중국 유학에서 돌아온 자장율사에 의해 창건되었다고 전한다. 영취산 또는 청량산 이라고도 불렸으며 읍의 이름인 청량읍은 바로 청량산에서 유래하였다.
신라 원성왕(785~798) 때 연회국사와 관련된 기록이 있다. <삼국유사>에 의하면 연회스님은 영축산에 은거하여 항상 법화경을 읽으며 수행하였는데, 원성왕이 연회를 국사로 삼으려고 하자 그 소식을 듣고 서령(西嶺)으로 도망가다가 문수대성과 변재천녀를 만난 뒤 생각을 바꾸어 다시 암자로 돌아와 왕의 부름을 받고 국사가 되었다고 한다. 고려시대 문수사와 관련한 기록은 찾을 수 없으나 <범우고(梵宇攷)>에 사찰 이름이 나오는 것으로 보아 조선 후기까지 끊임없이 법등이 이어졌음을 알 수 있다.