조선 중기의 무신 정무공 최진립을 제사 지내기 위한 곳으로 숙종 25년(1699)에 경주부윤 이형상이 지방 선비들과 함께 세웠다. 숙종 37년(1711)에 임금으로부터 [숭렬사우]라는 편액을 내려받았으며 후에 서원으로 승격됐다. 고종 7년(1870) 서원철폐령으로 철거됐다가 1924년 다시 건립됐다. 용산서원에서 서남쪽으로 조금 떨어진 곳에는 신도비각이 있다.
최진립은 지금의 경주시 현곡면에서 태어났다. 임진왜란 때 동생 최계종과 함께 의병을 일으켰으며, 정유재란 때는 권율과 함께 울산 서생포 전투에서 공을 세웠다. 병자호란 때 용인 험천에서 싸우다가 순절하였으며 자헌대부 병조판서에 추증되고 청백리로 기록되었다.