이 서원은 동창천 물이 굽이쳐 흐르는 선암(仙巖)에 자리 잡고 있다. 김대유(金大有)와 박하담(朴河淡)을 향사(享祀)하던 곳이다. 초기 창건은 1568년(선조 1) 매전면운수정(雲樹亭)에 두 분의 위패를 봉안하고 향사하여 향현사(鄕賢祠)라 하였다. 이곳은 1577년(선조 10) 군수 황응규(黃應奎)의 주선으로 사우(祠宇)와 위패(位牌)를 옮겨 선암서원이라 개칭하였는데 1868년 대원군의 서원 철폐령에 의해 훼철되었다. 지금의 건물들은 1878년(고종 15) 박하담(朴河淡)의 후손들이 다시 중창하여 선암서당으로 고쳐 오늘에 이르고 있다.