일본왜성 인근의 태화서원은 2019년 4월에 현재의 위치로 이전한 월성 이씨 종중의 서원이다. 태화서원은 이전 전 중구 문화의 거리에 위치한 울산도호부 도총소 건물을 태화서원으로 사용하였었다. 도총소는 무관들이 회의를 하던 곳이다. 울산도호부 도총소는 정조 21년(1797년)에 세워졌으며 구한말과 일제강점기를 거치면서 울산 행정체계가 바뀔 때마다 상부 면사무소, 울산 면사무소로 바뀌었다.
당초 1951년 태화서원 창립 당시에는 배향 선조가 시조 휘 이알평, 중시조 휘 이거명, 열헌공 휘 이핵, 동암공 휘 이진, 익재공 휘 이제현, 백사공 휘 이항복 6현(賢)이었으나 감실이 좁고, 울산의 또다른 경주이씨 사당인 운강사(雲岡祀)에 모신 열헌공 휘 이핵, 동암공 휘 이진, 익재공 휘 이제현 3현(賢)과 중첩되어 오랜기간 공론을 거쳐 2016년도에 3현(賢)은 철향하고 현재에는 시조이신 은열왕 휘 이알평, 중시조 휘 이거명, 백사공 휘 이항복 3현(賢)을 배향하고 제향하고 있다. 옛 태화서원의 도총소 건물은 공연과 전시, 문화강좌가 열리는 복합문화공간 [태화어울마당]으로 사용되고 있다.