正しくは臨済宗寺院「瑞石山龍造寺」といい、和銅4年（711）に行基が十一面観音像を作し、建立したと伝えられる臨済宗寺院。 慶長年間に龍造寺八幡宮とともに現在地に移された。 もとは龍造寺村（現城内）の高台にあり、遠く有明海からも望まれるほどだったので高寺と呼ばれていた。 天井絵の龍が毎晩抜け出して境内の池の水を飲むので和尚の法力により画中に帰した。 その時わざとウロコを一枚落としたため、その後は外へ出ることは無くなったという言い伝えがある。

建物は、明治20年警察部庁舎として現在の佐賀県庁本館付近に建設されたが、昭和11年に警察本部の建て替えに伴い、現在地に移設されている。 その後、佐賀県蚕糸取締所、佐賀地方経済調査庁や視聴覚ライブラリーなどとして活用されてきたが、平成21年3月29日から佐賀レトロ館として、スローフード中心のカフェレストランとして活用されている（※）。 ※2022年までに閉業。事業者公募に先駆けてトライアルサウンディングを実施中