現在牛島町にある二十三夜尊は、構口東の江見線と旧34号線の分岐点で、副島自転車店のところに祀っていたが、道路を作るとき邪魔になるので何処かに移転しなくてはとの話が出て、いろいろ協議の結果牛島町がその候補地に挙げられることになった。牛島町の町民が協議を重ねていたところ、当時町内（思案橋のところ）で酒造業をしていた人で後に貴族院議員になったり、また佐賀馬鉄（馬車鉄道）の誘致で活躍されたり、循誘小学校の前身で柳町校舎といわれたときの学校敷地を寄付されたりした、下村辰右衛門さんが『二十三夜尊を祀った町には火災が起こらない』との話をされたので、これを契機として移転の話が決まった。移転先は、今の構口西堤防の松林を切り開いてそこに祀ることになった。そのとき、祠の石造りに安置することになり、下村さんが寄付されて明治26年7月23日に移転落成した。爾来、初代自治会長森喜太郎、２代目角町、３代目小宮、４代目吉村、５代目馬場卯一、６代目香月と二十三夜尊まつりを受け継いできた。まつりの様子は、町内に舞台を作り、花火を打ち上げ、景品の抽選会や金魚すくいなど夜は10時頃まで大変賑わった。また、午前10時には僧侶を迎えて、お祀りしていた。お蔭様でこれまで牛島町には一度も火災が発生せず大変感謝している。

千葉家は下総（千葉県北部・茨城の一部）の桓武平氏で、蒙古襲来の文永の役（1274）に九州に下向した武士団で、戦後そのまま小城の晴気荘の地頭となり、小城・杵島・佐賀の一部を領した。全盛時代は、肥前国主と自称し小城を国府・尼寺国府を府中と呼ばせたこともあるが、戦乱の頃は親子兄弟の内輪もめが絶えなかった。 　永祿2年（1559）正月11日、龍造寺隆信によって千葉胤正の小城晴気城は落され、兄の胤朝は陣没。少弐冬尚は逃れて仁比山で自害した。 　胤正は、この仇を打つには神代勝利の力を借らねば出来ないと考え、勝利に援を乞いに山内に来た。勝利は若い頃一時千葉家に居たこともあり、胤正を三瀬の土師村に住わせた。胤正は家伝の八龍宮を氏祖と崇め、妙見菩薩の祠を建て祀った。 　仇討ちの機をうかがっていたが、来せぬまま文禄2年（1593）逝去。『平日義大神祇』とおくり名（法名）され、皿山の西の丘に葬られた。ここを屋形山というのは、千葉家の家柄に対する敬称で、館の字を当てない。 　ここには敗戦後まで、立派な松があった。江藤新平はその末孫という。 　一緒に葬ってあるのは、胤正の一人娘で数奇な一生を送り寛文元年（1661）7月晦日卆。眞如院殿妙光日住大姉である。