高倉天皇の安元元年（1175）、窪田の地頭因幡守藤原利常は諫言により、筑前国香椎に蟄居させられた。利常は深く香椎宮を尊信し、１日も早く其の冤罪が解けることを祈り、その願いが成就したときは、窪田郷に香椎宮を勧請し永く祭祀することを誓った。 　その願いがかない、ほどなくして罪を赦されて窪田に帰ったある夜、筑前国香椎宮より白鳥が飛んできて、庭に降り立った夢を見た。不思議に思った利常は、翌朝起きて庭先を見ると１本の白羽の矢が突きささっていた。これはまさしく香椎の大神のお告げと、矢を石櫃に納めて、西南にある森の地中に深く埋め、使いを筑前香椎宮に遣わし、分霊を請けてきて、この地に香椎宮を建立した。その後、香椎の宮はたびたび火災により焼失したので、現在の地に改めて遷座し、産土神として信仰されるようになった。矢を納めた櫃を埋めた森は矢櫃の森と呼ばれるようになった。

　慶長年間（1596〜1615）、１人の年老いた漁師が、毎日、漁にでては、今の神社の辺りに舟をつないで上陸するのを習慣としていた。いつも舟でそこまでくると葦のなかから光るものがあったので、上陸地点を間違うことはなかった。老漁師は沖の島さんを熱心に信仰していたので、その神さまの霊がその地に降りてきて導いたのだろうと評判になった。 　あるとき、領主の龍造寺政家公が巡視にこられたとき、その話を聞き、感心してこの地に神社を建立して、沖祇大明神を祀ったと伝えられている。

　戦国時代の北九州は、龍造寺隆信が支配をしていた。ところが天正10年（1582）島原の有馬氏は隆信に従わず島津氏と通じたため、天正12年３月24日、隆信は2万5000余りの大軍を率いて、有馬・島津の連合軍を島原に攻めた。 　島原沖田畷の戦いは兵力で圧倒的に優位に立っていたが、運命の神は隆信には味方せず、龍造寺軍は散々に打ち破られていた。覚悟を決めた隆信は、自害をしようと腰をおろしたが、側近の家来たちも散り散りになり、側には小姓の鴨打新九郎、田中善九郎、福地千などが従っていた。３人とも16才の若武者であった。福地千は、千の字を上下に分けるとカナのノとナになることから、ノナと呼ばれていた。隆信は３人を呼び、手ずから己れの髪を切り、それを分け与えながら、 　「お前たちは、まだ歳も若いので、今この戦場を逃れて国へ帰っても誰も卑怯者と罵りもしないであろうから、早くこの場を去れ」と、云いきかせた。しかし、３人は隆信のいうことを聞かなかった。 　まず、鴨打新九郎は、 　「殿のお言葉はたいへん嬉しく存じます。しかし弓矢とる武士が主君を見捨てて逃れることがどうしてできましょう。私は殿の前で立派に討ち死にをしますので、お許しください」と、一礼して家来と一緒に、島津勢の中へ斬りこみ、壮絶な死をとげた。それを見た田中善九郎と福地千は、涙を流して、 　「私たちも鴨打に遅れをとってはなりませぬ。私ら２人、殿の死出の御先をいたします」と、鴨打同様、島津勢に斬りこみ、最期をとげた。これを見た隆信は、もうこれまでと、 「龍造寺隆信これにあり、首打って手柄にせよ」と声高に呼ばわって、腹に短刀を突き刺した。その首は島津の侍大将河上左京亮が討ち取った。 　悲壮な最期をとげた３人の若武者のうち、福地千の縁故者により、明治17年に龍顔寺に記念碑が建立されている。