鎌倉時代末期蒙古襲来かまくらじだいまっきもうこしゅうらいの際さい、宇都宮貞綱うつのみやさだつなによって築城ちくじょうされたと伝えられているこの城しろは、南北朝なんぼくちょうの合戦がっせんでも使用されました。戦国時代せんごくじだいには、備中伊勢氏びっちゅういせしが那須氏なすしに代かわって荏原郷えばらのごうを治おさめ、この高越城たかこしじょうを居城きょじょうにしていました。
　伊勢新九郎盛時いせしんくろうもりとき(後のちの北条早雲ほうじょうそううん)は、この備中伊勢氏出身びっちゅういせししゅっしんといわれ、青年時代せいねんじだいをこの城しろで過すごしたと伝えられています。
　野上町のがみちょうから南方向へ伸のびる丘陵きゅうりょうにあり、標高ひょうこう約１７０m、山陽道さんようどう、小田川おだがわが眼下がんかに広がり、笠岡かさおか、矢掛やかげ、井原市街地いばらしがいちが見渡みわたせます。本丸ほんまるを含ふくめて３段だんの郭くるわで構成こうせいされ、堀切ほりきりも残っており、現在も当時の様子をよくとどめています。