JR 伯備線は、昭和３ 年に全線が開通し、方谷駅も同時に建設されました。方谷駅駅舎は、シンプルな木造平屋の建物ですが、車寄が特徴的であり、柱がL 字型のモルタルで作り出され、象徴的な門型による威厳のある「駅の顔」を表現しています。
　駅名は中井町出身である山田方谷の名前からと言われていますが、当時は駅名に人名が採用されることはなく、地元の方々が中井町西方の谷に位置するという理由で「方谷駅」が良いという説明のもと、「方谷駅」が採用されたとの逸話も残されています。人名のついた駅としては初期のものにあたります。