備中国奉行小堀遠州１６００年（慶長５年）の関が原の戦いで毛利氏は広大な領地を徳川に没収され、毛利氏の勢力圏にあった備中国は徳川氏の直接支配知となった。

そして、小堀正次（遠州）の父が備中国奉行として政治を行い、備中松山城を守ることになった。
当時、臥牛山上の松山城は備中兵乱以来有れるにまかされておりふもとの御根小屋も戦火で焼けていたので、正次はやもなく城下の頼久寺を仮の住まいとした。

正次が松山城を守ったのは、松山城が備中の中心にあって戦略的にも重要な位置を占めていたからであり、西国の大名のおさえとしたのである。
１６０４年（慶長９年）正次が死去し、子の正一が跡を継いで備中国奉行となった。正一は、一般に遠州と呼ばれた。
遠州は武士としても立身出世を遂げたが、多芸多能な天才であり、色々な面で後世に名を残した。

茶の湯に優れ、天下第一の茶匠の地位に上りつめ、武芸茶人の筆頭に挙げられた。その茶の湯は「きれいさび」と評され、将軍家茶道師範名を得て遠州流をおこした。

建築や造園にも天才的な腕を発揮しており、今日でも私達の目に触れることができるに二条城二の丸や江戸城の庭園等数々の建築や庭園がある。
備中国奉行として実験を握った遠州は、備中国だけでなく西国大名をおさえるためにも、荒廃していた松山城を再建した。小松山の中世の山城の遺構の上に近世の城を造ったのである。

また、御根小屋跡に陣屋を建設し、頼久寺からこれに移っている。遠州の建設した陣屋は、小松山の山城に対して下屋敷と呼ばれていた。下屋敷には茶室を造り、庭園を作庭している。
遠州の作った庭は現在も高梁高等学校の中に残されている。