幕末慶応（1865～1868）ごろの豪商の中に、下町川手の北角にある酒屋・葛籠屋喜三郎の名が見える。この葛籠屋が西村家で維新の頃は酒造業を営んでいた。

明治12年（1879）、西村喜三郎は本業のかたわら、第86国立銀行（後の中国銀行）の設立に参加し、取締役に就任した。後に酒造業を廃業して頭取になり、息子の鶴太郎もあとを継いで銀行家となった。

現在の西村邸は、敷地面積約300坪（約1，000㎡）、母屋と離れ、蔵３棟がある。有名な３階の建物は、離れにつながる建築物で、３階は８畳１間、欄干つきの廊下が西と南と東をめぐる。２階は床の間つきの６畳、１階は茶室と通路である。古いのは蔵で140年ほど前（嘉永年間）に建てられたものがある。