大隈重信から譲り受けた��田早苗（１８６０〜１９３８）が別荘として使用していた。��田は明治１５年大隈重信の改進党結成、東京専門学校（現早稲田大学）創設に参画し、早稲田大学で英国憲法史やシェークスピアを講ずるかたわら、経営の中心に立つ。��田早苗の妻ふじが短歌を習っていた師匠の阪正臣（ ばんまさおみ）は、別荘を「香実荘」と名付けた。
昭和２８年合同証券の相場師、佐藤和三郎が譲り受けた。佐藤は獅子文六の小説「大番」の主人公ギューちゃんのモデルであった。

その後昭和３１年日本画家佐藤大寛（１８９８〜１９８３）が別荘として使用し「悠山荘」と名付けた。