当時井伊家では、直孝の遺訓で家督を継ぐ子以外の男子は、全て他藩は養子に行くか、養子となって家臣の家を継ぐことになっていた。家督争いを防ぐための手段であるが、テレビ「花の生涯」で有名になった大老井伊直弼も、井伊直中の１４男で養子の先もなく庶子の十七歳から三十二歳まで十五年間、三百俵の捨扶持で世捨て人のような生活を送りながら、学問、武芸、禅、茶道などの修行に打ち込んだところである。埋木舎とは直弼自身が、花咲かぬ埋もれ木にたとえて、逆境に安住の心を求めて名付けたもので、彦根藩士ならば大体三百石取りの住宅である。
なお、この家の中に、直弼が「」と名付けた小さな茶室がある。