西の丸西端空壕の橋を渡った台地を観音台といい、往昔産士神がまつられていたと伝えられている。藤原不比等が近江の太守に任じられて淡海公と呼び、この土地にすまわれたこともあり、その子藤原房前が護持仏（ごじぶつ）として所持していた黄金の亀の背に乗った高さが１寸８分の聖観音を本尊にして一寺を建立し、金亀山彦根寺観音と名付けた。それは養老４年（７２０年）元正天皇の御代のことであった。
その時以来彦根山を金亀山ともいい、後に出来た彦根城を金亀城とも呼ぶようになった。
なお、ここは旧藩時代に出廓があり、合戦の際には人質を入れるために人質郭と呼ばれたが、今はこの郭も取り払われて残っていない。