Wie die Anfänge der Herrschaft Erbach, so ist auch die frühe Baugeschichte ihrer Stammburg weitgehend unbekannt. Vermutlich entstand die Burg Erbach als Wasserburg auf einer Mümlinginsel. Aufgrund der Bedeutung der Herren von Erbach als königliche Ministeriale ist eine Entstehung der Burg im 12. Jahrhundert wahrscheinlich. Frühestes bauliches Zeugnis ist jedoch der noch aufrecht stehende Bergfried. Sein imposantes Mauerwerk aus Buckelquadern lässt ihn in die erste Hälfte des 13. Jahrhunderts datieren.