桓王府原来是齐王旧邸，不过自桓王归来以后，太后便着人修缮扩建，如今光房间就有六百余，主要布局为三，分别为府邸，花园和佛殿。