已知矩阵 $\boldsymbol{A}$ 的伴随矩阵 $\boldsymbol{A}^*=\left(\begin{array}{rrrr}1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 \\ 1 & 0 & 1 & 0 \\ 0 & -3 & 0 & 8\end{array}\right)$ ，且 $\boldsymbol{A} \boldsymbol{B} \boldsymbol{A}^{-1}=\boldsymbol{B} \boldsymbol{A}^{-1}+3 \boldsymbol{E}$ ，其中 $\boldsymbol{E}$ 为 4 阶单位矩阵，求矩阵 $\boldsymbol{B}$ ．