答案
(1) $A=\left[\begin{array}{ccc}1 & -1 & 0 \\ -1 & 1 & 0 \\ 0 & 0 & 3\end{array}\right]$, 由 $|\lambda E-A|=\left|\begin{array}{ccc}\lambda-1 & 1 & 0 \\ 1 & \lambda-1 & 0 \\ 0 & 0 & \lambda-3\end{array}\right|=0$ 得 $\lambda=0,2,3$
(2)由 $A X=0$ 求得 $\lambda=0$ 对应的特征向量为 $\alpha_1=(1,1,0)^T$
由 $(2 E-A) X=0$ 求得 $\lambda=2$ 对应的特征向量为 $\alpha_2=(1,-1,0)^T$
由 $(3 E-A) X=0$ 求得 $\lambda=3$ 对应的特征向量为 $\alpha_3=(0,0,1)^T$
再将三个向量单位化, 得 $P=\left[\begin{array}{ccc}\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} & 0 \\ \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} & 0 \\ 0 & 0 & 1\end{array}\right]$,在正交变换 $x=P y$ 下, $f=2 y_2{ }^2+3 y_3{ }^2$