设椭圆 $E: \frac{x^2}{a^2}+\frac{y^2}{b^2}=1(a>b>0)$ 经过点 $M\left(\sqrt{3}, \frac{1}{2}\right)$ ，离心率为 $\frac{\sqrt{3}}{2}$ ．
（1）求椭圆 $E$ 的标准方程；
（2）设椭圆 $E$ 的右顶点为 $A$ ，过定点 $N(1,0)$ 且斜率不为 0 的直线与椭圆 $E$ 交于 $B, C$ 两点，设直线 $A B, A C$ 与直线 $x=4$ 的交点分别为 $P, Q$ ，求 $\triangle A P Q$ 面积的最小值．