如图, 在 $\triangle A B C$ 中, $\angle B A C=\frac{\pi}{3}, D$ 为 $A B$ 中点, $P$ 为 $C D$上一点, 且满足 $\overrightarrow{A P}=t \overrightarrow{A C}+\frac{1}{3} \overrightarrow{A B}, \triangle A B C$ 的面积为 $\frac{3 \sqrt{3}}{2}$,
(1) 求 $t$ 的值;
(2) 求 $|\overrightarrow{A P}|$ 的最小值.