若函数 $f(x)=\sqrt{3} \sin \omega x-\cos \omega x, \omega > 0, x \in \mathbf{R}$ ，又 $f\left(x_{1}\right)=2, f\left(x_{2}\right)=0$ ，且 $\left|x_{1}-x_{2}\right|$ 的最小值为 $\frac{3}{8} \pi$ ，则 $\omega$ 的值为（ ）
A. $\frac{4}{3}$
B. $\frac{8}{3}$
C. 4
D. $\frac{16}{3}$