Очень редко пользуюсь векторными масками в фотошопе, но, честно говоря, за многие десятки установок CS2 на разных машинах, никогда не видел галки "Сглаживание" применительно к фигурам. Панель в стандартных настройках выглядит именно так, как на вашем скриншоте.
Если галка существует, то настраивается отдельно - в этот нюанс я не вникал.
Зайдите в настройки, пройдитесь по менюшкам и вкладкам...
