UI Unity, клик по интерфейсу

Есть скрипт чтобы кликать по ui и не использовать скрипт рисования при этом, но при нажатии кнопки рестарт или иногда других ui элементов именно во время игры,компонент отключается,и включается по первому клику, на телефонах по клику по ui элементу. Не понимаю в чем ошибка.

DrawingManager _drawingManager;
bool _isPointerOver = true;

void Awake()
{
    _drawingManager = FindObjectOfType<DrawingManager>();
}

void Update()
{
    if (_isPointerOver)
    {
        if (Input.GetMouseButtonDown(0))
            _drawingManager.enabled = false;
    }
    else
    {
        if (!Input.GetMouseButton(0) && !Input.GetMouseButtonUp(0))
            _drawingManager.enabled = true;
    }
}

public void OnPointerEnter(PointerEventData eventData)
{
    _isPointerOver = true;
}

public void OnPointerExit(PointerEventData eventData)
{
    _isPointerOver = false;
}

}