Как сделать управление мышью в raycasting

Я хочу сделать так, чтобы можно было управлять взглядом с помощью мыши в моей 3д игре сделанной на pygame с помощью raycasting. Но курсор может выйти за границы экрана и поэтому я всегда возвращаю ее в центр. Но когда мышь возвращается, это видимо воспринимается как движение курсора и взгляд возвращается в тоже место. Из-за этого взгляд остается на одном и том же месте.

Вот отрывок кода:

for event in pygame.event.get():
    if event.type == pygame.QUIT:
        exit()
    if event.type == pygame.MOUSEMOTION:
        (x, y) = pygame.mouse.get_rel()
        angle1 += x
        angle3 -= y
        pygame.mouse.set_pos((990, 540))

angle1 - управление взглядом по горизонтали, angle3 - по вертикали