Фильтрация связанной модели django

Есть две модели

models.py
class Profile(models.Model):
    session_key = models.CharField("Сессия", max_length=256, null=True)
class Chat(models.Model):
    users = models.ManyToManyField(Profile, verbose_name="Пользователи", null=True)

Мы можем вывести все чаты пользователя 1, также мы выводим всех пользователей для каждого чата. Необходимо при помощи функции отфильтровать пользователей чата, чтобы не выводился пользователь с id 1

chats = get_object_or_404(Profile, pk=1).chat_set