Не удаляется элемент из Set-a

Имеется вот такой код. Вся задача в том, чтоб из сета извлечь элемент, а потом удалить его. Это работает в большинстве случаев. Но иногда элемент перестает удаляться. Проверял хэши, они совпадают. Но при удалении возвращает false и элемент остается в сете. Если есть какие-либо идеи, буду очень рад.

private val pinCards: MutableSet<Card> = mutableSetOf()

fun addCard(card: Card) {
    if (needShow(card)) {
        wrongPinCards.add(card)
    }
}

fun peekCard(): Card {
    val pickedCard = pinCards.first()
    pinCards.remove(pickedCard)

    return pickedCard
}