Разность двух множеств в java без удаления дубликатов

Итак, имеется List из 10 объектов и Set из этого листа, из 7 объектов (3 дубликата были удалены). Задача простая, получить List тех трёх дубликатов, которые были удалены. Вопрос в следующем, если использовать List.removeAll(set), то Java, по сути, не сделает разности (10 и 7 объектов, должно остаться 3), а удалит все дубликаты, и в итоге получится пустой лист. Чувствую, что должно быть какое то простое и элегантное решение. Подскажете?