Некорректно удаляются рёбра в графе (программа для построение графов) C#, WinForms

Делая редактор графов, наткнулся на такую проблему, что при удалении ребра между вершинами удаляется не та вершина, соседняя (та, которая была поставлена раньше). Если же удалять их по порядку, то есть в каком порядку ставили так и удаляем, то всё отлично, а как только захочу удалить в хаотичном порядке - удаляет не то.

На скриншоте видно граф, рёбра были установлена по-порядку, от 0-1-3-2-0, потом от 0-3 и 1-2, так вот я хотел удалить ребро между вершиной 3-2, мне удаляет 1-3. Можете пожалуйста помочь разобраться с проблемой.

Вот функция, которая привязана к кнопке.