Почему не получается сослаться на уникальный ключ из сторонней таблицы?

Есть таблица

CREATE TABLE users
(
    id         SERIAL          NOT NULL,
    chat_id    BIGINT          NOT NULL,
    username   VARCHAR(255)    NOT NULL,
    full_name  VARCHAR(255),
    PRIMARY KEY(chat_id),
    UNIQUE(id)
);

Почему при попытке сослаться на уникальный ключ(поле id), выводится ошибка

there is no unique constraint matching given keys for referenced table "users"

На уникальный ключ нельзя ссылаться из вне?