udp сервер для нескольких клиентов

хочу написать простенький клиент и сервер на udp - клиент отправляет сообщение, а оно рассылается всем остальным. Но вот проблема: как переслать это сообщение тому, кто его прислал - я знаю.

EndPoint remoteIp = new IPEndPoint(IPAddress.Any, 0);
int bytes = socket.ReceiveFrom(data, ref remoteIp);
socket.SendTo(Encoding.ASCII.GetBytes(System.Text.Encoding.ASCII.GetString(data)), remoteIp);

Но что делать с остальными? Изначально я пробовал сделать массив EndPoint, куда будут добавляться все клиенты, которые когда-либо писали сообщения, но массив EndPoint не содержит определения для sendTo. Что делать? так же хотелось бы научиться инициализировать пользователей ещё при их подключении, а не после первого отправленного сообщения.