Puedes hacerlo de varias formas, una de ellas es utilizar una lista auxiliar e insertar ahí los numeros.
Luego realizas un Distinct sobre la lista para obtener aquellos números distintos y, por último, llenas el listbox.
Código C#:
Ver originalList<int> numeros = new List<int>();
//Añades los números
numeros.Add(1);
numeros.Add(2);
//Eliminas números duplicados y llenas el listbox
listbox.Items.AddRange(numeros.Distinct().toArray());