Hola, la primera validación debería ser a nivel de la base de datos, esos campos deberían formar parte de la clave de la tabla, luego deberías hacerlo desde el código php asi:
Código PHP:
.....
$resSql=mysql_query($sql);
if ($resSql){
echo "todo bien";
}else{
echo "clave duplicada";
echo mysql_error(); //te devuelve el error generado
}
.....
espero que te sirva, saludos.