gracias... de las 2 formas sirven...

al final lo hice asi
Código PHP:
$ced = $_POST{'txtcedula'};
$quita_caracteres = str_replace('-','',$ced);
$busqueda= mysql_query("SELECT Cedula FROM datos WHERE Cedula='$quita_caracteres'");
if(mysql_num_rows($busqueda)>0)
{ echo '<script language="javascript">
alert("El registro ya existe");
</script>';
}
else
{
mysql_query("INSERT INTO datos(Nombre, Cedula, Correo, Institucion, Telefono) VALUES('". $nom ."','". $quita_caracteres ."','". $mail ."','". $insti ."','". $tel ."')", $dbhandler);
echo '<script language="javascript">
alert("El registro se ingreso");
</script>';