Código PHP:
$txtnom = trim($_POST['txtnom']);
if ( strlen($txtnom) > "5") {
echo "<script> alert('Debe tener al menos 5 caracteres');</script>";
}
else{
if( empty($_POST["txtnom"])){
echo "<script> alert('Debe ingresar el nombre');</script>";
}else{
mysql_query("SET NAMES 'utf8'");
$sql = "INSERT INTO alumnos VALUES ('$txtnom')";
$resultado = mysql_query($sql) or die(mysql_error());
}
}
Ademas me parece que deberias validar la existencia del usuario en la base, asi como que el nombre de usuario no tenga espacios ni caracteres especiales, etc.