Problema con programa que busca letras en una palabra

[Fuzzylog]

Primero prueba a comprobar si letras devuelve un valor correcto con:

System.out.println("Letras: " + letras);

Luego para convertir a String yo haría

String cadenaLetras = String.valueOf(letras);

Ahora bien, a la hora de comparar, compara String con String o char con char, pero no mezcles.

Si cadenaLetras es una letra basta con hacer
if (palabra.indexOf(cadenaLetras) > -1) {
System.out.println("La palabra contiene la letra" + cadenaLetras );
} else {
System.out.println("La palabra NO contiene la letra" + cadenaLetras );
}

Si cadenaLetras fuese un conjunto de letras entonces puedes usar split("") para separar cada letra en cadenaLetras y comparar luego una a una.