Expresión algebraica, (), [] y {}

[yackcae]

Lo más simple que se me ocurre es que cuentes los paréntesis, corchetes y llaves: vas recorriendo la cadena y cada vez que encuentres un paréntesis abriendo "(" sumas 1 a un contador de paréntesis y cada vez que encuentres un paréntesis cerrando ")" restas 1 al mismo contador, haces lo mismo para los demás casos (corchetes y llaves), al final todos los contadores tienen que valer 0 si todo está bien.