¿Quieres reinventar la rueda, o es que se trata de un proyecto real...?
Hablemos de cosas concretas. Si se trata de un proyecto al estilo
IBM Dragon NaturallySpeaking te lo entendería.
Yo he usado sistemas de ese tipo hace un tiempo, y a pesar de lo eficiente que me resultó para ciertas tareas, terminaban consumiendo tantos recursos que al final los saqué...
Me resultaron útiles cuando me dedicaba a pasar apuntes y textos extensos, entrevistas y cosas así. La interfaz me permitía controlar la PC con mucha facilidad, pero como te digo, se comía los recursos y es demasiado afectada por el ruido ambiental.