Pues la tarea que te han mandado no es moco de pavo, sobretodo si el programa se supone que tiene que "pensar" las jugadas. Si es asi y no sabes java, tendrás dos grandes problemas: 1º aprender el lenguaje. 2º hacer el programa y toda su logica (particularmente tedioso conseguir una funcion que use IA para jugar).
Respecto al "compilador", pues el mismo que trae el SDK de java, original de sun. Si lo que preguntas en realidad es que IDE te recomendamos, y ouso usualmente netbeans (gratuito), aunque hay muchos otros como eclipse (tb gratuito) o jbuilder.
Te recomendaria que te miraras un buen tutorial (el mismo de sun está bastante bien para comenzar) y mucho ánimo, porque creo que tienes tarea para rato
Un saludo
Zerjillo