Estas seguro que es ubuntu? ubuntu usa paquetes .deb....
decinos la version de ubuntu que tienes, lo mas facil es instalar desde synaptic, buscas el paquete java y te va a salir que quieres instalar, mas facil que eso no conosco...
Puedes instalar tambien descargando desde sun directamente el paquete bin de aca
http://java.sun.com/javase/downloads/index.jsp
no descargues el rpm.bin, descarga el .bin, alli tenes instrucciones de como instalar....
JDK 6 Update 6
Saludos