Date ya tiene el metodo compareTo
Asi que tu metodo queda mas sencillo.
Código:
public int compareTo(Object o){
Actividad act2 = (Actividad)o;
return this.fecha.compareTo(act2.getFecha());
}
Antes me equivoque con el objecto del parametro. No es un Date sino que es un Actividad.