Bueno creo que aunque hayas arreglado la resolucion raster al maximo de 300, es necesario que tus imagenes
de origen tengan buena resolucion, si la tienen no tiene porque salir mal, de todos modos para poder ayudarte mejor porque no nos muestras un ejemplo y lo vemos para poder saber mas o menos que es lo que pasa ok..saludos