Lo que estoy intentando es mover los valores de una posición a otra, dejando fuera los de la columna que se desea eliminar. Para hacer la matriz una columna más corta, ¿valdría esto?
  
Código:
         int [][] mxn = new int[n][m];
        int[][] destino = new int[mxn.length - 1][];
        int[][] destino2 = new int[destino.length][m-1]; /*donde el valor de "m" es el de las columnas*/