En principio si solo cambias el color de fondo de la celda no te ha de cambiar el tamaño de la misma. Te lo esta cambiando cuando aparece i desaparece el estilo "border" ya que al ponerte encima de la celda añade pixels por cada lado, con lo cual la celda "crece".
Con este ejemplo que te paso no hay cambio de tamaño:
Código:
<td style="border:2px solid #FFFFFF;background:#FFFFFF" onMouseOver="this.style.border='2px groove';this.style.background='#F69000'" onMouseOut="this.style.border='2px solid #FFFFFF';this.style.background='#FFFFFF'">celda1</td>