Eliminar registro de un datagrid

[Silvanon]

Hola buenas tardes, tengo un problema necesito eliminar registros de un datagrid, lo hago en codebehind de la siguiente manera:
DataSet1.Tabla1.Rows.Item(e.Item.ItemIndex).Delete () en el evento DeleteCommand del dataGrid, todo esta perfecto cuando elimino el primero y si lo hace muy bien el problema es cuando quiero eliminar otro que esta en la misma posicion del que habia eliminado anteriormente, ya que el e.Item.ItemIndex toma el del anterior y pues no elimina el que realmente necesito eliminar.

Nota. Tengo ligado el datagrid a un dataset y al momento de estar eliminando en el grid no estoy eliminando en al base de datos sino que los voy eliminando del dataset nadamas. Muchas gracias espero me entiendan.