para esto Debes Crear una Columna Tipo DataGridViewColumnButton
para q quede asi
Código:
Dim Col As New DataGridViewButtonColumn
Col.HeaderText = "Modificar"
DataGridView1.Columns.Add(Col)
Col = New DataGridViewButtonColumn
Col.HeaderText = "Eliminar"
DataGridView1.Columns.Add(Col)
DataGridView1.Rows.Add("Modificar", "Eliminar")