Seria algo así.
En el evento del botón borrar tendrías lo siguiente.
Código vb.net:
Ver originalDim row As DataGridViewRow = dataGridView1.CurrentRow 'obtienes columna seleccionada
If row <> Nothing Then 'compruebas que un registro este seleccionado
Dim id As Integer = Convert.ToInt32(row.Cells(0).Value) 'suponiendo que id sea la primer columna
Dim comando As New MySqlCommand("Delete From TUTABLA where id =@id ", conexion)'conexion es la variable de tu conexión
comando.Parameters.AddWithValue("@id", id)
conexion.Open()
comando.ExecuteNonQuery()
End If
Eso seria lo que tendrías que hacer.
Luego que elimines el registro si quieres recargar los datos en el datagrid tendrías que volver a cargar los datos.
Saludos