Puedes capturar el error que te da al ingresar la clave primaria duplicada, ahorita no tengo el numero de dicho error pero puedes ingresar una clave duplicada y ahi te sale, te dejo el codigo, espero te funcione.
Código:
On Error GoTo VerError
'Tu codigo de insercion
Exit Sub
VerError:
If Err.Number = -2147467259 Then
MsgBox "No se puede ingresar clave duplicada", vbCritical, "Información"
Else
MsgBox "Nº de error: " & Err.Number & " | " & Err.Description, vbCritical
End If
End Sub