Mmm bueno en todo caso no restringas nada en el keypress , sino que lo puedes convertir con el replace al momento de guardar.
Código vb.net:
Ver original'10,23
Dim cadena As String = txtNumero.Text
' Retorna "10.23".
cadena
= Replace(cadena ,
",",
".")'y al final lo conviertes a tu Double o Decimal :
Dim numero As Double = Convert.toDouble(cadena)
Saludos!
.