Creo que esto, puede ser una idea, para empezar, pero no es mas que un simple ejemplo, el resto depende de ti, con imaginación e ingenio será facil ya ves que no importa complicarse mucho la vida.
Código vb:
Ver originalPrivate Sub RichTextBox1_KeyPress(KeyAscii As Integer)
If Chr$(KeyAscii) = "[" Or Chr$(KeyAscii) = "]" Then
RichTextBox1.SelColor = vbBlue
Else
RichTextBox1.SelColor = vbBlack
End If
End Sub
Saludos