La alternativa open source en cuanto a capacidad es postgresql.
Respecto de mysql dependiendo del sistema de ficheros en que lo implementes y del tipo de tabla que uses tendrias problemas. Para ver caracteristicas de tablas y almcenamiento en mysql:
http://www.mysql.com/documentation/m...tml#Table_size