En cierta forma un DataSet es una base de datos, aunque no existe vínculo real entre un DataSet y una Base de Datos.
Una BB.DD. Es algo muchísimo más complejo, pero dentro de una aplicación un DataSet funciona a la manera de una, con muchas limitaciones.
Cuando lo que tienes son demasiados datos y no cuentas con una BB.DD. o acceso a ella, lo que yo te sugeriría es usar una que puedas crear y destruir desde la aplicación misma. Y no me refiero a archivos de texto. Me refiero al uso de la DLL de
SQL Lite, por ejemplo, que puedes incrustar en VB o C# y crear, administrar y consultar una base de datos creada dinámicamente, la cual puede quedar fija o no según lo decidas.