Aquí te indica como hacer el menú que quieres:
http://developer.android.com/guide/topics/ui/menus.html
Si quieres tenerlo en todas tus activity simplemente crea un BaseActivity que herede de Activity implementa el método para crear el menú y haz que todas tus actividades hereden de BaseActivity, esto es útil cuando quieres que todas las actividades tengan alguna función o datos en común.