Para esto hay un buen truco:
Para evitar el tener la ventana abierta para dejar siempre abierto el Outlook puede hacer lo siguiente:
1. Haga Clic derecho sobre el ícono del programa que está junto al reloj y active la opción "ocultar al estar minimizado"