Yo creo que en algunos contextos se personifica el palacio y por eso se dice "a palacio" o "en palacio" pero en general, si yo trabajo de guía turístico en un palacio, no diría "me voy a palacio" sino "me voy al palacio". Parece que lo de "a palacio" es más propio de reyes...