Cette décision a été prise comme une concession à l'attitude agressive des membres de la famille des personnes tuées lors de l'attaque terroriste du 11 septembre 2001. À leur avis, à l'endroit où se trouvaient les tours jumelles, il ne devrait y avoir aucune institution susceptible de détourner l'attention de cette tragédie. Auparavant, il a été annoncé que seules les institutions culturelles qui s'engagent à ne jamais organiser d'expositions et autres événements qui pourraient offenser les sentiments patriotiques des Américains peuvent être admises sur le territoire du WTC. En conséquence, le Drawing Center, qui devait partager avec le Freedom Center un bâtiment plébiscité par la critique conçu par le bureau norvégien Snohetta, a annulé son bail et cherche un autre espace.
Ainsi, le plan de Libeskind était à nouveau menacé: c'était selon son projet que les institutions culturelles devaient être situées à côté du mémorial des victimes de l'attentat terroriste dans les «empreintes» des fondations des gratte-ciel détruits. Désormais, le seul «propriétaire» garanti du bâtiment sera le centre d'accueil.
Il parle aussi de changements de position des autorités: le Freedom Center, tombé en disgrâce, a été conçu dès 2002 comme une institution consacrée à l'histoire de la lutte pour la liberté personnelle dans le monde.
Suite à l'annonce de la censure par le gouverneur George Pataki sur le site du WTC en juillet 2005, de nombreuses personnalités publiques de premier plan ont quitté le conseil pour diriger la conception et la construction du nouveau complexe. Après la dernière décision de Pataki, plusieurs autres personnes sont parties, dont Agnes Gund, directrice honoraire du Musée d'art moderne et philanthrope de premier plan. Désormais, selon les analystes, il sera particulièrement difficile de collecter des fonds pour la construction du bâtiment Snohetta et du mémorial Michael Arad. Ainsi, le sort du bâtiment était en danger. L'avenir du bâtiment du théâtre conçu par Frank Gehry est également incertain: l'architecte s'est plaint aux journalistes du manque total de contacts avec les clients, et la mise en œuvre du projet était prévue pour la «deuxième phase» de la restauration du World Trade Center - c'est-à-dire dans un avenir lointain.
