חלקים מהבניין הנוכחי נבנו עוד בשנת 1411 והשתמרו. הבניין היה בניין האבן היחיד שלא היה כנסייה, ששרד את השרפה הגדולה של לונדון בשנת 1666, על אף שגג הבניין נשרף, ושוקם בשנת 1670, אז נבנה גג ישר במקום גג רעפים חד יותר.
פולקלור מקומי משייך את הענקים גוג ומגוג למקום. לפי פולקלור זה נקשרו הענקים לשערי ארמון שעמד במקום (מבחינה היסטורית לא היה ארמון כזה).
מדי שנה היו מוציאים מהגילדהול פסלים של הענקים שנשמרו בתוכו ומובילים אותם בתהלוכה של ראש העיר.
הפסלים המקוריים נשרפו בשריפה הגדולה, והוחלפו בשנת 1708 בפסלי עץ שפיסל רב החובל ריצ'רד סאונדרס. פסלים אלה נהרסו במהלך הבליץ. פסלים חדשים מעשי ידי הפסל דייוויד אוונס הוצבו במקום 1953, ביוזמתו ובמימונו של סר ג'ורג' וילקינסון שהיה הלורד ראש העיר של לונדון בשנת 1940, עת נפגע הבניין ונשמדו הפסלים.
תוכנית גילדהול
ב-10 בנובמבר 1955 נשא ראש ממשלת בריטניהאנתוני אידן באולם גילדהול נאום שקרא להסכם שלום בין ישראל ומדינות ערב המבוסס על פשרה בין גבולות תוכנית החלוקה לגבולות הקו הירוק. הוא הבטיח ערבויות לשני הצדדים אם יושג הסכם[1] ואיים שהצד שלא יסכים לפעול במתינות יאבד את אהדת בריטניה[2]. הנאום, שנודע כנאום גילדהול, זכה לאהדה בצד הערבי[3], אולם זכה לתגובות נמרצות מצד ישראל והעיב על יחסי הממלכה המאוחדת–ישראל עד סוף שנת 1958 עת הצהיר שר החוץ הבריטי שתוכנית גילדהול מתה. באותן שנים, נחשב הגילדהול בישראל לסמל למדיניות אנטי-ישראלית של בריטניה[4].