Nell'antichità la collina dove è situata la torre e le Polden Hills erano isole situate in paludi collegate al mare attraverso canali. Durante l'età del ferro, nel 450 a.C, la cima delle colline si coprì di fortezze che all'interno delle mura ospitavano delle capanne. Secondo la leggenda Giuseppe di Arimatea vi fondò un'abbazia. Quando Giuseppe piantò il proprio bastone nel suolo, questo germogliò nel famoso biancospino, arboscello che fiorisce a Natale e a maggio. L'abbazia è il risultato di costruzioni realizzate nel corso dei secoli. Nel 668, Ine, Re dei Sassoni dell'ovest che aveva cacciato i Celti dal Somerset, fece costruire, con l'aiuto di Aldhelm, una chiesa supplementare che completava quella già esistente. Nonostante Dunstan, abate di Glastonbury dal 943 al 959, avesse ingrandito l'abbazia, l'abate nominato dopo la conquista normanna giudicò la chiesa troppo modesta per essere la principale abbazia del paese e ne intraprese la ricostruzione. Dopo l'incendio che distrusse totalmente gli edifici nel 1184, fu riedificata per prima la cappella della Vergine. I lavori furono terminati in due anni e proseguirono poi per due secoli. Nel 1539 a seguito della Riforma l'abbazia dovette chiudere. Alcune parti sono ancora visibili, in particolare la Cappella della Vergine, con muri molto decorati e splendide porte. A est tra le colonne gotiche del transetto restano i muri del coro e dietro la vecchia cappella di Edgar, mausoleo dei re sassoni, la Abbot's Kitchen del XIV° secolo. In venti minuti a piedi si raggiunge la collina dove è situata la Glastonbury Tor, unico resto della chiesa di Saint Michael costruita nel XIV° secolo