Kļūšanas laikā San Džimiņjāno bagātās ģimenes uzcēla pat 72 torņus, kas simbolizēja viņu bagātību un varu. Līdz mūsdienām ir saglabājušies 14 no tiem, kas piešķir pilsētai papildu šarmu.San Džimiņjāno ir viena no Sjēnas provinces mazajām pērlēm, kas 1990. gadā pasludināta par UNESCO Pasaules mantojuma objektu.San Džimiņjāno atrodas uz senas etrusku apmetnes ap 7. gadsimtā celtu draudzes baznīcu un 929. gadā Volterras episkopātam dāvinātu pili, bet 12. gadsimtā tā kļuva par brīvu komūnu. Pirmie pilsētas mūri tika uzcelti 998. gadā - laikā, kad San Džimiņjāno kļuva par tirdzniecības punktu gar Via Francigena ceļu. No tirdzniecības iedzīvojušos ģimeņu lepnums lika uzcelt 72 torņus (tomēr saskaņā ar likumu neviens no tiem nedrīkstēja pārsniegt pašvaldības torņa, ko dēvēja par Rognosa, augstumu).Pastāvīgu iekšēju cīņu nomocīta starp ģelfiem un gvelfiem (1300. gada pavasarī Dante Aligjēri šeit uzturējās kā Toskānas Gvelfu līgas vēstnieks) un vienmēr konfliktējoša ar netālo Volterru, 1343. gadā to pakļāva Atēnu hercogs, bet 1353. gadā tā izaicinoši padevās Florencei, vēlāk līdz 1860. gadam sekojot Toskānas Lielhercogistes liktenim.San Džimiņjāno pilsētbūvnieciskā struktūra un daudzās civilās un reliģiskās celtnes, kas saglabājušās gandrīz neskartas, ir saglabājušas tās viduslaiku fizionomiju;
