Vom 13. bis ins 19. Jahrhundert war der heutige Albrecht-Dürer-Platz der Mittelpunkt des Milchmarktviertels, genauer gesagt der „Untere Milchmarkt“. Hier wurden hauptsächlich landwirtschaftliche Produkte, insbesondere Milch, verkauft. Der „Obere Milchmarkt“ befand sich damals im Bereich der heutigen Bergstraße. Ab dem 15. Jahrhundert wurde der Platz auch „Alter Milchmarkt“ genannt. Im Jahr 1828 erfolgte dann zum 300. Todestag des bekannten Malers, Kunsthistorikers und Mathematikers der Bau des Albrecht-Dürer-Denkmals. Aus diesem Anlass wurde dann auch der Platz offiziell in Albrecht-Dürer-Platz umbenannt. Wenn man links am Denkmal des berühmtesten Nürnbergers vorbei geht, kommt man direkt zum Platz „Am Tiergärtnertor“, wo sich das Albrecht-Dürer-Haus befindet.