Тертя почалися з моменту закладки першого каменя. Італійським архітекторам не сподобалися зарозумілі висловлювання прийшлих німців, вони часто вступали з ними в суперечки, вирішити які міг тільки сам герцог. Ці невиправдані тяжби сповільнювали будівництво, приводили до частих змін архітекторів і робітників, які не розуміли чого від них хочуть. Після смерті герцога Вісконті від німців, учавствующих в будівництві, позбулися, однак готичний стиль у спорудженні все ж зберігся.
За бажанням герцога Вісконті собор почали зводити з білого мармуру. Ця гірська порода дуже добре підходила для зовнішнього облицювання собору. Відполірований камінь не тільки світився від променів сонця, але і від блиску місяця. Мармур привозили з різних місць Італії, купували за кордоном. Але грошей на будівництво не вистачало, тому довелося організовувати збори пожертвувань. Цим займалися найкрасивіші дівчата Мілана. Вони брали в свої руки гуртки і квіти, одягалися в білий одяг і під звуки барабанів і флейт рухалися по головних вулицях міста та його околицях з метою збору коштів на будівництво.
Також спостерігалася і інша проблема - брак робочих рук. Довелося звернутися до громадян з проханням відпрацювання кількох днів на важливій будівництві міста. Громадяни отклікнлісь на цей заклик, і стройка пожвавилася. Але все ж храм споруджувався дуже повільно, він був готовий тільки в другій половині XV століття.
Собор міг вмістити близько 40 тисяч чоловік. Спорудження виявилося другим за величиною після собору Святого Петра в Римі. Сьогодні Міланський собор четвертий у світі за місткістю і є позднеготическим дивом, яке зовні і зсередини прикрашають понад 3500 мармурових скульптур, загострених башточок і колон.
Міланський собор вважається європейським рекордсменом з довгобуду - останній камінь заклали в нього в 1906 році. У загальній складності собор зводили понад 520 років.