Строітельсво храму почалося з того, що на Японію обрушилися різні лиха та епідемії в VIII столітті. Сильний вітер зривав з будинків дахи, дощі заливали врожаї. Від холоду і голоду з`явилися хвороби, якими почали страждати люди. Треба було терміново закликати на допомогу добрі сили.
У 743 році японський імператор Сему видав указ, згідно з яким жителі міста повинні будувати статую Будди і просити у нього захисту. Всі японці були готові виконати указ свого імператора. Вони вірили, що Будда їм допоможе.
Як пізніше повідомлялося в хроніках, понад 2 мільйонів людей взяли участь в будівництві статуї Будди і пагоди навколо неї. Художник і скульптор Кунінака-но-Мурадзі Кімімаро створив проект 15-метрового велетня. Статую вирішили виготовити з бронзи, яку збирали по всій Японії і навіть в Китаї. Скульптуру відливали по частинах, а потім з`єднували.
При збільшенні Будди в розмірах ріс і споруджуваний храм. У 745 році будівництво було завершено. Храм досягав у висоту майже 100 метрів. Передбачається, що в той час це була найвища дерев`яна споруда у світі. Правда, бронзового Будду доробляли ще 6 років. Нарешті і він був готовий. На його строітельсво пішло 500 тонн бронзи. Його встановили на постамент висотою в 20 метрів.
Люди приходили в храм, молилися Будді, несли йому подарунки і просили допомоги. Стихії вляглися, проте в країні майже не залишилося бронзи.
Японці і сьогодні моляться Будді, просять у нього допомоги та захисту. Гігантський Будда майже не змінився, його чистять раз на рік. Сам же храм став значно нижче. У 1799 році його вершину розібрали. Кажуть, що виною тому послужило землетрус. Тепер висота храму близько 50 метрів.
Сьогодні навколо храму Монастир Тодай розташовується гарний зелений парк, де вільно бродять олені, яких вважають священними тваринами. На них з величчю і спокоєм дивиться Будда, що приніс на цю землю, як стверджують японці-буддисти, мир і благодать.