اضطر هيرودس إلى ترميم الهيكل من جديد بعد أن تداعى هيكل زربابل إلى الخراب وقد بدأ العمل سنة 20 ق. م. واستغرق وقتًا طويلًا، وتم في عهد اغريباس الثاني سنة 64 م. وأخبار هذا الهيكل مدونة في تاريخ يوسيفوس المشهور. وقد وسعت مساحة هذا الهيكل ضعف ما كانت عليه قبلًا. وبني من صخور بيضاء. وارتفع سطح هيكل سليمان بنسبة 3: 2 وأحيط بالهيكل عدة دور أهمها دار الأمم، والدار الخارجية، ودار النساء، ودار إسرائيل ودار الكهنة. وبني حائط السياج بين دار الأمم ودار النساء. وكان فيه ثلاثة عشر بابًا ومنع دخوله على غير اليهود. وكانت المزامير ترنم في دار إسرائيل، وكان دخولها مقتصرًا على المطربين. وكان الكهنة يغنون في دارهم ويباركون الشعب. أما السنهدريم فكان يجتمع في مكان سمي بالبلاط، وهو غرفة متصلة بالدار التي فيها المذبح وكان المذبح مبنيًا من حجارة مبيض بالكلس، وفيه ثقوب ليسيل منها دم الذبائح وغطي وجه المذبح بالذهب.
وقد زار يسوع هذا الهيكل. وعند درجات دار بني إسرائيل أخذ يسأل المعلمين وتطهرت أمه عند أحد أبوابه. ولكن الهيكل لم يعمر بعد ذلك كثيرًا. فقد هدمه الرومان سنة 70.