و هدم ابن الزبير الكعبة في جمادى الآخرة سنة 64، حتى ألصقها بالأرض، و ذلك أن الحصين بن نمير لما أراد ابن الزبير هدمها امتنع، و امتنع الناس من الهدم، فعلا عبد الله بن الزبير على البيت، فهدم، فلما رآه الناس يهدم هدموا، فلما ألصقها بالأرض خرج ابن عباس من مكة إعظاما للمقام بها، و قد هدمت الكعبة، و قال له: اضرب حوالي الكعبة الخشب لا تبق الناس بغير قبله. و روى ابن الزبير عن خالته عائشة زوج النبي أنها قالت: قال لي رسول الله: يا عائشة إن بدا لقومك أن يهدموا الكعبة ثم يبنوها، فلا يرفعوها عن الأرض، و ليصيروا لها بابين. فلما بلغ ابن الزبير بالهدم إلى القواعد أدخل الحجر في البناء حتى رفعها، و جعل لها بابين بابا شرقيا و بابا غربيا و صير على كل باب مصراعين، و كان على بابها الأول مصراع واحد، و جعل طول البابين إحدى عشرة ذراعا، و كان ارتفاعها في السماء ثماني عشرة ذراعا، فجعلها ابن الزبير تسعا و عشرين ذراعا، و لم يرفعها عن الأرض بل جعلها مستوية مع وجه الأرض. و كان قد أخذ الحجر الأسود فجعله عنده في بيته، فلما بلغ البناء إلى موضع الحجر أمر فحفر له في الحجارة على قدره، ثم أمر ابنه عبادا أن يأتي، و هو في صلاة الظهر، فيضعه في موضعه، و الناس في الصلاة لا يعلمون، فإذا فرغ من وضعه كبر، فجاء عباد بن عبد الله بن الزبير بالحجر، و أبوه يصلي بالناس الظهر في يوم شديد الحر، فشق الصفوف حتى صار إلى الموضع، ثم وضعه، و طول ابن الزبير الصلاة حتى وقف عليه، فلما رأت قريش ذلك غضبت و قالت: و الله ما هكذا فعل رسول الله، و لقد حكمته قريش، فجعل لكل قبيلة نصيبا. و كان الركن لما أصابه الحريق تصدع بثلاث قطع، فشده ابن الزبير بالفضة، و لما فرغ من البناء خلق داخل الكعبة و خارجها، فكان أول من خلقها و كساها القباطي، و اعتمر من التنعيم، و مشى.