מאז ימי קדם רצו יהודים להיקבר על הר הזיתים, המקום שבו, לפי האמור בתנ"ך (זכריה פרק י"ד פסוק ד'), תתחיל תחייה המתים כשיבוא המשיח. ברבות השנים גדל שטחו של בית העלמין עד שכיסה את כל המדרון המערבי וחלק גדול של המדרון הדרומי.
המצבות העתיקות ביותר נמצאות למרגלות ההר בעמק קדרון. אחת מהן מיוחסת לאבשלום, בנו המורד של דוד, ואחרת – לנביא זכריה שחי בימי בית ראשון. מצבה שלישית נושאת כתובת המזכירה את בני חֵציר, משפחת כוהנים שחייתה לפני 2,000 שנה.
יהודים נקברו במקום במשך כל השנים, למעט בשנים 1948 עד 1967, שבהן הייתה ירושלים מחולקת. בין האגדות הרבות שנרקמו סביב ההר הקדוש, נאמר שבאחרית הימים אנשים יחפרו מנהרות מכל קצות תבל כדי לעלות כאן אל פני האדמה. בין הדמויות המוכרות שנקברו בהר הזיתים היו רבי עובדיה מברטנורא, מפרש המשנה שחי במאה ה-15, אליעזר בן יהודה, אבי העברית המודרנית, ש"י עגנון, חתן פרס נובל בספרות וראש הממשלה מנחם בגין ורעייתו עליזה. במרכז המידע של הר הזיתים הנמצא בסמוך ליד אבשלום, אפשר לקבל מידע על מקומם של קברים מסוימים.