המבנה הנוכחי של בית הכנסת נבנה בשנות ה-30 של המאה ה-20.

כשתוכננה השכונה נקבע המקום הגבוה ביותר בה שישמש כמרכז התרבות, הפעילות והקניות שלה.

שם הוקם בית כנסת במקום שיועד להיות מבנה התרבות. כנראה שהמבנה תוכנן מראש לכלול בתוכו גם בית כנסת. 

אבן הפינה של המבנה הונחה בשנת תרצ"ד, 1933-34, בנוכחות הרב אברהם יוסף הכהן קוק.

בפרוץ פרעות 1936-1939 התעכבה הבנייה ושלד המבנה נותר מיותם.

לאחר פרוץ מלחמת העולם השנייה בשנת 1939 החרימו הבריטים את המבנה. לצידו היתה עמדה של גפירים שאבטחו את המרחב ואת הדרך לרמת רחל ולכפרים, ןלכן במקום היתה תחנת משטרה, ושאר המבנה שימש כמחסן.

עם קום המדינה ב-1948, בתקופה בה התקיימה מעברת תלפיות, המדינה השתמשה בשלד המבנה. כמחסן של אוהלים, מיטות וציוד אחר עבור תושבי המעברה. 

בשנות ה-50 המבנה הושכר לאוניברסיטה העברית ושימש מחסן של בית הספר לרפואה.

בשנות ה-60 חזר המבנה לידי העירייה .בשלב זה פרץ סכסוך בעלות בין העירייה ובין תושבי תלפיות, שבראשם עמדו מרדכי כספי וש"י עגנון. הדבר הגיע עד לבית המשפט,שפסק לטובת אנשי השכונה. העירייה נאלצה לשפץ את המבנה על חשבונה בסיוע הקרן לירושלים וכנראה בעזרת תרומה שהתקבלה מן הסופר ש"י עגנון, תושב השכונה, מתוך הכספים שקבל בעקבות קבלת פרס נובל: מספרים כי אריה קליין, שנפטר בשנת 2015, טען שהוא שכנע את עגנון לתרום חלק מכספי פרס נובל לשיפוץ בית הכנסת. הוא אמר לו: "בעוד 400 שנה השם עגנון כבר לא יהיה ידוע, את הספרים שלך כבר ישכחו, אבל אם תדאג שבית הכנסת יקרא על שמך, שמך ימשיך להתקיים בתודעת האנשים לעוד מאות שנים".

בתחילה (1969) השתמשו המתפללים רק במבואה של בית הכנסת באולם הכניסה מרחוב לייב יפה ורק לתפילות בימים הנוראים. שאר שטח הקומה שימש כמחסן . השכונה הייתה דלילה והמקום הספיק למתפללים מלבד לתפילות "כל נדרי" ו"נעילה". לפני יום הכיפורים תשל"ד (1973) פינו את המחסן והחזירו גם את האולם הגדול לבית כנסת. 

בשנת 1972 החכירה העיריה את המבנה לעמותת המתפללים. בעקבות כך  בחודש אלול שנת תשל"ב(1971)  נחנך בית הכנסת מחדש בתהלוכה להעברת ספרי תורהמהצריף . בית הכנסת נקרא על שמו של ש"י עגנון, הן בשל מעורבותו ב"גאולת" בית הכנסת, והן בשל העובדה שהתפלל במניין בצריף בקביעות.

בשנות ה-70 פעל גן ילדים בקומה התחתונה של בית הכנסת. כיום ישנה במקום הספרייה המפוארת של בית הכנסת.

הצריף הפך לבית הכנסת הספרדי של השכונה. כעבור מספר שנים בנו המתפללים בית כנסת מפואר במגרש ליד הצריף. הצריף שימש את שבט להבות של הצופים הדתיים עד שהעירייה החליטה להרוס אותו בגלל מצבו הרעוע. מפעל הפיס הקים לצופים בניין חדש ברחוב נחום שדמי. חבר בית הכנסת אדריכל דוד קאסוטו מצא את הקרקע והביא ליעודה לשבט להבות. הוא גם יצר בהתנדבות את התוכנית הבסיסית של בניין השבט וליווה את הבניה ואת השבט : הוא גם שימש כראש השבט בשנותיו הראשונות ! בניין זה משמש מניין נוסף בשכונה, הקרוי "מזמור לדוד."