בית הכנסת נמצא ב
שכונת בתי הורדנא.
בית המדרש הוקם בשנת תרס"ה (1905). הוא נמצא בקומה שניה של המבנה ומשתלב בו, ורק שלט גדול של קידוש לבנה מסגיר שיש שם בית כנסת. לפי ההלכה בית כנסת צריך להיות בגובהה של עיר ולכן הוא מוצב בקומה שניה.
גדליהו נחמן ברודר היה ממונה של כולל הורדנא, ובתור שכזה פעל רבות להקמת השכונה ובית המדרש שלה. על שם ספרו ועל שמו (גן – גדליהו נחמן) נקרא בית המדרש "גן ירושלים". בשלט הנצחה הנמצא בבית המדרש נוסף יותר מאוחר גם שמה של אשתו – חיה רוחמה.
בבית המדרש פעלה גם אחר הצהרים כעין ישיבה קטנה לילדים שנקראה: "ישיבת המתמידים".