בית הכנסת נמצא ברחוב הנביאים 61 ב"בית הפחה".
הוא הוקם על ידי עולי בורסה שבתורכיה.  יהודים הגיעו לבורסה לאחר גירוש ספרד ולבית הכנסת הראשי שלהם שם קראו "בית כנסת גירוש".  עולים אלה עלו לירושלים בתחילת המאה ועשרים ושנים אחדות לאחר מכן הקימו את מרכזם במתחם בנין ביו רחוב יפו לרחוב הנביאים.  בשנת תרצ"ג  (1933) הפך האתר למקום מפגש לבני העדה ובהמשך, בערב פסח 1933, הפך לבית כנסת. הקהל לא יושב על ספסלים אלא על כסאות נפרדים כמו בבית הכנסת המקורי בבורסה.  שריד בדמות אבן מבית הכנסת "גירוש" תלוי על הקיר מימין לארון הקודש.  על הקיר הצפוני מונצחים המקימים וביניהם משפחות בן מלך, יעקב פלג'י, סבן וכו'.  משפחת סבן היתה אחראית על בית הכנסת האיסטנבולי – אחד מבתי הכנסת הספרדים ברובע היהודי וכן על קבר רחל וכך קרה שפריטים ממקומות אלה כמו: ספרי תורה ופרוכות הגיעו לבית הכנסת הזה.  נוסף אליהם מתהדר בית הכנסת בספר תורה שנכתב בספרד והגיע עם המגורשים לבורסה ואחר כך לבית הכנסת בירושלים.
הבניין הסמוך שימש כביתו של הפחה של ירושלים ששכר אותו מהכנסיה היונית אורתודוכסית שבנתה אותו.  בראשית שנות ה – 30 של המאה ה – 20 רכש אברהם בנין את המתחם ובתוכו בית הכנסת ומעבר לקיר של בית הכנסת התגוררה אימו של בנין, איתה הגיעו להסכם שיוותרו להם על דמי השכירות בתמורה לשמירת יום פטירתה לאחר מותה.  בית הכנסת גם ירש את אחד מארונות הקיר שלה שהפך לארון קודש.  מאוחר יותר הוחלף הארון בחדש, אבל קטע מאותו ארון משמש את ארון הקודש עד היום כקיר הפנימי שלו.
בתקופת המחתרות כמה מבני בית הכנסת הצטרפו אליהן ושניים מהם נפלו: אליהו עזרא ויהושע סבן. בבית הכנסת הותקן סליק ברצפה כפולה בארון הקודש, ואפילו היום לאחר שפורק הסליק, אפשר לראות אותו מונח בצד.
גבאי בית הכנסת משה חי גם מציג את השופר שאיתו תקעו במוצאי יום כיפור בכותל בתקופת המנדט למרות האיסור.  השופר קטן מאד ובקלות אפשר להחביאו בשרוול לאחר התקיעה.
פריט נוסף הוא מפתח שהגבאי טוען שהוא המפתח של קבר רחל שהובא על ידי משפחת סבן שהיו אחראים על הקבר.  עוד הוא מספר שמידי פעם מבקשים אותו מבית החולים ביקור חולים הסמוך שכן הוא סגולה בדוקה ליולדת המתקשה בלידתה.