נמצא בשכונת מחנה יהודה ברחוב נבון 18.
ר' יוסף חיים שרים נולד בחלב ובגיל שנתיים הגיע לירושלים.  בשנת 1882 כשהיה בן 31 מונה לשד"ר ועד גיל 83 (52 שנים) עסק בזה בעיקר בקהילות המזרח ודרום מזרח אסיה. חיבה מיוחדת היתה לו לספרי תורה, שכמה מהם הביא ארצה לבתי כנסת בירושלים.  היה תלמיד חכם ודרשן ולא מעט מוסדות חייבים לו את קיומם.  גם מן החזנות לא משך ידו והיה ידוע כחזן מחונן.  בית הכנסת, כפי שנאמר בשלט, נוסד על ידו בשנת 1927.  באחד ממסעותיו פגש בכלכותה את התורמת בואיתה בת עמאם גבאי שאותה התרים, אבל היא ביקשה גם שמכספה יוקם בית כנסת בירושלים לזכרו של בנה אברהם שנפטר.  תנאי התנתה שבית הכנסת יהיה ליד ביתו של שרים והוא יהיה חזן בו ויאמר קדיש לעילוי נשמת בנה.  שרים הקים את בית הכנסת  בביתו של בנו – יום טוב שרים בשכונת מחנה יהודה, וקרא לו על שם המנוח – "מגן אברהם".
באותו זמן התחילו מרננים בועד העדה הספרדית  על שרים וטענו שהוא לא מנהל פנקס חשבונות מסודר ורמזו שהוא לוקח כספים שלא מגיעים לו. כן טענו שלא מקובל ששד"ר ינצל את שליחותו להקמת בית כנסת פרטי.  שרים נפגע מאד מהטענות וענה עליהם במכתב מפורט וגם טען שמיקום בית הכנסת והיותו גבאי בו הם לפי תנאי מפורש של התורמת.  הויכוח גווע לאט לאט, שרים המשיך ליסוע לחו"ל כשד"ר וגם מבית הכנסת לא משך ידו.  כאשר היה בשליחות ניהלו את בית הכנסת בניו – יום טוב ויהודה, וכשנפטר בשנת 1949 שינו את שם בית הכנסת וקראו לו "עוד יוסף חי" על שמו של אביהם - חיים יוסף שרים.  בית הכנסת פעיל כיום שלש פעמים ביום.