למרות האנטישמיות שבה נתקל ואווירת התעמולה, באלטר תיאר מאוחר יותר את היותו חלק מאולימפיאדת 1936 כ"גולת הכותרת" וההישג המגדיר של חייו כספורטאי. הוא הגן על החלטתו לנסוע, באומרו שעבור ספורטאי, זכייתו במדליית זהב אולימפית זה מה שאנשים תמיד יזכרו. הוא לא חזר לארה"ב איש עשיר יותר או מוכר יותר - אבל גאה יותר ביהדותו ובהישגו הנדיר.