למרות האנטישמיות שבה נתקל ואווירת התעמולה, באלטר תיאר מאוחר יותר את היותו חלק מאולימפיאדת 1936 כ"גולת הכותרת" וההישג המגדיר של חייו כספורטאי. הוא הגן על החלטתו לנסוע, באומרו שעבור ספורטאי, זכייתו במדליית זהב אולימפית זה מה שאנשים תמיד יזכרו. הוא לא חזר לארה"ב איש עשיר יותר או מוכר יותר - אבל גאה יותר ביהדותו ובהישגו הנדיר.

לפי הסיפורים - קשה לדעת את הפרטים המלאים - במחנה נפגש שוייר עם חלוץ שהכיר מהליגה האוסטרית, אלפרד פריץ דינמן - בנו של החזן הראשי של בית הכנסת שְמַלְצְהוֹף (Schmalzhof) בווינה, שכיכב במדי ראפיד המקומית ואף שיחק שלוש פעמים בנבחרת האוסטרית (וכבש פעמיים) לפני שפרש ועבד במפעל נייר.