צבי אליהו, אביו, היה בשירות בצבא הרוסי שהיה צבא הצאר. היציאות הביתה בצבא הרוסי היו מעטות מאוד וכששאלו את שמואל איפה אבא, הוא הצביע על תמונתו שהיתה תלויה על הקיר וכשכבר נפגשו בפעמים הספורות בהן הגיע אביו הביתה, שמואל כלל לא זיהה אותו.
כשפרצה מלחמת העולם הראשונה, בשנת 1914, הועבר צבי אליהו לחזית הגרמנית. אחיו של אביו, ששמו לא ידוע, שירת בצבא אף הוא ונהרג באותה המלחמה. המשפחה התפרנסה ככל הנראה ממסחר זעיר או מלאכות זעירות, כמו לא מעט יהודים בעיירות שכאלה. במבוכה הוא מודה שהוא איננו זוכר בדיוק.
העיירה טורץ שכנה בתווך בין רוסיה לפולין, שברבות השנים גם החליפו ביניהן את השליטה באיזור. בגלל התהפוכות המדיניות והמלחמה באזור לא היו מסגרות לימודיות. שמואל ואחיו דב חיו, כך תיאר זאת, "כחיות פרא". הם הסתובבו ברחובות כשרק מדי פעם סבם לקח אותם אליו ללמד אותם.
