גרונדמן נולד בפולין. בזמן מלחמת העולם השנייה, כפעוט בן שלוש, הסתתר גרונדמן יחד עם משפחתו בבור צר ממדים במשך שלוש שנים, תחת אסם של איכר פולני בפרושוביצה. פרט זה בסיפור חייו לא היה ידוע לרעייתו ולבתו עד יום מותו ונחשף רק בעת התחקיר לספר "כדורגל - סיפור אהבה" מאת שלמה אברמוביץ', שיצא לאור ב"טקסטים" הוצאה לאור וחשף את הסיפור ואת התצלום של יענקל'ה, לבוש בפיג'מה, ביום בו יצא מהבור.
גרונדמן החל את הקריירה בבני יהודה תל אביב, שם שיחק כקשר התקפי. הוא ניחן בבעיטה אדירה, הצטיין גם בפעולות הגנתיות והיה מנהיג טבעי בבני יהודה, אף על פי שהיה יוצא דופן כיוצא אירופה בקבוצה שרוב שחקניה באו מעדות המזרח, דבר אשר העניק לו גם את הכינוי: "הפולני". היה שותף לזכיית בני יהודה ב-1968 בגביע המדינה. הוא זומן לנבחרת ישראל על ידי המאמן גיולה מאנדי ושיחק במדיה שמונה פעמים בשנים 1961–1964.
צמד המאמנים, שכונה על ידי העיתונות ש"ג, הוביל את הנבחרת להישגים נכבדים והגיע עימה עד למשחקי ההצלבה מול קולומביה, בהם הנבחרת הייתה קרובה להעפיל למונדיאל 1990.
בצד עיסוקיו כמאמן ויותר מאוחר כפרשן בתוכנית הרדיו שירים ושערים המשיך גרונדמן לעסוק גם בעסקים פרטיים והיה שנים רבות הבעלים של סוכנות "פומה" בישראל, אשר אימצה את נבחרת ישראל ואת בני יהודה. גרונדמן, שנודע ברגישותו הרבה, הרבה לתרום בסתר ולסייע לעשרות ארגונים, כאשר בראש מעייניו הייתה התמיכה בנכי צה"ל ונזקקים.
בשנת 2001 חלה בסרטן, אך עד ימיו האחרונים ב-2004, המשיך לתרום לכדורגל בישראל ובין היתר שימש כסקאוט עבור נבחרת ישראל ומאמנה, אברהם גרנט. כמו כן נענה לבקשתו של דני דבורין להמשיך כפרשן ב"שירים ושערים" וכל זאת ללא תנאים ובהתנדבות מלאה, ולמרות כאביו המייסרים ממחלת הסרטן.
מספר ימים לפני מותו הספיק גרונדמן לקבל את "אות המופת" מהתאחדות הכדורגל העולמי פיפ"א על תרומתו לכדורגל בישראל, דבר המרמז על האהדה הרבה לה זכה מי שכונה "הג'נטלמן של הכדורגל הישראלי", לא רק בישראל, אלא גם בעולם הכדורגל הבינלאומי.
כאות הוקרה על תרומתו רבת השנים לספורט בארץ והיותו סמל למופת, מודל לחיקוי ומושא להערצה, נחנך לאחר מותו האצטדיון במקום מגוריו ברמת השרון על שמו (אצטדיון גרונדמן). ב-2014 נקראה על שמו כיכר בשכונת יד אליהו בתל אביב.[15]
הנצחה על בול דאר ישראלי
בתאריך 6 בדצמבר2011דאר ישראל הנפיק סדרה של 10 בולי דאר הקרויה " אגדת הכדורגל הישראלי". אחד מהבולים האלה הוקדש להנצחת זכרו של גרונדמן. הבול עוצב במשותף על ידי האמנים אופיר בגון ומאיר אשל. על השובל מופיעה חתימת ידו של גרונדמן.[16]