ג'וזף טרל נולד ב-6 ביוני1861 בעיר גרינוויל, ג'ורג'יה. בנם של שרה רבקה (לבית אנטוני) וד"ר ג'ואל אדגר גרין טרל, משפחה ממוצא אנגלי ומוצא נורמני.[1][2] הוא למד בבית ספר ציבורי, למד משפטים, עבר את בחינת לשכת עורכי הדין ב-1882 והחל לעבוד כעורך דין בעיר הולדתו, גרינוויל. ב-19 באוקטובר 1886 נישא לג'סי לי ספיבי. לזוג לא נולדו ילדים.
טרל היה חבר בבית הנבחרים של ג'ורג'יה בין השנים 1884 ל-1887 וחבר בסנאט של מדינת ג'ורג'יה בשנת 1890. הוא כיהן כתובע הכללי של ג'ורג'יה בין השנים 1892 ל-1902 וכמושל ג'ורג'יה בין השנים 1902 ל-1907. הוא שב לעבודתו כעורך דין לאחר סיום חייו הפוליטיים והיה לעורך דין בעיר אטלנטה. עם מותו של הסנאטור הדמוקרטיאלכסנדר קליי, מונה טרל למלא את מקומו בסנאט כסנאטור דמוקרטי מטעם מדינת ג'ורג'יה. טרל לקה באירוע מוחי בפברואר 1911.[3]
^Dicken, Emma. Terrell Genealogy. San Antonio, Texas: The Naylor Company. עמ' 159–160. He was a member of the Georgia Legislature 1884- 1890; Attorney General of Georgia 1892-1902; governor of Georgia 1902-1907; a U. S. Senator in the 61st Congress.