רבי יהודה בר אלעאי נולד באושא שבגליל לאביו התנא הק' רבי אלעאי.
בילדותו למד וקיבל תורה אצל רבי טרפון בלוד ולאחר מכן אצל רבי ישמעאל, ורבי עקיבא, שהיה לרבו לאחר פטירת כ"ד אלף תלמידיו וכפי שמספרת הגמרא ביבמות: "שנים עשר אלף זוגים תלמידים היו לו לרבי עקיבא מגבת עד אנטיפרס וכולן מתו בפרק אחד מפני שלא נהגו כבוד זה לזה, והיה העולם שמם, עד שבא ר"ע אצל רבותינו שבדרום ושנאה להם. רבי מאיר ורבי יהודה ורבי יוסי ורבי שמעון ורבי אלעזר בן שמוע והם הם העמידו תורה"
רבי יהודה בר אלעאי חי בדור השלישי של תקופת התנאים לאחר חורבן הבית ומאות מדבריו נזכרו בששה סדרי משנה. לא זו בלבד, אלא שרבי יהודה בר אלעאי הינו התנא שפסקיו מוזכרים במשנה, במספר הגדול ביותר מבין התנאים האחרים ובכל מקום שמוזכר סתם רבי יהודה, הרי שמדובר ברבי יהודה בר אלעאי. רבי יהודה אף ייסד מדרש תנאים בשם ספרא תורת כהנים, שכל מאמר המופיע בו ללא שם, נכתב על ידו.
גדולתו בתורה הייתה לשם דבר, אך גם בהתחסדות לפני קונו ובכל מקום שמוזכר בש"ס חסיד, הכוונה לרבי יהודה בר אלעאי, או ברבי יהודה בן בבא, שנהרג בשל סמיכה שהעניק לחמישה מתלמידיו בהם רבי יהודה בר אלעאי, בתקופה שבה גזרו הרומאים איסור חמור על סמיכת חכמים.
הגמרא (נדרים דף מט:) מספרת כי פניו של רבי יהודה בר אלעאי היו מאירות ביותר. את האור הזה היו רואים גם הגויים ששאלוהו מדוע פניו מאירות. אך הוא היה דוחה אותם בתשובות שונות מחמת ענוותו, בעוד שהתשובה האמיתית לכך הינה במשמעות הפסוק "חכמת אדם תאיר פניו".
רבי יהודה נזהר מאוד בכבוד השבת. במסכת שבת (כה:) מסופר כי בכל ערב שבת היו "מביאים לו עריבה מלאה חמין", ממנה היה רוחץ פניו ידיו ורגליו. לאחר שהתלבש והתעטף לכבוד שבת היה יושב ו"דומה למלאך ה' צבאות".
מסופר עליו שפעם עבר על יד שדהו והבחין שנפרצה פרצה בגדרה. הוא הרהר ותכנן כיצד יתקן את הפרצה לאחר השבת, אך מיד נזכר והחליט שמפני ואין זה מכבוד השבת לתכנן בה תכניות של חול – הרי הוא קונס עצמו ולא יתקן את הגדר. לאחר השבת נעשה לו נס וצמח שם 'צלף' – צמח קוצני שלפירותיו יש ערך ממוני גבוה – וחסם את הכניסה לשדה.
רבי יהודה בר אלעאי מכונה בתואר 'ראש המדברים בכל מקום', והסיבה לכך טמונה במעשה הידוע שפעם אחת דיברו רבי יהודה, רבי יוסי ורבי שמעון על מלכות רומי. פתח רבי יהודה ואמר: כמה נאים מעשיה של אומה זו. תקנו שווקים, תקנו גשרים, תקנו מרחצאות. רבי יוסי שתק, ורבי שמעון בן יוחאי דיבר בגנותם. שמע יהודה בן גרים את דבריהם וסיפר לאחרים עד שהגיעו דבריהם למלכות, גזרה המלכות: יהודה שעילה – יתעלה להיות ראש המדברים, יוסי ששתק – יגלה לציפורי, שמעון שגינה – ייהרג.
מעניינת במיוחד היא העובדה שרבי יהודה דגל בהסתפקות במועט. הוא התבטא ואמר "אכול בצל ושב בצל" בהסבירו כי אל לו לאדם להרגיל את עצמו לפינוקים ואכילה מרובה. ברוך אומר ועושה, ורבי יהודה עצמו חי בעניות מרודה, כשהוא מסרב ליטול תפקיד תורני ולהתפרנס ממנו. עד כמה הייתה עניותו רבה, ניתן ללמוד מהמעשה המוכר ולפיו ברשותו היה מעיל אחד שבו היו משתמשים הוא ורעייתו לסירוגין.
יום אחד קרא רשב"ג לתענית ציבור, ורבי יהודה לא בא. שאל רבן שמעון בן גמליאל לסיבת היעדרו ומשנענה כי אשתו יצאה מן הבית לבושה במעיל וממילא נמנע ממנו לצאת, שלח לו גלימה, אולם הוא לא קיבל. הגמרא מספרת שבאותה השעה הרים מחצלת, נעשה נס, וראה השליח שיש זהובים רבים מתחת לשטיח, אך רבי יהודה אמר שלא נוח לו ליהנות בעולם הזה.
עם זאת, על אף שרבי יהודה עצמו היה עני, סגולה מפורסמת ביותר, היא התפילה על קברו בנושא הפרנסה וכבר ראו רבים ישועות גדולות ונצורות.
רבי יהודה חי כאמור זמן קצר לאחר חורבן הבית. הגמרא במסכת תענית מספרת כי הוא התאבל מאוד על חורבן בית המקדש "אמר רב יהודה אמר רב: כך היה מנהגו של רבי יהודה ברבי אילעאי ערב תשעה באב – מביאין לו פת חרבה במלח, ויושב בין תנור לכיריים, ואוכל ושותה עליה קיתון של מים, ודומה כמי שמתו מוטל לפניו.
בדומה לחברו ורעו, התנא הק' רבי מאיר בעל הנס זיע"א, יום הילולת רבי יהודה בר אלעאי, הינו ביום י"ד באייר – פסח שני. וכפי שמעיד בספר מסעות החכם האבי"ר: "לצפונית מערבית העיר (צפת), במורד ההר, יש שם כפר הנקרא עין זיתון… ולמעלה מן הכפר מהלך עשרה רגעים, שם מערה צרה וקצרה מלמעלה עד שבדוחק יכולתי להיכנס שם, ולהישאר לא יכולתי יותר מרגע, מקוצר רוח ומעבודה קשה אשר היה שם מאנשים ונשים לרוב מאד, כי זה דרכם לבוא שם ולהשתטח ביום זה י"ד אייר על קבר זה המיוחס לרבי יהודה בר אלעאי ז"ל, ויש אומרים גם אמו". גם בספר מבשר ציון, מתאר את יום זה כיום ההילולא שלו. "בפסח שני הולכים שמה כל אנשי צפת בשמחה וששון ומשתטחים על עפרו ומדליקים נרות ושמן ומתפללים…"
מקום קבורתו צויין על ידי האר"י הק', שסימן את המקום באחד מיעדיו הראשונים לאחר עלייתו לארץ ישראל. בתקופת האר"י נהגו חכמי צפת ומקובליה לעלות לתפילות ולימוד קבלה בציון הקבר ורבי אלעזר אזכרי בעל ספר 'חרדים' אף מספר על גילוי אליהו לו זכה רבי יוסף סרגוסי במקום. בספר חרדים אף מביא שיר תפילה שאותו היו משוררים בכל ראש חודש, כשהיו עולים לפקוד את ציונו של רבי יהודה בר אלעי. גם בשל"ה הקדוש בשער האותיות כתב כי כל ערב ר"ח היו משוררים שיר זה בציון התנא ר"י בר אלעאי.