המקור הקדום לנוסח תפילה זה הוא בסדר רב עמרם גאון, ומובא גם בסדר התפילות להרמב"ם. [נראה לכאורה מלשון הרמב"ם כי הפתיחה 'לעולם יהא אדם וכו'' היא מעצם התפילה, ואינה רק דברי מוסר, ועמדו בזה כבר בהגהות מעט צרי (טרונק, הובא בספר הליקוטים), ובסידור צלותא דאברהם. בדומה להערה זו, ובכללות ענין הנוסחאות בכל התחינה, ראה בספר ליקוטי מהרי"ח].'לעולם יהא אדם ירא שמים בסתר ומודה על האמת ודובר אמת בלבבו וישכם ויאמר, רבון כל העולמים לא על צדקותינו וכו',
בדברינו נעמוד אי"ה על כמה נקודות הטעונות ליבון ובירור בהקשר למקור אמירה זו והמשכה עד לחתימתה בברכת 'המקדש את שמך ברבים'.
עיקרה של התחינה בראשיתה 'רבון כל העולמים לא על צדקותינו' זוהי תפילת רבי יוחנן שהיה אומרה לאחר תפילתו ביום הכיפורים, יעויין יומא פז, ב וברש"י שם ד"ה רבון העולמים. ברש"י מופיעה הנוסחא 'כי לא על צדקותינו', [בהגהות וציונים במהדורת עוז והדר מובא כי בכמה כת"י ליתא למילת 'כי'], והיינו משום שפתיחת התפילה מיוסדת על דברי דניאל (ט, יח), כִּי לֹא עַל־ צִדְקֹתֵינוּ אֲנַחְנוּ מַפִּילִים תַּחֲנוּנֵינוּ לְפָנֶיךָ כִּי עַל רַחֲמֶיךָ הָרַבִּֽים. בנוסחא זו היא מובאת בטור בשם סידורי אשכנז, ורק בסוף דבריו מביא הטור כי בסידורי רב עמרם כתב לעולם יהא אדם וכו'. ובדרכי משה שם (ס"ק ה) ציין, וכן המנהג והסדר בסידורים שלנו רק שאומרים קודם רבון לעולם יהא אדם ירא שמים בסתר ומודה על האמת ודובר אמת בלבבו וישכם ויאמר רבון וכו'.
מקורה של המימרא הפותחת 'לעולם יהא אדם' בשינוי מעט הוא בתנא דבי אליהו (רבה פרשה יט),
ד"א העטופים ברעב, אין רעב אלא דברי תורה, שנאמר הנה ימים באים נאום ה' והשלחתי רעב בארץ וגו' (עמוס ח יא), מיכן אמרו, יהא אדם למד תורה באימה וביראה ברתת ובזיע, יסתכל כל אדם בעצמו, וידע שלאחר שעת מיתה, ישא עיניו לשמים ויאמר, מי ברא כוכבים ברקיע ונתן לו מקום לכל אחד ואחד, דרך ומסילה לכל אחד ואחד, כמה מגדלים בנתה מלכות רומי, מי גדען והשליכן לארץ, כמה מגדלים בנתה מלכות מדי, מי גדען והשליכן לארץ, מי בעט בו במגדל ראשון, ונתן ראשו במקום אחד וגופו במקום אחר ועשרים ואחד מיל בין זה לזה, שנאמר לבך יהגה אימה [וגו'] (ישעיה לג יח), מיכן אמרו, יהא אדם ירא שמים ומודה על האמת ודובר אמת בלבבו, בכל יום ויום ישכים ויאמר, רבון כל העולמים לא על צדקותינו אנחנו מפילים תחנונינו לפניך וגו', ואומר בעת ההיא אביא אתכם ובעת קבצי אתכם כי אתן אתכם לשם ולתהילה בכל גויי הארץ בשובי את שבותיכם לעיניכם אמר ה'.
דברי התנא דבי אליהו הובאו בתוספת קטנה בספר שבולי הלקט (ענין תפילה סימן ו),
תניא בסדר אליהו רבא העטופים ברעב בראש כל חוצות. אין רעב אלא מדברי תורה... ועל אותו הדור הוא אומר לעולם יהא אדם ירא שמים בסתר ומודה על האמת ודובר אמת בלבבו ישכים וישחיר ויאמר. רבון כל העולמים לא על צדקתינו אנחנו מפילין תחנונינו לפניך כי על רחמיך הרבים כו'. וקדמונינו ז"ל הנהיגו לאמרו בכל יום קודם שיתחילו בזמירות. ורבינו שלמה זצ"ל הרגיל שלא לומר לעולם יהא אדם ירא שמים בסתר מפני שתוהין לומר וכי בסתר יהא אדם ירא שמים ולא בגלוי , ומתחילין לומר רבון כל העולמים.
הביאור הפשוט שבנוסחת התד"א (לפי השבה"ל) 'יהא ירא שמים בסתר' היינו משום שבלשונו של אבא אליהו ירא שמים בסתר זו הדרגה הגבוהה והפנימית יותר של יראת שמים, כמו שמצינו בכמה מקומות בלשונו, באליהו רבה (פרשה יח): אשרי מי שהוא ירא שמים בסתר, ונשען במי שהוא תפוס מגן ותריס בידו, וכן להלן שם, מעשה בכהן אחד שהיה ירא שמים בסתר, והיו לו עשרה בנים מאשה אחת, ששה זכרים וארבע נקיבות, ובכל יום ויום היה מתפלל ומשתטח ומתחנן ומבקש רחמים ומלחך בלשונו עפר, כדי שלא יצא אחד מהן לידי עבירה ולידי דבר מכוער. ויעוי' עוד בשיטה מקובצת בכורות (לא, א), ובפנים יפות פר' לך לך (יז, א).
ולפי"ז נראה דאין הכוונה בדרך של חידוש שיהיה ירא שמים גם כאשר הוא נמצא בסתר, אלא זוהי דרגה אחרת של יראת שמים שהיא 'בסתר', ובזה ניתן לדחות השגת בעל סדר היום (סדר ברכת השחר), וז"ל,
ואח"כ יתחיל לסדר תפלתו ויאמר לעולם יהא אדם ירא שמים בסתר ובגלוי והאומר בסתר לבד טועה כי למה נשנה הנוסח' הטובה והיפה משום דברי האומר מה חידוש הוא לו בגלוי פשיטא העיקר הוא שיהי' ירא בסתר במקום שאין שם רואה אותו שום נברא וזאת אינה קושיא כי אין כוונתינו להשמיע חדוש כי אם להודיע כיצד יתנהג אדם ירא שמים במעשיו שצריך לו להיות לעולם יראת שמים כנגד פניו בין בסתר בין בגלוי.
בהעתקת השבלי הלקט אנו שומעים כי האמירה 'לעולם יהא אדם' אמורה ביחס לאותו דור עני מדברי תורה, ואילו בנוסחא שלפנינו אין מפורש שזה נתקן במסוים לאותו דור, אלא רק שזוהי תקנתו של אותו הדור.
בהמשך דבריו מצדד השבה"ל ליתן טעם לאמירת לעולם יהא אדם, ובתוך הדברים כתב, וז"ל, ו
ר' בנימין אחי נר"ו כתב שראוי לומר בסתר שלא אמרו אבא אליהו אלא כנגד דורו של שמד שגזרו שלא לקרוא את שמע ולא היו יכולין להיות יראין בגלוי על כן הזהירם וזרזם לקבל עליהם עול מלכות שמים בסתר. תדע לך שכן הוא שאומר וחייבין אנו לומר לפניך תמיד שמע בכל יום כו' ומיחדים את שמך פעמיים באהבה ואומר שמע ישראל כו'. ועל כן אומר ברוך המקדש שמו ברבים לפי שבשעת השמד אין שמו מקודש ברבים אלא בסתר על כן אין לנו לשנות.
ולכאורה דברי שבלי הלקט טעונים ביאור טובא, מהי הראיה שמביא בהמשך דבריו, 'תדע לך שכן הוא שאומר וחייבין אנו לומר לפניך תמיד שמע בכל יום כו' ומיחדים את שמך פעמיים באהבה ואומר שמע ישראל כו'', אמנם כך הוא בסדר התפילה שלפנינו, אבל מה ראיה יש מכאן על שורש ומקור הדברים מפיו של אליהו הנביא שהם נאמרו במיוחד על דורו של שמד.
כיוצא בזה, בדברי התד"א אין מוזכר מאומה מנוסח הברכה על קדושת השם, שמקורה יובא בסמוך.