בן ירושלים כתב:כיון שהתגלגל על ר' יעקב משה חרל"פ - שמעתי מהגר"ש פישר שר' יעקב משה היה פרי ההילולים של ירושלים.
מאידך ההשפעה שלו על משפחתו בעניני השקפה היתה מאד מצומצמת. סיפר לי אחד מניניו שבמשפחה (לפחות באגף החרדי) ממש לא לומדים את ספריו במחשבה כיון שלטענתו זה גבוה מדי.
צריך להבין שאביו של ר' יעקב משה ר' זבולון היה תלמידו המובהק של מהרי"ל דיסקין, ואף רבי יעקב משה עצמו הסתובב אצלו בצעירותו, רבי יעקב משה היה תלמיד מובהק של עוד תלמיד של מהריל"ד, הגה"צ רצ"מ שפירא.
הגרי"ז מבריסק כשרצה לברר מסורות ועובדות שנהג בהם מהריל"ד שלח את בנו הגרי"ד לדבר עם רבי יעקב משה.
רבי יעקב משה היה נטוע בשתי עולמות, מחד גיסא היה פרי ההילולים של נקיי הדעת שבירושלים, ובמקביל היה תלמיד של הראי"ה, אם אנשי מרכז הרב היו מקבלים את רי"מ לרבם, (וביותר אם היה נבחר לרה"ר) יש סבירות שהיה מוביל אותם יותר לכיוון החרדי, אך זה לא קרה, ורי"מ נשאר יושב על הגדר הן בקרב המזרוחניקים שלא הכילו את עומק הרעיון של האיש, והן בקרב החרדים שזוכרים לו את ישיבתו אצל המזרוחניקים.