Reference for Berakhot 122:11
לא יקל אדם את ראשו כנגד שער המזרח שהוא מכוון כנגד בית קדשי הקדשים וכו': אמר רב יהודה אמר רב לא אמרו אלא מן הצופים ולפנים וברואה איתמר נמי א"ר אבא בריה דרבי חייא בר אבא הכי אמר רבי יוחנן לא אמרו אלא מן הצופים ולפנים וברואה ובשאין גדר ובזמן שהשכינה שורה
A man should not behave with levity towards the East Gate [of the Temple], since it is directed towards the Holy of Holies, etc. Rab Judah said in the name of Rab : This is only meant from Sophim inwards, and only applies to one who can see [the Temple]. It has been similarly reported : R. Abba b. R. Hijya. b. Abba said : Thus declared R. Johanan : This is only meant from Sophim inwards, and only applies to one who can see [the Temple] and when there is no barrier [between him and it], and at the time when the Shekinah rests [upon the Sanctuary].