Reference for Yoma 148:3

ואימא היכא דיתיב בשימשא וחיים ליה לא נימא ליה קום תוב בטולא יתיב בטולא וקריר ליה לא נימא ליה קום תוב בשימשא דומיא דמלאכה מה מלאכה לא חלקת בה אף ענוי לא תחלוק בו

Our Rabbis taught: Ye shall afflict your souls.<span class="x" onmousemove="('comment',' Lev. XVI, 29.');">²</span> One might assume that one must sit in heat or cold in order to afflict oneself, therefore the text reads: And ye shall do no manner of work;<span class="x" onmousemove="('comment',' Lev. XVI, 29.');">²</span>

Jastrow