Reference for Avodah Zarah 122:4

וחכמים אוסרין עד שיהא שומר יושב ומשמר או עד שיבא ממונה הבא לקיצין

but the Sages prohibit it unless a supervisor sits and watches or until somebody is appointed to go there at regular intervals.

Jastrow