Related for Chullin 181:24

לא מן השם הוא זה אלא משום דהוה לאו שאין בו מעשה וכל לאו שאין בו מעשה אין לוקין עליו

This stands proved.

Maharam Schiff on Chullin