Reference for Yoma 75:15
אמר ר' יוחנן בן נורי פעם אחת מצאתי זקן א' ומגילת סממנין בידו אמרתי לו מאין אתה אמר לי מבית אבטינס אני ומה בידך אמר לי מגילת סממנין הראהו לי אמר לי כל זמן שבית אבא היו קיימין לא היו מוסרין אותו לכל אדם ועכשיו הרי הוא לך והזהר בה וכשבאתי וסחתי דברי לפני ר"ע אמר לי מעתה אסור לספר בגנותן של אלו
The Sages said to them: What reason did you have for not teaching [your art]? They said: They knew in our father's house that this House is going to be destroyed and they said: Perhaps an unworthy man will learn [this art] and will serve an idol therewith. - And for the following reason was their memory kept in honour: Never did a bride of their house go forth perfumed and when they married a woman from elsewhere they expressly forbade her to do so lest people say: From [the preparation of] the incense they are perfuming themselves.