Related for Chagigah 4:8

תניא נמי הכי הכל חייבין בראייה ובשמחה חוץ מחרש המדבר ואינו שומע שומע ואינו מדבר שפטורין מן הראייה ואף על פי שפטור מן הראייה

There is also a Baraita to this effect, All are obligated in the "appearing" and in the rejoicing except a deaf man. He who speaks and does not hear, and he who hears and does not speak, are exempt from the "appearing". But although he is exempt from the "appearing",

Tosefta Terumot