اشتهر باسم "ابن العَنْز" لما شاع أنه رضع من عنزٍ خصصت له، بعد وفاة أمه وهو رضيع فعرف بلقب "ابن العنز"، ونشأ في بيئة علمية ولا سيما أنه ينحدر من بيت علم وإمامه، وكان أبوه أحمد من العلماء الكبار، وقد كان يُقال له سيبويه لعلو شأنه في النحو، كما أن صعدة قد اشتهرت بمدارسها وهِجَر العلم ومعاقله (أماكن تجمع طلاب العلم المنتشرة فيها)، فصارت معقلًا للعلماء والأئمة. اشتهر عنه أنه كان يمضي في الجبال والشعاب متخليًّا متعبدًا، ولعل هذا قد أثر فيه وفي اهتماماته العلمية اللاحقة لا سيما علم الفلك والبصريات، وكان من أهل التقوى والعفة، كثير الصمت قليل الضحك. دفن ابن العنز في قبة جده الإمام عز الدين بن الحسن، وقال عنه المُحِبِّي "كانت له فكرة عجيبة في كل شيء، وعمل ناظورًا (منظارًا) يدرك به البعيد، فأبصر من صعدة إلى ربيع".