كان الطغرائي أديبًا بليغًا وشاعرًا مُجِيدًا، وناثرًا مترسلًا، عالمًا بالعربية، طرق معظم فنون الشعر من حماسة وفخر وعتاب وغزل، وهو من نسل أبي الأسود الدؤولي. كان خبيرًا بصناعة الكيمياء القديمة، واطلع على الكتب اليونانية القديمة في علم السيمياء، وركز عمله في تحويل المعادن إلى ذهب، حتى قال عنه الإمام محمد بن الهيثم الأصفهاني "كشف الأستاذ أبو إسماعيل بذكائه سرَّ الكيمياء، وفك رموزها واستخرج كنوزها، وله فيها تصانيف". وكان من أوائل من اتصل بهم الطغرائي هو معين الملك محمد بن فضل الله بن محمد، صاحب ديوان الإنشاء لألب أرسلان، وفضل الله هو الذي عيَّنه كاتبا في الديوان، ووصله بالوزير نظام المُلك فاستمع إلى مدائحه فيه، ورحَّب به. اتهم فضل الله بعد ذلك بالاشتراك في مؤامرة على نظام الملك، فظل الطغرائي يحفظ للفضل بن محمد صنيعه معه، ويواسيه في محنته ببعض الأشعار في مديحه، ولم يأخذ نظام الملك على الشاعر شيئا من وفائه لصاحبه، وظل الطغرائي يعمل في دواوينه كما ظل على صلته به يمدحه في المناسبات. توثقت صلة الطغرائي بالسلطان محمد بن ملكشاه (499 – 512هـ) بعد وفاة نظام الملك، وأصبح في عهده نائبا عن ديوان الطغراء، ثم كلفه السلطان محمود الذي خلف والده برئاسة ديوان الطغراء والإنشاء، وظل يدبره حتى أمره السلطان بملازمة بيته؛ فانتقل الطغرائي بعد ذلك إلى الموصل، واتصل بالسلطان مسعود بن محمد السلجوقي أخو السلطان محمود فولاه وزارته. ثم حدث أن نازع السلطان مسعود أخاه محمودًا في العرش، وتحاربا قرب همذان، فقُتل السلطان مسعود وقُبض على رجاله، وفي جملتهم الطغرائي، فأراد قتله ثم خاف عاقبة النقمة عليه، لما كان الطغرائي مشهورًا به من العلم والفضل، فأوعز إلى من أشاع اتهامه بالإلحاد والزندقة، فتناقل الناس ذلك، فاتخذه السلطان محمود حجة؛ فقتله، وقيل إنه قُتل مع مسعود في المعركة.