牛温舒，范阳人。刚正不阿，崇尚节义，有远大的器度。
咸雍年间，提升为进士第，长期担任小官。大安初，累迁户部使，转给事中，知三司使事。因国家与百姓都变得富足，皇上觉得他贤能，升为户部侍郎，改任三司使。寿隆年间，拜参知政事，兼同知枢密院事，摄中京留守。属下百姓赴京请求拜为正式留守，从之。召为三司使。
乾统初，再任参知政事，知南院枢密院使事。五年(1105)，夏为宋所攻击，来使请求出面和解。牛温舒与萧得里底出使宋。正当大宴之时，优人身着道士衣装，索要土泥药炉。优人说：“土少不能和药。”温舒赶紧站起，用手挖土揣入怀中。宋主问其缘故，温舒回答说：“我奉天子之威命前来讲和，如果不从，便当卷土而去。”宋人大惊，便准予夏人讲和。回国后，加中书令，不久去世。