第二天上朝时，玄宗又把牛仙客的事提了出来，张九龄还是坚持前一天的意见。这一下，玄宗火了，厉声责问道:“难道事情都得照你的意见办才行吗?”张九龄连忙跪在地下磕头请罪，但他仍然不改变自已的意见，他说：“既然陛下让我担任宰相，我就得把我的意见全都说出来。”玄宗没有理他，过了一些日子，下令给牛仙客封了爵位。

张九龄当了三年宰相之后，遭到了同韩休一样的下场。这一年秋天，玄宗派高力士给张九龄送来了三把白羽毛扇。扇子是夏日用品，秋天一到，天气凉了，扇子还有什么用处呢?玄宗赠扇的意思，是说张九龄已经成了秋天的扇子，没有用处了。张九龄心里很明白。于是，他给玄宗写了一首“白羽扇赋”，赋中有这样几句：

苟效用之得所，虽杀身而何忌?

纵秋气之移夺，终感恩于筐(qiè 箱子一类的东西)中。

意思是说:我张九龄为了忠于职守，并不计较个人得失，即使有一天我被免去宰相的职位，也不会以此抱怨陛下。

不久，张九龄果然被免去了相位，降职做了荆州(今湖北省境内)的地方官。他虽然不敢抱怨玄宗，但心里却充满了对李林甫一类奸臣的鄙视和憎恨。离京前夕，张九龄写了一首感遇诗，表达了自己忧国忧君的心情。诗的结尾是:

白云在南山，日暮长太息。

张九龄在诗中以“白云”比喻奸臣李林甫，说他就像白云笼罩南山一样，蒙蔽了玄宗，自己老年离朝，忧国之情只能付于叹息声中。

到了这时，玄宗的确被许多“白云”围绕着,其中的一朵“白云”，就是玄宗的一位新贵妃。

开元二十八年(公元740年)，玄宗已经是五、六十岁的老头子了，虽然有了一大把花白胡子，却又娶了一位二十来岁的新贵妃。这位新贵妃不是别人，正是玄宗自己的儿媳妇。

这是怎么一回事儿呢？

说来话长。