就是这样的“硬茬”宰相，在唐介嘴下也得束手就擒。皇佑三年（1051）文彦博罢相，离开了朝廷，接任的是庞籍。这时最高兴的是司马光了。庞籍的拜相也让司马光如愿进入了馆阁任职，不久还成为了升朝官。这是无数人苦等一生也无法企及的高度。但庞籍却被谏官韩绛弹劾了，事情并不大，却能扎扎实实的扳倒宰相。
事情发生在皇佑五年（1053）的一个清晨，很早宰相庞籍和其他上朝的大臣正在待露院等待。忽然有人在门口大声嚷嚷：“宰相庞公收了钱不办事。答应好的从七品不兑现。”这分明是有人花钱找庞籍买官。这件事不出意外的成了当天的热点。庞籍确实感到莫名其妙，还以为是个神经病，就把“神经病”送回原籍兖州去了。事情当然不可能这么简单就打结了，经调查嚷嚷的人叫皇甫渊，帮官府抓了盗贼，按制可以收取一定赏钱。可是皇甫渊家里不缺钱，他要求用这钱买个官当当。还真有敢收钱的，一个叫赵清贶的道士把钱收下了，此道士确实有来头，是庞籍的亲外甥。赵清贶为了让皇甫渊相信，还特意引荐了宰相府的堂吏，当然堂吏坐这个台也是要收钱的。但庞籍对此事确实一无所知，秉公办理即可，庞籍承担对身边人失于管教的责任。庞籍命开封府从重从严办理此案，开封府对赵清贶施以杖刑，而且立即发配到边远州县，赵清贶在路上就死了。
韩绛上言说，庞籍暗中吩咐开封府吏杖杀赵清贶灭口。朝廷还没等核查此事，就将庞籍罢为郓州知州，不久改任并州知州。一朝宰相就为一件可大可小的事，甚至捕风捉影的事被贬谪。韩绛这样的言官确实可以不太费力的扳倒宰相。
这个时期的台谏官已经成了朝廷上的一股奇特力量，他们品阶不高，地位也不及两府三司，却能扳谁谁倒。这股力量归根到底也是仁宗皇帝扶持的，大宋文官如此不可一世，如果宰相专权又将置皇帝于何处呢？但宰相位高权重也不是皇帝一个人想动就动得了的，需要靠台谏官们时不时的出把力。但这是一把名副其实的双刃剑，需要制定合理而精妙的制度才能收到好效果。如果宰相们正在进行非常重要的治国理政工作，台谏们妖风四起，那自然是干扰国政的。
至和元年（1054），王安石在舒州通判任上三年期满，回京述职听调。在途中和亲友游览褒禅山，作了《游褒禅山记》。
王安石在游览褒禅山花山洞时发现，“入之愈深，其进愈难，而其见愈奇”，有人想退缩了，就说“火把快燃尽了”，于是众人退出。但出洞后发现，火把其实还足以支撑继续深入。众人都很后悔。王安石叹道：“夫夷以近，则游者众；险以远，则至者少。而世之奇伟、瑰怪，非常之观，常在于险远，而人之所罕至焉，故非有志者不能至也。”有了志向，也不盲从别人而停止，但是体力不足也不能到达。有了志向与体力，也不懈怠，到了那幽深昏暗的地方却没有必要的物力支持，也不能到达。有能力而未能达到，在别人看来是可以讥笑的，对自己来说也有所悔恨。尽了自己的努力而未能达到，便可以无怨无悔，还用顾及别人讥笑吗？
这个年轻人始终用冷峻的目光凝视着朝廷，他既不想随波逐流，也不想周旋其中。他只想让自己能够更冷静的思考。