孔子宣扬的是三皇五帝的治国方法，追求的是周公和召公一样的功绩，野心不可谓不大。一旦孔子有了土地，再加上德才兼备的弟子们的辅助，这对楚国来说，并不是什么好消息。大王如果重用了他，楚国的后代还能继承到方圆几千里的土地吗？”
听了子西的话，楚昭王觉得有道理，如果孔子有了封地，再加上一大帮弟子的帮助，将来真有可能越来越强，把楚国灭了也不是没有可能。于是，他就改变了主意。
其实，子西的话有些言过其实，因为楚昭王想封给孔子的只是一块食邑，只是可以征粮征税罢了，并不能征兵打仗。子西之所以这么诋毁孔子，无非是担心孔子得到了楚昭王的信任，威胁到自己的利益。
到了秋天，楚昭王病重去世，楚国朝政被子西控制。孔子知道子西不会重用自己，可是又不知道该去哪里，于是陷入了进退两难的境地。
最终，孔子想到了熟悉的卫国，当年在卫国，卫国国君给他的地位和俸禄都还不错。况且，此时卫国的政局已经慢慢稳定了下来。所以，孔子决定离开楚国，再次回到卫国。
这一年是公元前489 年，孔子已经六十三岁了，在离开卫国奔波了三年之后，他又回到了卫国。
孔子回到卫国的时候，他的很多弟子已经在卫国当了大官，有的还成为了国君的亲信。在他们的努力推荐下，卫出公打算重用孔子。