不过等唐明宗李嗣源死后，孟知祥就在成都称帝，这一下就少了一大块。石敬瑭称帝后，又把燕云十六州割给了契丹，又少了一块。后晋末年，后蜀又趁中原内乱，取了秦（今甘肃天水东）、成（今甘肃成县）、阶（今甘肃武都）、凤（今陕西凤县东）四州，刘知远称帝后，也没能夺回来，这样又少了一小块。而郭威开国时，刘崇又据河东十二州建立了北汉，所以到柴荣登基这时，领土面积已经不大了，仅有九十六州的土地。
柴荣遇到的第二个困难，就是人心不附。因为柴荣不管即位有多顺利，但他都不是郭威的亲生儿子，那人们自然而然地就会想起，假如郭威只要是还有一个亲生儿子，那就绝不会轮到柴荣继承皇位。
再加上郭威从后汉的枢密使到当上皇帝，只用了一个多月，皇位也仅仅坐了三年，威望本身就有限。而柴荣则更是如此，到二十七岁才刚混到一个军职，有了军职又也没有去打过仗。
郭威称帝后，柴荣又被宰相王峻打压了两年多，刚刚才算是崭露头角，更没有什么威望而言。而五代之中，向来都是兵骄将悍，以柴荣的资历威望，想一下子慑服这些人，是根本就不可能的。
柴荣遇到的第三个困难，则是强敌环伺。后周坐镇中原，南有南唐、西有后蜀，这两个都是大国，其中后蜀有52州，南唐有36州，从表面上看。似乎和后周的96州相差了不少，但实际州有大有小。其实这两国的国土面积虽比后周要小一些，但相差也不是很多。并且唐、蜀两国多年以来休生养息。很少有战乱发生，与后周相比要富足得多。
在后周的北方，则是强大的大辽和后汉的衍生国北汉，这两个也都是后周的死仇了。实际上，柴荣登上皇位后，面临的第一个挑战也正是来自于这个方向。
北汉前面也说过，是由刘知远的弟弟刘崇所建立，郭威刚建国时，刘崇就曾借辽兵攻打后周。并因此跟辽国约为“叔侄之国”，是一个典型的汉奸政权。在那一次交锋中，北汉遭到了重创，之后几年间只是一味地巴结辽国，寻求支持，不敢再与后周争锋。
但等郭威的死讯一传到晋阳，刘崇马上就来了精神，立即向辽国求援，准备出兵攻打后周。辽帝耶律璟（耶律述律称帝后改名耶律璟）对他这个老侄子也很