虞允文，字彬甫，隆州仁寿人。父亲虞祺，政和年间进士及第，做官到太常博士、潼川路转运判官。虞允文六岁背诵《九经》，七岁能写文章。因父亲在任而入官。遭逢母亲逝世，悲痛过度瘦弱不堪。下葬以后，早晚在墓旁痛苦，墓地有两棵枯死的桑树，有两只乌鸦来做巢。惦念父亲孤单又有病，七年不改官，一步不忍心离开父亲身边。父亲死，绍兴二十三年（1153）才进士及第，通判彭州（成都市的彭州市），代理黎州（四川省雅安市汉源县）、渠州（今四川达州市渠县）知州。
秦桧主持国事，四川士人很多排斥不用。秦桧死，高宗想要任用他们，中书舍人赵达首先推荐虞允文，召入觐见，讲论君主一定要敬畏上天，一定要安定百姓，一定要效法祖宗。又议论士大夫风气的弊病，靠文章提拔的一定要抑制其中轻佻浮滑的人，靠议论提拔的一定要黜退其中巧言欺诈的人，靠政务提拔的一定要去掉其中苛细刻薄的人，大约如此才能够承担重任达到远大目标。而且极力论述四川财务赋税收取交纳中的弊病。皇上赞许接受他的意见。
授任秘书丞（秘书省职事官），累积升迁到礼部郎官。金国主完颜亮修治汴京，已经有南下侵略之意。王纶回朝，说敌人恭顺和好。汤思退再拜祝贺，把边防军备放在一旁不过问。等到金国使臣施宜生泄露了相当多的敌情，张焘秘密上奏。完颜亮又暗中让画工画下临安（浙江省杭州市）山水而回。完颜亮为画赋诗，真情越发显露。虞允文上奏疏进言：“金国一定会撕毁盟约，军队出征有五条道路，希望下诏命令大臣事先筹划防备抵御。”当时是三十年（1160）的正月。十月，暂任工部尚书充贺金国正旦使，和金国接待大臣举行宾射礼，一箭射中靶心，众人都惊异他的本领。虞允文看到运粮造船的人很多，辞行回朝，完颜亮说：“我将要到洛阳看花。”虞允文回来，上奏所见到的以及完颜亮的话，告诫申明注意淮、海的军备。
授为中书舍人、直学士院。三衙的高级官员用宦官充任承受官，虞允文上言：“自古君王的大权，不移交给奸臣，就落在身边宠臣手里。秦桧窃取权力十八年，秦桧死了，权力才交还陛下。近来三衙勾结宦官，宣和、明受那时的鉴戒并不远。”皇上恍然大悟，立刻罢免他们。
金朝使臣王全、高景山来祝贺生辰，口头传达完颜亮狂妄傲慢的话，想要得到淮南土地，索要将相大臣去商议事情。于是召集三衙大将赵密等商量出兵，侍从、台谏官会集讨论。宰相陈康伯传达皇上旨意：“今天再不必问和好还是防守，直接问作战该怎么做。”派遣成闵为京、湖制置使，率领禁卫军五万人守御襄水、汉水上游。虞允文说：“军队来攻不先清除道路，敌人是虚张声势而分散我们兵力，成全他们出军淮地的奸计而已。”不听，终于派出了成闵。（1161）七月，金主完颜亮迁都汴京，虞允文又对陈康伯说：“成闵部队大约行程在江（九江）、池（池州）之间，应当命令他们到池州就驻扎池州，到江州就驻扎江州。如果敌军攻上游，就让荆湖的部队抵御在前，江、池的部队增援在后；如果攻淮西，就让池州的部队出兵巢县，江州的部队出兵无为，可以做淮西的后援，这样一支部队可有两种用途。”陈康伯同意他的话，但成闵部队最终驻扎在武昌。
九月，金国主命令李通为大都督，造浮梁在淮水上。金国主亲自领兵，部队号称百万，毡房帐篷相连，金鼓的声音不断。十月，从涡口（涡水入淮之口，在安徽怀远县东北）渡过淮河。在此之前，刘锜处理淮东军事，王权处理淮西军事。到这时，王权首先抛弃庐州（今安徽合肥），刘锜也回到扬州，朝廷内外震惊恐惧。皇上打算乘船出海，陈康伯极力主张皇帝亲自出征。这个月戊午日，枢密院事叶义问统率江、淮的部队，虞允文参谋军事。王权又从和州（今安徽巢湖市和县）逃回，刘锜回到镇江，全部丧失了两淮之地。