1360年(至正二十年),被朱元璋请至应天(今南京),任谋臣,展现一个非常成功的兵法家的才能。刘基针对当时形势,向朱元璋提出避免两线作战、各个击破建策,被采纳。辅佐朱元璋集中兵力先后灭陈友谅、张士诚.等势力。刘伯温并建议朱一方面脱离“小明王”韩林儿自立势力,却另一方面以“大明”为国号来招揽天下义师的民心。1367年(至正二十七年),参与制定朱元璋的灭元方略,并得以实现。共参与军机八年,筹划全局。1370年(明洪武三年),为嘉勉刘基的功荣,授命刘基为弘文馆学士。十一月朱元璋大封功臣,本想封刘基为丞相,但刘基一再推脱,只好作罢。这并不是刘基的客气,而是他明白自己的正直会遭到其他为官者的排挤。因此申请还乡。朱元璋授命他为开国翊运守正文臣、资善大夫、上护军,并封为诚意伯。刘基的功劳对于明朝来说可以说是最大的,但每年俸禄只有二百四十石。
即帝位后的朱元璋,心态开始发生变化,“非我族类,其心必异”这是所有帝王的一贯思维,只不过在朱元璋那儿更变本加厉,更刻薄寡情。本来第一个要收拾的是独揽大权的丞相李善长,因为李嫉恨刘伯温,朱元璋就选择刘伯温充当杀手。“太祖以事责丞相李善长,基言:‘善长勋旧,能调和诸将。’
太祖曰:“是数欲害君,君乃为之地耶?吾行相君矣。”基顿首曰:“是如易柱,须得大木。若束小木为之,且立覆。”(《明史列传16》)尽管刘伯温说得都是大道理,不过他心里应该明白,让他出来收拾李善长,既是利用,也是试探他的忠诚度。
他一旦受命或可减轻朱元璋的猜疑,然而,唇亡则齿寒,此例一开,以后朱元璋对待开国功臣元老就会换另外一副面孔,此等不义之举,按刘伯温的个性是绝不可为的。正因为如此,第二年他就请退,告老还乡了。