祖逖，出身于西晋末年北方大族。自从匈奴人占领中原后，北方有许多人逃难到南方，祖逖也带了几百家乡亲来到淮河流域一带。在逃难的行列中，祖逖主动出来指挥，大家都十分敬重他，并推选他做首领，希望祖逖带领他们早日恢复中原。当时，司马睿还没有即皇帝位。祖逖渡江到建康，劝琅琊王司马睿下令出兵收复失地。司马睿并没有恢复中原的打算，勉强答应了祖逖的请求，派他做豫州刺史，拨给一千个人吃的粮食和三千匹布，至于人马和武器，则叫他自己想办法。祖逖带着随同他一起来的几百家乡亲，组成一支队伍，横渡长江。船到江心的时候，祖逖拿着船桨，在船舷边拍打，向大家发誓说：“我祖逖如果不能扫平占领中原的敌人，决不再过这条大江。”他激昂的声调和豪迈的气概，使随行的壮士个个感动，人人激奋。到了淮阴，他们停下来一面制造兵器，一面招兵买马，向北进发，迅速收复了许多失地。