李密的上辈是北周和隋朝的贵族。他少年时候，被派在隋炀帝的宫廷里当侍卫。李密生性灵活，在值班的时候，左顾右盼，被隋炀帝发现了，认为这孩子不大老实，就免了他的差使。李密并不懊丧，回家以后，发愤读书，决定做个有学问的人。有一回，李密骑了一条牛，出门看朋友。在路上，他把《汉书》挂在牛角上，抓紧时间读书。正好宰相杨素坐着马车从后面赶上来，
看到前面有个少年在牛背上读书，暗暗奇怪。杨素在车上招呼说：“哪个书生，这么用功啊？”李密回过头来一看，认得是宰相，慌忙跳下牛背，向杨素作了一个揖，报了自己的名字。杨素问他说：“你在看什么？”李密回答说：“我在读项羽的传记。”杨素跟李密亲切地谈了一阵，觉得这个少年人很有抱负。回家以后，杨素跟他儿子杨玄感说：“我看李密这孩子的学识、才能，比你们几个兄弟强得多。将来你们有什么紧要的事，可以找他商量。”打那以后，杨玄感就跟李密交上了朋友。