要说起绿帽子的来由，还真的是历史悠久。中国古人将颜色分为“正色”和“间色”，这源于《礼记·玉藻》对士人着衣颜色的要求：“士不衣织，无君者不贰采。衣正色，裳间色。”东汉郑玄认为此句说的是古代最高规格的礼服——冕服，颜色是“玄（黑）上纁（浅红）下”。绿色是“苍黄之间色”，故而在中国传统的颜色等级谱系中就处于较低的位置。相应的，穿着绿色服饰本身也就意味自己的社会阶层地位比较低下，即贱人服。
在古时候，绿色最低级的颜色。在唐代，官吏有袍，品级最低者也是绿色。所以绿头巾也就是低贱者的装束了，唐代李封在当延陵令时，遂吏人有罪，不加杖罚，但令裹碧绿以辱之，随所犯轻重以定日数。而后来绿帽子又成了妇女背着自己男人偷汉子，则是因为到了元朝，青头巾日益成为娼妓之家男子们之装束，这也就是真正的绿帽子的由来了。将妻有淫行者称为绿头巾、绿帽子或戴绿帽子，乃是这种服色传统一脉相承之后的终极结果。绿头巾和绿帽子，也因此而从一种服装旳记号语言，升格成日常用语。
虽然说现在绿帽子已经是个人尽皆知的特指，但这“绿帽子”的演变过程，却是长达两千年之久，由此也可见的，中国的许多文化都并不是凭空而来的，而是经过了年岁的积淀，追其缘由，则都是因为文化的丰厚累积。