第一个采用部首作为汉字分类的是《说文解字》。《说文解字》将小篆的汉字分类在540个部首里，并将这些汉字的造字原理归类成「象形、指事、会意、形声、转注、假借」等六书的原理加以说明。

《说文解字》的部首分类最大原则是部首必须对此汉字之结构有所意义，因此，「杀」与「放」等形声字也被订定成部首。

另外，「一」到「十」的数字、「甲」到「癸」的天干、「子」到「亥」的地支都被选择作为部首。

虽然部首排列法强调部首应与文字有所关联，但又受到阴阳五行理念的影响，以「一」部开始，并以地支末尾的「亥」部结束，故作为分类方式，并不容易查询到自己想要查的文字。

之后、许多字书模仿《说文解字》，以部首来分类汉字。如《玉篇》（542部首）、《类篇》（540部首）等，这些字书采用的字体已经是楷书，内容也不是解说文字的来源，而是说明字义为主。但使用的部首几乎与《说文解字》相同，不易检索的缺点仍在。

在中国，长时间由于为了容易检字，相较于采用部首别的方式整理汉字，采用韵目排列汉字的字书更风行。这样分类有助于填诗、检字方便。例如宋代时也有人出版了改以韵目顺序排列的说文解字。

接著，辽代的僧侣行均之《龙龛手鉴》（242部首）、金代的韩孝彦、韩道昭的《五音篇海》（444部首）等字书，开始尝试调整部首数量，追求更高的检字方便性。

尤其《五音篇海》中，首度将同一部首内的汉字（部分）采用笔画数排列。但这些字书的部首本身仍不是采用笔画数排列。