“高丽棒子”一语来自明清时期朝鲜贡使团的杂役。古代朝鲜为中国的朝贡国，必须定期派使团向中国皇帝朝拜、进贡，贡使队伍中由三使臣（正使、副使、书状官）、军官、译官、医官和杂役等组成。史学家罗继祖指出“棒子”原为朝鲜人对私生子的称呼，由于这等人地位低下，故只能在使团中充当杂役，由此传入中国。他在其所著《枫窗脞语》一书中有如下论述：1860年代的朝鲜朝贡使团 “解放前，呼朝鲜人为‘高丽棒子’，不解所谓。解放后禁用，知非美称。然其意义为何尚懵然也。王一元《辽左见闻录》，中有一则云：‘朝鲜贡使从者之外，其奔走服役者，谓之“棒子”。其国妇女有淫行，即没入为官妓，所生之子曰“棒子”，不齿于齐民。鬓发蓬松，不得裹网巾；徒行万里，不得乘骑；藉草卧地，不得寝处火炕，盖国中之贱而劳者。
根据南京大学历史学系黄普基（韩国人）的考证，棒子原本写作“房子”或“帮子”，原本指的是明清时期朝鲜贡使团中地位低微的服役者；这些人由于地位卑贱、素质低下，在中国境内偷摸扒窃、违法乱纪，给中国政府和百姓带来很大麻烦，因此造成了中国人对朝鲜人的恶劣印象，再加上明清朝廷以“柔远”之姿态来优待使团而牺牲沿途官民的部分利益，致使中国百姓将带来的不便归咎到朝鲜使团头上。而明清时期中国老百姓习惯称朝鲜为“高丽”，所以就产生了“高丽棒子”这一蔑称。它从一个特定的称谓演变为“高丽棒子”这一含有贬义的泛称的历史过程，反映出的是明清时期朝鲜使团与沿途的中国百姓之间的矛盾。
当然也还有另外一种说法，“棒子”一词与被称为“房子”或“帮子”的朝鲜使团仆役无关，而是中国民间的一种土语，带轻蔑之意，也不独与“高丽”连用。据《清史稿》记载，有东北少数民族土著被称为“葛兰棒子”，此外文献证实清代民间还存在“山东棒子”、“陕棒子”、“穷棒子”等称谓，“高丽棒子”只是其中一种罢了。而且明代并无高丽棒子之称，该词在清代才出现，这并非朝鲜使团仆役在明代表现良好却在清代表现恶劣，而可能是明清易代后的明朝遗民（尤其是朝鲜使团经过的辽东、直隶地区的人）对朝鲜人产生了厌恶感（如朝鲜降清、在松锦大战中助清攻明、不用剃发易服等，故将口语中蔑称某种人群的“棒子”一词用于朝鲜人身上，称之为“高丽棒子”，与朝鲜仆役的称谓“房子”或“帮子”并无关系，仅是巧合相似而已。由于时间的流逝，“棒子”一词的其他连用逐渐淡化，唯独“高丽棒子”一词使用至今，这或许是由于抗日战争时期大量朝鲜人协助日本侵略者在华作恶的缘故。
据清乾隆十六年（1751年）版的《皇清职贡图》第一册中“朝鲜国民妇”图后一页载：“朝鲜国民人，俗呼为高丽棒子。”而乾隆三十一年（1766年）来华的朝鲜使臣洪大容亦曾记录他们在京师被中国小孩骂为“高丽棒子”的经历：“有乘车少妇，掀帘窥望，颇艳丽。平仲直视不回避，指点称奇。其帮子看车者，蹲坐帘前，喃喃谇骂，平仲不知觉也。而已，有群童数十，竞呼‘高丽帮（棒）子’，吆喝而追之。余促平仲疾驰，仅以免焉。”以上事实说明早在清代康乾时期，中国民间就普遍对朝鲜人使用“高丽棒子”的称谓。
