我们相信，有些人的性格可以从他们的脸上看出来，这种观点在古希腊时就已经存在了。这种观点在中世纪的欧洲也很普遍，直到文艺复兴时期都还体液理论与四行理论密切相关，古希腊人认为万物是由土、火、水和空气四种因素构成的。尽管这四种因素中最主要的成分是空气，但当时的人们认为在黑胆汁中占主导地位的是土，黄胆汁中是火，黏液中是水，血液中则包含所有四种元素。
体液理论有助于人们从外表来判断性格，体液的比例会影响一个人的身体以及心理状态。基于这一理论，人的外形可能会和气质之间有关系。例如，乐观型的人被认为拥有红润的脸色，一个忧郁的人看起来苍白而瘦弱。
18世纪，相面术由瑞士诗人和牧师约翰·卡斯帕·拉瓦特尔（Johann Kaspar Lavater，1741年—1801年）恢复并使其流行起来。他相信“灵魂与肉体之间存在着一种确切的关系”，而他得出的一个不幸的结果是提倡外表美代表美德的观点。他的工作颇具影响力，德国解剖学家和生理学家弗朗兹·约瑟夫·加尔（Franz Joseph Gall，1758年—1828年）也深受其影响。
大脑和隆起
加尔是第一个区分大脑灰质的人，大脑灰质是由神经元组成的，而白质则包含负责与大脑联接的神经束。加尔不仅相信大脑的不同区域（“器官”）在执行不同的任务（称为功能定位），还相信头骨的形状反映了大脑的精细结构。他认为，通过测量颅骨的突起和隆起，可以确定不同“器官”的大小，从而详细了解人的性格。他的头骨测量法被称为颅相学，但却不受当局的欢迎，教会认为它是反宗教的，1802年，奥地利政府禁止了他的讲座。三年后，他被迫逃离了这个国家。
看手相
相手术（即相术和手相术）指的是相信可以从一个人的手纹上看出其性格和未来。它有着悠久的历史，并且早已在中国、波斯、苏美尔、古以色列、美索不达米亚以及欧洲等地区存在。希波克拉底在诊断时也会查看患者的手掌。亚里士多德评论道：“掌纹并不是毫无道理地出现在人的手掌中，它们来自天堂的影响以及人自己的个性。”中世纪的欧洲教会压制相手术，将它看作一种异教迷信。在文艺复兴时期，手相与巫术都属于禁术。1839年，相手术由于在出版物上被刊登而再次在欧洲出现，这是一篇由法国陆军军官撰写的、主题为相手术的颇具影响力的论文。这位法国陆军军官就是卡西米尔·斯坦尼斯拉斯·达本泰尼（Casimir Stanislas D/'Arpentigny，生于1798年）上校，他在西班牙的军事行动中被一个吉普赛女孩看过手相，从此就对相手术非常感兴趣。19世纪后半期，相手术变得越来越流行。
人有四种气质：淋巴质（黏液质）、多血质、胆汁质和神经质（抑郁质）。人们可以观察到，不同气质的人有不同的外部特征。淋巴质（黏液质）的人身材圆胖，肌肉绵软无力，细胞组织充血，有金色的头发，脸色苍白。这种气质的人通常伴随着慵懒的行动以及衰弱而缓慢的血液循环，其大脑作为身体系统的一部分也是缓慢、慵懒和无力的，心智活动同样也表现得很衰弱。多血质的人外形俊朗，体型适中，肌肉有弹性，有浅色的、偏栗色的头发，蓝色的眼睛，白皙的皮肤，红润的面容。这种气质的人很有活力，喜欢运动，表情愉快。其大脑状态一般，但却充满生机与活力。纤维质（通常，但并不恰当地将其称为胆汁质）的人有黑色的头发、黑皮肤，肌肉健壮结实，轮廓硬朗。这种气质的人行动充满能量，大脑活动也是如此，而他们的面容则表现出坚强而决断的特点。神经质（抑郁质）的人头发细薄，皮肤也很薄，肌肉组织瘦弱，肌肉的运动速度很快，面容苍白，但往往健康状况不好。其整个神经系统（包括大脑）是积极和精力充沛的，心理表现也同样活泼而强大。
英国科学作家和演说家威廉·玛窦·威廉姆斯（William Mattieu WiIliams，1820年—1892年），《为颅相学辩护》（A Vindication of Phrenololgy，1894年在其去世后出版）作者
约翰·加斯帕尔·伯茨海姆（Johann Gaspar Spurzheim，1776年—1832年）曾作为加尔的助手，在美国进一步发展和推广了颅相学。一些颇具影响力的作家，如美国的沃尔特·惠特曼（Walt Whitman）、埃德加·爱伦·坡（Edgar Allan Poe）、马克·吐温（Mark Twain）和赫尔曼·梅尔维尔（Herman Melville），英国的艾米莉·勃朗特（Emily Bront）、查尔斯·狄更斯（Charles Dickens）则认真地看待这一问题，并将其运用到他们的作品中，从而增强了其作品对读者的吸引力。
达尔文的懒鼻子
相面术被充分受到重视。英国博物学家查尔斯·达尔文差点错过了一趟旅途，而他正是受到这趟旅程的启发而发展出了进化论。这艘船的船长罗伯特·菲茨罗伊（Robert FitzRoy，1805年—1865年）是一个狂热的相面术爱好者，认为达尔文鼻子的形状表明他缺乏决心，并因此差点拒绝他上船。
不幸的是，对相面术和颅相学的研究是由具有种族歧视倾向的白人科学家进行的，这使他们认为其他种族头和脸的形状表明其有较低的道德标准和更低的智商。
天生的罪犯
意大利犯罪学家塞萨雷·龙勃罗梭（Cesare Lombroso，1835年—1909年）将社会达尔文主义与心理学和相面术相结合，提出了自己的罪犯类型理论。他认为，犯罪行为至少在严重犯罪或持续犯重罪的情况下是遗传的，并认为犯罪就代表着返祖，即回到人类进化的早期阶段。他相信，人们可以通过“类人猿般的身体特征”来识别罪犯，比如前额倾斜、长臂和突出的下巴，大小不一的耳朵和不对称的脸或头也被认为是罪犯的共同特征。但是，罪犯所有的特点并不都是显而易见的。他认为罪犯有特别敏锐的目光、减少疼痛感的能力，但缺乏悔恨或道德感，以及具有一种残忍、虚荣的倾向，且容易冲动和报复他人。也许，罪犯最后的特征——残忍、冲动和报复都与其暴力犯罪的生活相关，但罪犯耳朵的大小似乎不太可能是其特征。龙勃罗梭的理论在欧洲几乎得不到支持，但在美国却具有很大的影响力，并导致犯罪人相学观点的产生。
社会达尔文主义
如果体液以及遗传导致的大脑的强弱会促使个体以某种方式行事，这就说明人们无法控制遗传特征带来的强烈影响。这是19世纪后半期出现的一股强大的思想潮流，当时达尔文的进化论正在影响科学的方方面面。达尔文的进化论对新兴心理学领域的影响非常大。英国心理学家弗朗西斯·高尔顿（Francis Galton，1822年—1911年）因其智力测试的工作而出名，还因其建议不聪明的人不应该被抚养大而臭名昭著。他创造了“自然对抗后天”的说法，完全支持先天的决定性影响，这一观点获得了他的同卵（相同）和异卵双生子（非相同）研究结果的支持。
高尔顿和其他人试图将达尔文的自然选择原则扩展到社会领域，这种方法现在被称为社会达尔文主义。它涵盖了一种信念，即“更好”的人会茁壮成长，而“弱”的人将会或应该走向灭亡。它可以表现在自由放任的资本主义制度中，老弱病残者得不到财政或社会支持。这也导致了优生政策，旨在通过削减那些被认为对人类基因库有害的群体（如慢性病人、残疾人、精神病患者、同性恋者和一些少数种族群体）的繁殖来改善人类。