本病为遗传性皮肤病，与日晒无关，可为多系统疾病的一种标志，如神经纤维瘤病、Albright综合征、Waston综合征、Russell-Silver侏儒症、多发性黑子综合征及共济失调毛细血管扩张症等。
大部分咖啡斑是没有遗传性的。但是需要注意的是：如果咖啡斑多部位、多面积发病，（累积三个部位以上）需要注意是神经纤维瘤的预兆，此类咖啡斑有很高的遗传性。
病理病理改变有表皮黑素增加，特别见于基底层中，多巴染色黑素细胞及基底层的角质形成细胞中有巨大黑素体，基底层黑素细胞正常或略有增加。
出生时即可发现的淡棕色的斑块，色泽自淡棕至深棕色不等，但每一片的颜色相同且十分均匀，深浅不受日晒的影响，大小自数毫米至数十厘米不等，边界清晰，表面皮肤质地完全正常。表现与雀斑十分相似，主要表现为表皮中的黑色素数量的异常增多，但黑色素细胞的数量是正常的。
咖啡牛奶斑最常见于神经纤维瘤病患者，约70%左右的神经纤维瘤病患者具有咖啡牛奶斑，如有六片直径大于1.5cm的咖啡牛奶斑则具有重要的诊断参考价值。但是大多数有咖啡牛奶斑的患者并非神经纤维瘤病患者，咖啡牛奶斑此时是单纯的表皮先天性色素增多的表现，此外，咖啡牛奶斑还可见于结节性硬化症及其他的神经外胚层综合征。