潘天寿出生在浙江宁海县北乡一个山青水秀的村子--冠庄。父亲被人尊为"达品公"，母亲周氏聪敏贤达。潘家薄有祖产，因世道不顺，家境渐趋困顿。

自童年起，潘天寿就要帮家 里砍柴放牛。冠庄西山有一座雷婆头峰，是他与同伴常去樵牧与戏耍的地方。