十七世纪，葡萄牙的传教士和商人远渡重洋来到长崎，他们带来的东西，例如玻璃、烟草、面包等等对当地人来说都是新奇的玩意儿，为了建立彼此的友谊，这些外地人想了一些办法来讨好当地人，传教士对贵族分送葡萄酒、对平民分送甜点，希望借此传播基督教。商人更是大量制造糕点在街头分送民众。当时，一种用砂糖、鸡蛋、面粉做成的糕点大受欢迎，他们告诉日本人，这是Castella王国传来的甜点。结果日本人就误将Castella当作甜点的名字流传下来，这就是Castella的由来。Castella是葡萄牙语，从十七世纪开始就在日本长崎发展起来，也就是长崎蛋糕。

现在在长崎最著名的蛋糕店是福砂屋，福砂屋最早是经营中国福建的大米、砂糖等，故取名福砂屋，后来葡萄牙人来到长崎，福砂屋最早学会制作这种用面粉、砂糖和鸡蛋制成的糕点，而当时的日本还主要以米为主食，糕点也是用米作成的，所以这种用面粉、砂糖和鸡蛋制成的糕点立刻就大受欢迎。

后来许多糕点店纷纷在传统风味上下功夫，形成了长崎蛋糕的独特滋味。