De acordo com o olisipógrafo Norberto de Araújo em “Peregrinações em Lisboa”, Vol. IX, o Largo do Calvário tem esta denominação: “Porque neste sítio, no lado sul da Rua Primeiro de Maio, antiga de S. Joaquim, existiu um Convento, das religiosas franciscanas, e que datava de 1617.
Como a própria Alcântara, de individualidade muito mais marcante, no século XVII, e mesmo no XVIII, o Calvário pouco mais era do que uma Póvoa aflorando timidamente de entre quintas, herdades e hortas a norte, com o mar a beijar-lhe a orla por edificar. Antes do Convento se erguer no lugar onde a Quinta do Pôrto (do «porto», porque aqui atracavam barcos) edificara-se no final do século XVI um solar particular, destinado a ser «alguém» no sítio: foi esse solar que deu o Palácio ou Paço Real do Calvário, mais rigorosamente «de Alcântara», mas que recebeu a designação invocativa do orogo do Convento, seu fronteiro, e assim ajudou a fundamentar o nome de um sítio (Calvário) dentro de outro (Alcântara)”. [IN]