Aunque popularmente se la conozca como plaza del Hospital Militar, desde 1919, su denominación oficial es plaza de Pedro Schwartz, quien fue antiguo presidente de la Diputación Provincial de Canarias en 1924 y a quien debe la ciudad, importantes mejoras. La plaza fue construida en 1880 y se sitúa entre las calles de Galcerán, Ramón y Cajal, Iriarte y General Serrano. Rodeados de jardines y árboles aparecen bancos y kioscos donde descansar y tomarse un aperitivo.

Junto a la plaza se encuentran las ruinas del antiguo edificio del Hospital Militar, que pronto se reconvertirá en un centro sociosanitario para personas mayores.

En un principio conocida como "Cuatro Caminos", actuaba como punto de intersección entre la Rambla General Franco, la Rambla de Pulido y la Avenida General Mola. Su nombre actual lo recibe en 1918 de manos del alcalde D. Esteban Mandillo, con motivo de la finalización de la Primera Guerra Mundial. La plaza de La Paz cuenta con la primera fuente luminosa que se instaló en Santa Cruz. En su entorno existieron cinco cines: Price, Cinema, Victoria, Baudet, La Paz y Víctor. Actualmente continúan el primero y el último.

Aunque popularmente se conoce como plaza de Los Patos, la plaza conmemora la derrota que la ciudad infringió a la escuadra inglesa del Almirante Horacio Nelson un 25 de julio de 1797.

Entre 1913 y 1917 se construyó este enclave que cuenta con una fuente en la que nadan un pato y una tortuga, rodeados de ranas de cuyas bocas surgen chorros de agua. Alrededor, decoran la estampa varios bancos y parterres, todos ellos perfectamente azulejados con mosaicos sevillanos. En los bancos aparecen reproducidos anuncios de la segunda y tercera década del siglo XX que corresponden a las firmas comerciales que contribuyeron a su construcción. Conforman la plaza además, siete laureles de Indias y cinco hermosas palmeras. A la belleza de la plaza, acompañan también los edificios que la rodean, como el palacete Martí Dehesa, la iglesia ecuménica de San Jorge, la clínica Pompeya y el edificio de la farmacia Castello.