Pillnitzký zámek ležící v malebné poloze na břehu Labe častokrát měnil majitele, nejednou za dramatických okolností. Saský kurfiřt Johann Georg IV. jej v roce 1694 věnoval své milence Magdaleně Sybille von Neidschütz (Rochlitz), která si dar příliš dlouho neužila, protože začátkem dubna téhož roku zemřela na neštovice a záhy po ní zemřel i její milenec. Kurfiřtem a majitelem zámku se stal jeho bratr August, jenž proslul pod přízviskem Silný. Po různých peripetiích se zámek v roce 1707 stal majetkem jeho milenky Anny Konstancie von Brockdorff, později hraběnky Coselové. Hraběnka nechala v letech 1707 až 1715 založit část zahrady, kterou tvoří „pokoje“ z živých plotů (této části se říká „charmillen“ – habrová loubí). Toto uspořádání dnes nabízí intimní zákoutí s lavičkami, průhledy a různorodé osázení záhonů v jednotlivých „pokojích“.
Hraběnka povila pověstnému záletníkovi Augustovi tři děti (měl jednoho legitimního následníka a údajně přes 350 nemanželských dětí) a nějaký čas se jí dařilo udržet si roli oficiální milenky, ba dokonce i vyzískat od ženatého Augusta příslib manželství. Dvoru se však nelíbilo hraběnčino přílišné vměšování do politiky a snažil se ji intrikami vypudit. Nejprve byla v roce 1713 vykázána do Pillnitzu, odkud však po dvou letech utekla do pruského Berlína, kde chtěla od svého bratrance získat tajný dokument s královým příslibem sňatku. To se jí však nepodařilo a v roce 1716 byla zatčena a uvězněna na hradě Stolpenu, kde strávila dalších devětačtyřicet let až do své smrti.
Zámek Pillnitz opět přešel do rukou Augusta Silného, jenž se rozhodl provést rozsáhlé úpravy zahrad, včetně zasazení slavné kaštanové aleje, vybudovat paláce v dobově oblíbeném orientálním stylu a také skleníky a oranžerie na přezimování zdejší proslavené sbírky teplomilných rostlin. Architektem byl Matthaeus Daniel Pöppelman, jenž se podílel i na budování další Augustovy zahrady v nedalekém Gross-Sedlitzu. V nově zbudovaném Pillnitzu se v roce 1725 s velkou pompou a oslavami, které trvaly celé tři týdny, provdala mladičká dcera Augusta a hraběnky Coselové Konstancie, leč brzy i ona podlehla rodinné kletbě – neštovicím. Augustův zájem o zvelebování zámku postupně opadl.
Dalšího rozkvětu se Pillnitz dočkal až za Augustova pravnuka, saského krále Fridricha Augusta I. (kurfiřta Fridricha Augusta III.), jenž z něj v roce 1765 učinil své letní sídlo. Rozšířil pozemky kolem zámku a podle dobového vkusu nechal vybudovat anglickou zahradu s volně seskupenými stromy a keři, průhledy, klikatými pěšinami, kruhovým pavilonem a jezírkem s ostrůvkem, kde je umístěna socha Junony Ludoviské (originál se nacházel v dnes již zaniklých zahradách římské Villy Ludovisi). Koncem 18. století přibyly také části v holandském a čínském stylu. Začátkem 19. století se v čínském pavilonu na popud scházela Dantova společnost – literárně-filosofický kroužek intelektuálů v čele s tehdejším regentem Johannem. V druhé polovině 19. století byl na místě starším skleníků postaven velký palmový skleník a také nabyla dnešní podobu formální květinová zahrada mezi třemi paláci, kterou navrhl architekt Karl Bouché, jenž též založil květinovou zahradu před oranžerií, pinetum a šeříkovou zahradu.
Koncem 18. století se v Pillnitzu usídlila další významná dáma: japonská kamélie, krásnější sestra skromné čínské kamélie, z jejíchž lístků se připravuje čaj. Traduje se, že v roce 1776 Linnéův žák Karl Peter Thunberg přivezl do Královských botanických zahrad v Kew čtyři japonské kamélie ze svých cest po Japonsku. Jeden exemplář zůstal v Kew, další se dostaly do Herrenhausenu poblíž Hannoveru, do vídeňského Schönbrunnu a poslední kolem roku 1780 do Drážďan – do Pillnitzu. V té době se jednalo už o třicetiletý exemplář. V roce 1801 ji zámecký zahradník Terschek zasadil na místo, kde roste dodnes. Choulostivé „japonské růži“ se zde dařilo, jen přes zimu potřebovala kabát ze slámy a lýčí, který později vystřídala dřevěná konstrukce. V roce 1905 však dřevěná bouda shořela a při marném hašení požáru ve dvacetistupňových mrazech voda zamrzala, až vytvořila ledový kryt, který nakonec kamélii ochránil, takže na jaře téhož roku opět vyrašila. Od roku 1992 má temperovaný zimní příbytek ze skla a oceli, který ji od poloviny října do poloviny května chrání před nepřízní počasí. Teplota, vlhkost a ventilace jsou řízeny počítačem, v květnu skleník „odjede“ po speciální kolejnici.
Z původních exemplářů dovezených do Anglie zůstala už jen tato kamélie: je jí pravděpodobně už přes 250 let a jedná se o nejstarší evropský exemplář na sever od Alp. Je vysoká přes 8,5 metru a každoročně od konce února rozkvétá 35 000 jednoduchými karmínovými květy. Návštěvníci mohou od konce února do začátku dubna obdivovat její chladnou krásu ze všech stran a z různých výškových úrovní. Pillnitzská kamélie je rarita, kvůli které stojí za to vyrazit na výlet v chladném předjaří, kdy kolem sochy bohyně Flory kvetou jen závěje krokusů, zatímco pečlivě udržované citrusy, myrty a další teplomilné rostliny, které zdobí zahradu v sezoně, jsou vidět pouze za skly oranžerie.
Návštěva dvěstěpadesátileté dámy je jedinečný zážitek, ale pro ty, kdo dávají přednost relativně mladším ročníkům a barevné i tvarové rozmanitosti, je zde Zuschendorf (Kamelienschloss) poblíž Pirny, kde se nachází jedinečná kolekce kamélií. (Kamélie se jmenují po brněnském rodáku Georgu Josephu Kamelovi, jezuitském misionáři a botanikovi.) Začali ji v 19. století budovat bratři Seidelové, kteří se v polovině 19. století stali největšími pěstiteli kamélií v Evropě. Zhruba polovina zdejších 220 kultivarů pochází právě od bratří Seidelů. Kamélie přebývají v rozsáhlých sklenících v zámeckém parku a každoročně lze v době květu (obvykle po celý březen a začátkem dubna) obdivovat nejen samotné rostliny, ale též jednotlivé květy, které jsou vystaveny v zámeckých komnatách. Kombinace tmavozelených, poněkud uměle působících listů s ladnými tvary a svůdnými, až vyzývavými barevnými odstíny květů, které jsou zcela bez vůně, vyvolává dojem jakési neživosti a zároveň dráždivosti, vznešenosti a zároveň smyslnosti.
V Sasku se těmto aristokratickým dámám daří, jsou zde velmi oblíbené a v každém zahradnictví či květinářství najdete širokou škálu místně vypěstovaných kultivarů. I přes zdejší příznivé klimatické podmínky však musejí žít ve sklenících. V mírnějších klimatech rozkvétají v zahradách mezi ostatní vegetací – jedinečné exempláře se nacházejí například v cornwallských či bretaňských zahradách nebo u vil na březích severoitalských jezer.
