Mit rund 16.500 Einwohnern ist Annonay die größte Stadt des Départements, aber nicht Sitz der Präfektur. Diese befindet sich im deutlich kleineren Privas.
Die Stadt liegt am Fluss Cance wenige Kilometer westlich des Rhônetals am Fuße eines Hügels in einer Höhe von ca. 360 m. Annonnay ist Knotenpunkt wichtiger Handelsrouten und liegt ca. 75 km südlich von Lyon bzw. ca. 46 km südöstlich von Saint-Étienne.
Die Brüder Montgolfier – Erfinder des Heissluftballons – wurden im 18. Jahrhundert in Annonay als Söhne eines reichen Papierfabrikanten geboren. In der Stadt wurden 1783 auch die ersten bemannten Ballonflüge durchgeführt.