Die 10.000-Einwohner-Stadt an der Risle verfügt in der Innenstadt noch über viele Fachwerkhäuser, von denen manche früher den Gerbern zum Trocknen von Leder dienten. Jahrzehntelang galt Pont-Audemer als „Hauptstadt des Leders“. Die gewundenen, engen Gassen sind häufig überdacht und kleine Brücken führen über malerische Kanäle. Deshalb wird Pont-Audemer auch das „normannische Venedig“ genannt.
Die ist heute Innenstadt ist offiziell als Site Inscrit („Kulturdenkmal“) klassifiziert.
Im Zweiten Weltkrieg wurde Pont-Audemer während der Operation Overlord im Juni/Juli und August 1944 mehrfach durch die Alliierte Luftwaffe bombardiert. Am 26. August kamen Truppen des 1. britischen Corps und belgische Einheiten von Südwesten her nach Pont-Audemer, wo sie nur auf geringen Widerstand trafen, da die meisten Soldaten der Wehrmacht sich zurückgezogen hatten, nachdem sie die Brücken gesprengt hatte. Die Befreiung des linken Risle-Ufers zog sich bis zum 28. August hin.
