Miasto leży w północno-zachodniej części Krety nad Morzem Kreteńskim, w połowie drogi biegnącej z Heraklionu do Chanii.

Szerokość wyspy (od północnego do południowego wybrzeża) wynosi tu zaledwie 30 km. Przewężenie to oddziela dwa wysokie pasma górskie: Góry Białe (Levka Ori) na zachodzie od Gór Ida (Oros Idi) na wschodzie, zwanych czasem Psiloritis (od znajdującego się tam najwyższego szczytu Krety - Psiloritis - 2.456 m n.p.m.).

Mimo górskiego charakteru, okolice Retimno są dość gęsto zaludnione. Rozłożone na zboczach górskich wioski sprawiają wrażenie zatopionych w sadach owocowych i gajach oliwnych.

Miejsce to zostało zasiedlone pod koniec okresu minojskiego, jednak z tych czasów nie zachowały się prawie żadne pozostałości archeologiczne.

W okresie grecko-rzymskim miasto, pod nazwą Rithymna, było ważnym ośrodkiem handlowym. W czasach bizantyjskich Rethymnon nie miał już tak istotnego znaczenia zwłaszcza, że przez ponad 100 lat znajdował się pod okupacją arabską. Jednak w czasie okupacji weneckiej (od XIII w.) miasto stało się trzecim (po Heraklionie i Chanii) ośrodkiem gospodarczym i kulturalnym Krety.

Okresem największej świetności miasta był wiek XVI i początek XVII - Retimno słynęło wówczas jako jeden z głównych ośrodków nauki i sztuki. Z tego okresu pochodzi potężna forteca (Fortezza) i port z latarnią morską. Olbrzymią twierdzę zbudowali Wenecjanie pod koniec XVI w. w celu obrony przed piratami (słynnym Barbarossą) i wzrastającą siłą turecką.

Pod koniec okresu świetności powstała jeszcze fontanna Rimondi - ostatnie dzieło Wenecjan, wzniesiona w 1629 r. W 1645 r. miasto zajęły wojska tureckie.

Wenecjanie wraz z mieszkańcami (około 8500 osób) wycofali się do fortecy, gdzie bronili się jeszcze przez 23 dni. Okupacja turecka trwała aż do 1897 r.

W tym czasie wygląd miasta zmienił się bardzo mocno tak, że wyglądało teraz na typowo muzułmańskie. Większość kościołów zburzono lub przekształcono w meczety.

Od 1898 r. Kreta była niezależnym państwem, z własną konstytucją i rządem. W 1913 r. wyspa została przyłączona do Grecji, a w 1923 r. z Retimno i z całej Krety wysiedlono pozostałych tu Turków. W ich miejsce przybyła ludność grecka z Azji Mniejszej (wymiana ludności). Rethymnon zaczął się szybko rozwijać intelektualnie i ekonomicznie (z przerwą podczas okupacji hitlerowskiej w latach 1941-1944).