Telsze – miasto na siedmiu wzgórzach – to litewski Rzym. Na jednym ze wzgórz, nazwanym Wileńskim, stoi Gimnazjum im. Žemaitė (daw. im. Valančiusa) – prawdopodobnie najbardziej jaskrawy przykład modernizmu nie tylko na Żmudzi, lecz na całej Litwie. Wyjątkowe na tamte czasy rozwiązanie – charakterystyczne dla Bauhausu rozjaśniające hol szklane naroże. W wieżyczce urządzono obserwatorium astronomiczne oraz stację meteorologiczną, a na dachu – nowoczesny taras obserwacyjny.
W latach międzywojennych, po odzyskaniu niepodległości, katolicy domagali się od wyznawców prawosławia zwrotu kościoła. Kościół zwrócono i katolicy pokryli koszty budowy nowej cerkwi. Na Wzgórzu Młyńskim w 1935 r. powstała nowa cerkiew, której wnętrze zdobi dziewiętnastowieczny trójkondygnacyjny ikonostas. Na Wzgórzu Zielonym w okresie międzywojennym zbudowano szkołę obróbki drewna czyli Szkołę Rzemiosła Artystycznego, dzisiejszą filię wileńskiej Akademii Sztuk Pięknych.
Na największym ze wsgórz, Insulos, stoi stary gmach klasztoru bernardynów i telszańska katedra, zbudowana z myślą o tym, że zbierać się tu będą sejmiki powiatu telszańskiego i żmudzkiej szlachty.
Staraniem biskupa, sygnatariusza Aktu Niepodległości Justinasa Staugaitisa wybudowano pałac biskupi i gmach kurii.
Podróżując z Telsz w stronę Ławkowa natrafić można na szczególny symbol męczeństwa oraz architektury narodowej – kaplicę w Rainiai. Tu na początku II wojny światowej bolszewicy zamordowali około 80 więźniów politycznych; zburzona w okresie sowieckim kaplica odbudowana została w latach niepodległości.