Kościół neogotycki w Szwekszniach został wybudowany w ciągu zaledwie pięciu lat. Stacje Drogi Krzyżowej sprowadzono z Bawarii, a wielki ołtarz – z Austrii. Miejscowy cieśla V. Bliūdžius w wieży kościelnej znalazł elementy osadzenia dzwonu, które są dziełem rąk jego pradziadka. Gimnazjum „Saulė“ przypomina neoklasycystyczny pałacyk; został wzniesiony po wielkim pożarze. Do założenia gimnazjum znacząco przyczynili się Litwini z Ameryki. W uroczystym otwarciu wziął udział prezydent Antanas Smetona z całą świtą – korpusem dyplomatycznym, zagranicznymi gośćmi. Na głównym placu miasteczka stał murowany budynek mieszczący 27 kramów; odbudowany po pożarze, zrujnowany został podczas wojny. W przedwojennych Szwekszniach mieszkała liczna społeczność żydowska, o której przypomina stojąca na skraju miasteczka synagoga. W tym budynku za czasów sowieckich działał dom kultury, a potem sala sportowa. Szweksznie dotychczas kojarzone są ze szpitalem psychiatrycznym. Projekt tego budynku przygotował nieodpłatnie architekt Vytautas Landsbergis-Žemkalnis.
Międzywojenne Szweksznie powodowały ból głowy u władz z powodu kontrabandy; na ulicach miasteczka kręcono pierwszy litewski barwny film fabularny, satyrę polityczną „Marsz, marsz, tra-ta-ta!“.