Skarø By ligger få hundrede meter fra havnen og er en charmerende lille landsby, der består af smukke bindingsværkshuse som ligger omkring byens gadekær. Skarø Kirke er beliggende på øens højeste punkt med fin udsigt over Øhavet. Trampestier tværs over marker og langs kysterne gør det let at udforske øen til fods eller på cykel. På trods af sin forholdsvis lille størrelse har øen sin egen festival, en stor natur teltplads, ø-lejr og en isfabrik.
Istidslandskabet på Skarø
Skarø har flere holocæne marine forlande med strandenge, strandvolde og oddedannelser. Mest karakteristisk er den 900 m lange smalle retodde Skarø Odde (Skarø Rev). På vestkysten findes en lille, lav klint med moræneler fra Weichsel-istiden.
På Skarø Kirkegård ligger to engelske soldater begravet. De var en del besætningen på et engelsk fly, der blev bombet af Tyskerne den 15. februar 1944 mellem Tåsinge og Skarø. Den nat kom krigen til Skarø. Luftkrigen var i gang over øen, og et fly styrtede ned. Selve flyet var der ikke meget tilbage af, da det meste lå spredt ud over havet mellem Østerhoved og Vornæs. Haleroret faldt ned på Skarø, hvor det ramte Axel Eriksens baghus. To dræbte flyvere lå i vandkanten ved Østerhoved, hvor de blev trukket op på stranden og tildækket. Købmand Kresten Madsen blev af Tyskerne beordret til at køre de to døde, unge mænd til Skarø kirkegård, hvor de blev begravet af den tyske værnemagt. Både præsten på Drejø og Skarøboerne blev forment adgang til at deltage. Næste aften samledes alle Skarøboerne omkring graven, hvor de sang en salme og dækkede graven med blomster.
The Commenwealth War Commission opsatte det officielle RAF-jernkors på graven. Efter krigen samlede Skarøboerne ind til en rigtig gravsten med inskription. Det oprindelige RAF-jernkors blev ved den anledning fjernet. Stenen blev indviet i foråret 1946, med bl.a. besøg af 10 engelske soldater.
Skarø har sin helt egen is - Skarø Is. Udefra er det en idyllisk familiecafe, men bag produktionen ligger forskning og en højteknologisk udvikliongsvirksomhed. Her er mere en 70 opskrifter, alle udne laktose, gluten og e-numre. Skarø Is er gourmet is, der er produceret med forståelse for naturens ingredienser, så smag og konsistens bavares i isen.
SommerSild driver øens telt- og shelterplads samt lejer hytter ud. Gårdbutikken sælger lammekød/skind og lokalproducerede fødevarer.
På øen findes flere hyggelige kunsthåndværkere, samt øhavs museum med pensionat, forsamlingshus og lystbådehavn med en trekantet fodboldbane og en legeplads i vandkanten.
Øens store telt- og shelterplads samt hytteudlejning er beliggende 300 meter fra havnen ved SommerSild.
Fartplan til færgen Højestene findes lige her