Fedje, sentrum og havn