Я бы в такой ситуации все же искала мировую. И они пострадали, и вы. Про сервитут - не та ситуация. Это не проход на их земельный участок, не свободный проход к коммуникациям. И вы не давали разрешения строить на своем участке.
Демонтаж был бы возможен, если бы строение возводилось незаконно. А так оно, я так понимаю, введено в эксплуатацию.
Так что или продать им землю, или выкупить строение, или брать аренду за землю. Это будут самые безболезненные варианты. И самые быстрые, суды по таким делам идут десятилетиями.