相続した土地上に第三者の建物登記があるけど大丈夫でしょうか？

現況、土地上に建物がなければ問題ないでしょう。
将来、売却したり土地を担保にお金を借りたりする時に支障が出てきますので、法務局に「建物滅失登記申出」により職権で処理して頂きましょう。