Use the Past Simple Tense instead of the infinitives in brackets:
There (to be) nobody in the house when we (to come) back.

К сожалению, у нас пока нет статистики ответов на данный вопрос, но мы работаем над этим.