Разумеется с семьей.
А вот возвращаться можно и без семьи. Поясню на примере.
Во время ВОВ у нас в городке жило много евреев, и по приходе фашистов был объявлен общий сбор с семьями якобы для переписи. Одна семья тоже взяла с собой ребенка и пошла, а соседка моя забрала у них этого ребенка и говорит идите, а будете возвращаться назад заберете. В тот день всех евреев вывезли в лес и растреляли всех, многих закопали еще живыми. А тот ребенок так и остался жить в семье моей соседки.
Так что когда действия новых властей непредсказуемы, то семьей лучше не рисковать.