日 징용시설 답사단, 日 입국 4시간 지연