怀良的答复是杀明使五人，拘留杨载、吴文华两人三个月方才放回。(127)
三年三月又作第二次交涉，以莱州府同知赵秩往谕，委婉劝导中含有恐吓的意味，诏书说：
……蠢尔倭夷，出没海滨为寇，已尝遣人往问，久而不答，朕疑王使之故扰我民，今中国奠安，猛将无用武之地，智士无所施其谋，二十年鏖战精锐，饱食终日，投食超距，方将整饬巨舟，致罪于尔邦，俄闻被寇者来归，始知前日之寇，非王之意，乃命有司暂停造舟之役。
呜呼！朕为中国主，此皆天造地设，华夷之分。朕若效前王恃甲兵之众，谋士之多，远涉江海，以祸远夷安靖之民，非上帝之所托，亦人事之不然。或乃外夷小邦故逆天道，不自安分，时来寇扰，此必神人共怒，天理难容，征讨之师，控弦以待；果能革心顺命，共保承平，不亦美乎！……(128)
一面又派前曾使日之杨载送还捕获之日本海贼僧侣十五人，想用示惠的手腕，使日本自动地禁捕倭寇。(129)这一次的交涉，总算博得相当的成功。洪武四年十月怀良遣其臣僧祖来进表笺，贡方物，并僧九人来朝。又送至明州、台州被掳男女七十余口。(130)