যাত্রার প্রথম থেকেই দুর্ভাগ্য সঙ্গী হলো তার। ইয়র্ক থেকে লন্ডনে যাওয়ার জন্য যে জাহাজে উঠল সেটি ইয়ারমাউথ নামক স্থানে ডুবে গেল। ভাগ্য ভালো, অন্য একটি জাহাজ যাচ্ছিল তাদের সামনে দিয়ে, তারা তাদের লাইফবোটে সবাইকে তুলে নিল। রবিনসনের কাছে যে অর্থ ছিল তা দিয়ে শেষ পর্যন্ত লন্ডন শহরে গিয়ে পৌছল। লন্ডনে যাওয়ার কদিন পরে জাহাজ-মালিকের সঙ্গে তার পরিচয় হলো। ভদ্রলোক জাহাজের ব্যবসা করেন এবং এ কারণে প্রায়ই তাকে গিনি উপকূলে।