Menurut Prabowo Subianto [dikutip dari Buku: Catatan Kepemimpinan Militer dari Pengalaman Bab I: Pemimpin Teladan Tentara Indonesia], Yos Sudarso bercita-cita menjadi seorang prajurit sejak kecil, meskipun orang tuanya lebih menginginkan dia menjadi seorang guru. Yos Sudarso mewujudkan mimpi tersebut setelah pemerintah Jepang membutuhkan personel militer tambahan untuk menghadapi Perang Asia Timur Raya.
Dia kemudian mengikuti pendidikan di Akademi Angkatan Laut di Semarang dan mengikuti pendidikan militer angkatan laut dengan Angkatan Laut Jepang, dari mana dia lulus sebagai salah satu siswa terbaik. Dia kemudian bertugas di salah satu kapal militer Jepang.
Setelah proklamasi kemerdekaan Indonesia pada 17 Agustus 1945, dia bergabung dengan Badan Keamanan Rakyat di sektor laut (BKR Laut), yang kemudian menjadi bagian dari Angkatan Laut Indonesia.
Selama karirnya, Yos Sudarso bertugas dalam berbagai operasi militer untuk memberantas pemberontakan yang terjadi di wilayah Republik Indonesia. Dia memimpin beberapa Kapal Republik Indonesia (KRI) seperti KRI Rajawali, KRI Alu, KRI Gajah Mada, KRI Pattimura, dan KRI Macan Tutul. Pada tahun 1958, dia juga bertugas sebagai hakim di pengadilan militer selama empat bulan.
Pada akhir 1961, Presiden Sukarno memerintahkan Tri Komando Rakyat (TRIKORA), yang termasuk operasi di Laut Aru di dekat Maluku untuk mendukung misi pembebasan Papua Barat dari Belanda. Saat itu, Yos Sudarso menjabat sebagai Wakil Kepala Operasi Angkatan Laut (KSAL). Ada tiga KRI yang terlibat dalam operasi rahasia di perairan Maluku, yaitu KRI Macan Tutul, KRI Macan Kumbang, dan KRI Harimau. Yos Sudarso memimpin KRI Macan Tutul.
Tiga kapal perang besar dengan persenjataan lengkap milik armada perang Belanda merasakan gerakan Yos Sudarso dan tiga unit KRI yang beroperasi di Laut Aru. Yos Sudarso memerintahkan ketiga KRI untuk mundur sementara, tetapi Belanda mengira itu hanya manuver untuk menyerang dan kemudian membuka tembakan.
Mesin KRI Macan Tutul yang dipimpin oleh Yos Sudarso tiba-tiba mati di tengah usaha penyelamatan. Pikiran cepatnya menentukan bahwa Yos Sudarso tidak bisa menyelamatkan kapalnya, tetapi dia bisa menyelamatkan dua kapal lainnya. KRI Macan Tutul yang dipimpinnya kemudian menempatkan dirinya di antara kapal perang Belanda sebagai perisai sehingga dua KRI lainnya bisa menyelamatkan diri. Tembakan kedua kapal Belanda menghantam KRI Macan Tutul, menimbulkan kebakaran, dan tenggelam perlahan.
Yos Sudarso meninggal bersama 24 orang lainnya dalam misi dengan KRI Macan Tutul dalam pertempuran di Laut Aru. Dia mengorbankan nyawanya dalam tugas demi kepentingan negara pada usia muda 36 tahun.
