Kisah My Spy dibuka dari aksi agen JJ Cena (Dave Bautista) yang menyebabkan hancurnya jaringan teroris yang dipimpin oleh Marquez (Greg Bryk). Sayangnya dalam aksi tersebut JJ tidak berhasil membunuh Marquez dan kehilangan plutonium yang sedang ditransaksikan.
Sejak misi tersebut JJ mendapatkan teguran dan penugasan khusus oleh Kim (Ken Jeong). Penugasan tersebut tidak melibatkan aksi yang berbahaya yang merupakan spesialisasi JJ. Sebagai gantinya JJ harus mengintai seorang keluarga kecil di Chicago, bersama dengan Bobbi (Kristen Schaal) yang merupakan operator komunikasi.
Misi akhirnya dimulai, JJ memasang berbagai alat penyadap di rumah keluarga tersebut. Termasuk ke dalam sebuah bola yang diletakkan di ruang bermain. Sayangnya bola tersebut berhasil ditemukan oleh Sophie (Chloe Coleman), dan pada akhirnya dia melakukan penyelidikan “kecil-kecilan”.
Di luar dugaan Sophie berhasil menemukan lokasi JJ dan Bobbi yang berada di lantai atas apartemen mereka. Anak kecil pintar ini lalu mengancam akan membocorkan operasi CIA yang sedang mereka lakukan. Untuk “menyogok” Sophie, JJ pada akhirnya harus menemani Sophie bermain ice skating, atau datang ke pertemuan guru dan orang tua murid.
Dari situ pekerjaan JJ dan Bobbi mulai bergeser. Semula mereka hanya ingin memata-matai keluar kecil tersebut, sekarang mereka harus terlibat langsung dengan kehidupan Sophie dan sang ibu, Kate Newton (Parisa Fitz-Henley).