Джон Винсент Атанасов е роден на 4 октомври 1903 г. близо до град Хамилтьн, щата Ню Йорк, във фермaта на дядо си по майчина линия. Син е на българина Иван Атанасов и Айва Паради.

В градчето Линдхърст шестгодишният Джон, под ръководството на майка си, се научава да чете, а след година постъпвя в Пъблик скул (училище-фондация, посещавано предимно от деца на богати родители. Такива училища посещава и в градовете Остин, Брустър и Чикора (щат Флорида, където семейството се премества през 1912 година. Майка му, Айва Лусайна, е загубила две деца, но осем израстват - Джон, Етелин-Зорка, Маргарет, Теодор, Ейвис, Реймонд, Мелва и Ървинг. След едногодишно пребиваване в Остин, семейството се премества в Брустър. Иван Атанасов постъпва на работа във фармацевтична компания, която му възлага да построи електроцентралата "Брустър". През 1913 г. Атанасови вече живеят в двуетажна дървена къща с електрическо осветление. Семейството си купува и първи автомобил. Покрай баща си малкият Джон прави първите си стъпки в електротехниката. Сред детските играчки особено обича батериите, жиците и лампичките. Синът е много горд, когато 9-годишен успява да открие и да поправи грешка в свързването на електрическата верига на лампата, предназначена да осветява задната веранда на дома.

Като малък, на Джон никоя книга от библиотеката на баща му не му направила такова впечатление, както упътването към сметачната линия "Дицген" и "чудодейно" улесняващата пресмятанията логаритмична таблица. "Тази линия стана храна за ума ми" - споделя Атанасов по-късно в мемоарите си. Детето не само бързо се научава да решава задачи с нея, но се стреми да разбере и принципа, на който се основава действието й. С него става нещо необичайно, за едно деветгодишю момче - любимият бейзбол е изоставен, защото неговото място се заема от упорито, страстно изучаване на логаритмите. Сред книгите на баща си открива "Алгебра за колеж" от Дж. Тейлър, която Джон започва да чете, без да има знания по алгебра. Джон изучава радиотехника от английските книги. Същата година (1913) започва да изучава с увлечение физика, химия и астрономия.

През 1918 г. семейството се премества в Олд Чихора, щат Флорида. Тук в близкото градче Мелбърн, Джон получава средно образование. Окрилен от успехите и бързината, с които напредва във физиката и математиката, още във втори курс той взема кардинално решение - да посвети живота си на теоретичната физика. Може би, защото по това време - първите десетилетия на XX век, физиката е водеща наука с "безгранични" възможности.

През 1921 г. семейство Атанасови най-сетне пуска корен в градчето Брадли Джънкшьн, където остава до 1975 г. когато се пръсва по различни щати. През 1920 г. Джон завършва с отличен успех гимназиалното си образование, но за следване няма средства. Затова цяла година работи като проучвател на фосфати. Спечелените пари му дават възможност да постъпи в университета на Флорида в Гейнсвил. Следва електроинженерство, защото тогава в тази специалност се преподават най-теоретичните дисциплини. Разбира се, все още не се изучава електроника, а също и за ковашко-пресовите, металорежещите и електрическите машини. След петнадесетина години тези знания и умения ще бъдат използвани при конструирането на първия компютър, защото както казва английският биолог Джон Холдейн, "пътят в наука се проправя не само от онези, които умеят да мислят, но в еднаква степен и от тези, които имат умели ръце". По време на следването си Атанасов работи като сервитьор и дава уроци.