Родился 4 ( 17 мая) 1908 года в городе Константинограде Полтавской губернии (ныне город Красноград Харьковской области) в семье ремесленника-переплетчика. Здесь прошли его детство и юность. Учился в начальной школе, в 1917–1920 годах – в первых двух классах Константиноградском гимназии, в 1920–1922 годах – в семилетней трудовой школе. После школы работал на Карловском сахарном заводе, библиотекарем в Зачепиловском районном доме крестьянина, там же заведовал избой-читальней. 1924 году поступил в комсомола. 1925 года переехал в город Лубны, работал в рабочем клубе, секретарем редакции в газете «Красная Лубенщина», в окружкомах КП(б)У и ЛКСМУ. Тогда вступил в Лубенскую филиала Союза крестьянских писателей «Плуг». Уже на следующий 1926 году перебрался в Харькова, работал в редакции детского журнала «Красные цветы». Принадлежал к литературному объединению «Молодняк». В ноябре 1928 года Первомайский ездил в Турции, а 1932 года – на Памир.
В годы немецко-советской войны был на фронте, работал корреспондентом радиовещания Юго-Западного и Донского фронтов и военным корреспондентом газеты «Правда».
Дебютом в литературе можно считать прозаический эскиз «А над полем выстрел...», напечатанный в 1924 году в газете «Красный юноша» ( Полтава). Первый сборник рассказов Леонида Первомайского «Комса» вышла в 1926 году, первый сборник стихов «Вяжущие яблоки» – 1929 года. Первая его пьеса «Комсомольцы» увидела сцену 1930 года. За два года – с 1926 по 1928 год – вышло шесть отдельных изданий рассказов и повестей Первомайского.
Сборники стихов Первомайского «День рождения» и «Земля» 1944 года отмечено Государственной премией СССР второй степени.
В 1963 году был написан роман о подвиге советского народа в годы Великой Отечественной войны «Дикий мед». В 1966 году был экранизирован, главную роль в фильме сыграла актриса Алла Ларионова.
Леонид Первомайский выступал также как литературный критик и публицист (книги размышлений «Из дневника поэта» (1956), «Творческий будни» (1967)), но, вне собственным творчеством, больше всего он прославился как переводчик. Благодаря его неутомимой работы на украинском языке увидели свет произведения Франсуа Вийона, Шандора Петефи, Юлиуса Фучика, Низами Гянджеви, Михаила Лермонтова, Владимира Маяковского, Генриха Гейне, баллады славянских и других народов мира.
Умер 9 декабря 1973 года. Похоронен в Киеве на Байковом кладбище.