Протягом декількох тисячоліть землеробство залишалося мотичним. У тих областях, де грунту були м'якими (наприклад, в долині Нілу або Месопотамії), мотикою можна було добре обробляти поле. Тому землеробство тут стало бурхливо розвиватися ще в глибоку давнину. Однак продуктивність праці хлібороба була незначною. До того ж настільки сприятливі умови були рідкісним винятком. Зазвичай селянам доводилося піднімати цілинні луки, порослі багаторічними травами, з потужним переплетенням коренів. Для людини, збройного однієї мотикою, ці ґрунти були важким, часто непереборною перешкодою. Відчувалася потреба в такому інструменті обробки землі, за допомогою якого можна було б не копали, а підрізати шари дерну знизу. Цим знаряддям і став плуг.
Плуг розвинувся з особливого інструменту стародавніх землеробів, який сучасні вчені охрестили «бороздовой палицею». За допомогою цієї палиці хлібороб прокладав в поле борозни, що ділять його на гряди. Відмінною рисою цих палиць була робоча частина, спрямована під гострим кутом до рукоятки. Використання їх подало думку древнім хліборобам, що грунт можна обробляти не копанням, як це робилося раніше, а волочінням. Тоді, мабуть, і з'явився прообраз плуга - роздвоєна палиця з загостреним кінцем (тут вже видно в зародку дишла і леміш). Впрягшись в такий пристрій, хлібороб тягнув його за собою, роблячи борозну. Звичайно, використовувати таку зброю можна було лише на дуже м'яких грунтах, вже розпушування багаторічної обробкою, де не було ні каменів, ні дерну. Для того щоб орати більш тверді грунту, необхідно було посилити тиск на леміш. Так була винайдена рукоятка. Подальше вдосконалення цього орного знаряддя можна спостерігати в одному древньоассірійський пам'ятнику. Це був уже в повному сенсі плуг, який мав всі три його основні частини: дишло, леміш і рукоятку. У такій формі він вимагав двох працівників: один тягнув плуг, а інший направляв його і тримав в землі. Всі перші плуги наводилися в рух силою людини. Зрозуміло, селянина гнітила така робота, і через деякий час він став запрягати в плуг биків. Спочатку люди просто прив'язували плуг до рогам волів, пізніше з'явилися ярмо і примітивна упряж. Швидкість обробки землі відразу зросла в кілька разів, а сама робота полегшилася.
Перші плуги виготовлялися з кореневищ дуба, бука, клена та деяких інших дерев і представляли собою цілісні шматки дерева. Потім леміш стали зміцнювати залізом. Минуло багато років, перш ніж в плузі були зроблені подальші удосконалення. У творах Плінія - римського письменника I століття нашої ери - ми знаходимо опис плуга, який, на відміну від попередніх, забезпечений колесом, ножем і відвальними дошками. Колесо не давало плуга входити занадто глибоко в землю, ніж служив для того, щоб взрезивать дерен. Важливим нововведенням був відвал. Призначення відвалу - перевертати дерен, який зрізали ніж і леміш. Плуг без відвалу при русі тільки розпушував землю. Відвал перевертав дерен таким чином, що бур'ян опинялася під землею. Винахід відвалу було величезною подією в історії плуга. У такому вигляді плуг проіснував аж до кінця середніх століть, коли в нього були внесені нові удосконалення.
Поширення плуга з залізним лемешем справило кардинальний переворот в землеробстві. Плужне землеробство перетворило сільське господарство, стало його найвищим досягненням і в чималому ступені сприяло виникненню багатьох цивілізацій Старого Світу. Перевага плугового землеробства перед мотичним настільки очевидно, що в поданні древніх людей його винахід було справою богів. Єгиптяни вважали плуг даром Осіріса, греки - Афіни Паллади, індійці - Агні, а жителі Китаю - божественного Шенпунгу.