中国最早实行全国义务教育制始于1912年

1911年辛亥革命，后中华民国成立。建国后的1912年，国父孙中山立即开导要在全中国实行免费义务教育。于同年中华民国教育部规定：“初小、师范、高等师范免收学费”，在中国成为当时很多家境贫穷的学生接受教育的唯一途径。

1945年，中华民国政府从日本政府手中接收台湾。依据《中华民国宪法》第21条规定，人民有受国民教育（简称“国教”）之权利与义务，台湾民众自此接受到了公平的教育。中华民国政府在国共内战战败失守中国大陆后，中华民国义务教育仅能在其有效统治的台湾、澎湖、金门、马祖实施。

6-12岁之学龄儿童受的基本教育就是小学。1968年以前实施6年义务教育时（延续自中华民国大陆时期之政策），小学的正式名称是“国民学校”，简称“国校”。国校毕业后的教育就不是义务教育：先是“初级中学”，简称“初中”，要考取初中联考才能入学；公立初中考不取者，多报考私立初中。

1968年，在举步维艰的国情下，中华民国仍旧修改法律（没有修改宪法）将义务教育延长至九年，开始了九年国民义务教育。初级中学不但改称国民中学，还增设许多国民中等学校。国民学校也改称国民小学。高达80%的台湾人民因此受益，为台湾未来发展奠定了基础。小学高年级教育多流于应试的问题也获得改善。

台湾现行的国民教育法第二条规定，凡6-15岁之国民，应受国民教育；已经逾龄未受国民教育之国民，应受国民补习教育。6-15岁国民之强迫入学，另以法律定之（即强迫入学条例）。

虽然国中以后的教育不属义务教育，但大约94.7%的国中毕业生仍继续升学接受教育，大部份就读高中或高职，但也有少数国中毕业生不再升学，直接就业。

新中国方面，1982年通过的中华人民共和国宪法，即规定中国大陆实行义务教育。随后在1986年4月12日第六届全国人民代表大会第四次会议通过的《义务教育法》中有九年制义务教育的条款，这是中国政府推行的教育政策，旨在帮助全民都有机会接收9年的免费教育，以利于提高国民素质。

《义务教育法》第十条规定： 国家对接受义务教育的学生免收学费。九年制义务教育，一般指小学六年、初级中学三年（或小学五年、初级中学四年）共计九年的教育。该法于1986年7月1日起施行，标志着从法律上中国大陆已确立了义务教育制度。

虽然明确规定政府承担该项公共义务的法律至少可以上溯至1982年，但在此后约20年的时间内，中国政府实际未能完全履行该项义务，20余年间入学的中国大陆中小学生，均需在义务教育阶段缴纳学杂等费用。进入21世纪后，虽然一些地方开始对义务教育免收“学费”，但事实上九年制义务教育学校仍要收取书本费、杂费、信息（微机）费等费用，为了防止学校乱收费，增加学生家长经济负担，大陆已经开始实施中小学义务教育收费“一费制”。

2005年温家宝总理承诺2年内在农村地区普及免收学杂费的9年义务教育，自2007年开始，大陆全境农村地区开始免收学杂费（私立教育除外）。早在此前，发达地区、部分城市或部分城市的城区开始免收学杂费。现今，义务教育免费（湖南省仍然存在很多地方的公立学校收费现象，而且比以往收费更高）已经在中国大陆全境基本实现。

随着社会的发展，延长义务教育年限至12年（2011年为止，包括内蒙古自治区、广东省珠海市在内的部分地区已经实现12年义务教育）的呼声逐步增大。