1904年，上海四马路大新街有一家文具店，老板王道平经常到日本去采购。一次，他看到日本人正在进行一场乒乓球赛，觉得这个活动非常有趣，又不需要很大的场地，于是他就采购了10套乒乓器具回国，把它们陈列在商店里。但是，当时中国人并不了解它们的用处，更不知道乒乓球的打法，因此长期无人问津。

后来，聪明的商人开始亲自在店中打球做表演，吸引了很多顾客前来观看，有的甚至也挥拍上阵一试身手。自此，乒乓球开始在上海流行起来。1916年，中华全国基督教青年会上海分会童子部设立了我国最早的乒乓球房，配备了9张球桌，但一般市民无缘人内，仅富家子弟和有钱的大学生等少数人去寻找乐趣。之后，乒乓球逐渐地在上海、广州、北京、天津等几个大城市开展起来。

1918 年，上海乒乓球联合会宣告成立，不少球队纷纷建立，并于1923年首次举办了比赛。比赛采取对抗方式，11人参赛，先胜六盘者为赢。同年，全国乒乓球联合会在上海诞生，中国乒乓球运动从此得到了初步的发展。1925年，在上海举行了中华队与旅华日侨之间的秋山杯比赛。

1927年和1930年，中国正式派出乒乓球选手参加第8届、第9届远东运动会乒乓球赛。因球技落后，团体和个人赛均告失败。直到1935年，中华全国乒乓球协会在上海成立，乒乓球在我国才开始被列为正式的体育项目。

关于乒乓球传入中国，还有一种说法是匈牙利选手米.斯扎巴多斯1931年获得了第5届世乒赛男子单打冠军。赛后，他因作环球旅行表演而将乒乓球传到了中国。但这种说法显然不可靠，因为在此之前，上海等地已有乒乓球活动。