IBM的历史可以追溯到电子计算机发展前的几十年，在电子计算机发展之前，它经营穿孔卡片数据处理设备。IBM于1911年6月15日在宾厄姆顿西几英里处的纽约恩迪科特作为CTR公司注册。三个独立公司合并建立了CTR公司，它们是：列表机公司(1896年创立于华盛顿）、计算表公司(1901年创建于俄亥俄州代顿）和国际时代唱片公司(1900年创办于纽约州恩迪科特）。那时列表机公司的总裁也即创办人是Herman Hollerith。合并背后的关键人物是金融家Charles Flint，他召集三家公司的创始人提出兼并，并在CTR中任职直到1930年退休。

Thomas J. Watson是IBM的创始人，1914年担任CTR总经理，1915年担任总裁。1917年，CTR以国际商用机器有限公司进入加拿大市场，1924年2月14改名为国际商业机器公司（IBM）。

公司合并成CTR制造各种产品，包括员工计时系统、磅秤、自动切肉机，而且最重要的是发展计算机、穿孔卡片设备.一段时间CTR集中精力专做穿孔卡片，不再参与其他活动。

IBM在1932年投入巨资100万美元建设第一个企业实验室，这个实验室在整个30年代的研发让IBM在技术产品上获得领先。在整个经济大萧条期间，IBM一直在研发和新产品上投资，它的产品比所有其他公司都更好、更快、更可靠，它因此赢得了独家代理罗斯福新政会计项目的合同。1935年时IBM的卡片统计机产品，已经占领美国市场的85.7%，IBM公司因卡片机的大量销售而积累雄厚的财力和强大的销售服务能力，为以后成为计算机领域的主宰奠定了重要的基础。

IBM与中国的缘分源远流长。早在1934年，IBM 公司就为北京协和医院安装了第一台商用处理机。1936年，IBM在远东地区的第一个办公室就设立在上海，为其在中国乃至整个东亚地区布局发展奠定了基础。1937年，中国第一个越洋电话，就从IBM上海办公室拨出，从此开辟了中国与世界连接的新途径。