그의 설계에 따르면 차이 기계는 높이 2.4m, 무게는 10t에 달할 정도로 거대한 장치였다. 하지만 배비지의 차이 기계는 끝내 완성되지 못했다. 프로젝트는 진행이 더뎠고 예상보다 느린 속도에 영국 정부도 재정적인 지원을 끊었다. 배비지와 엔지니어와의 관계도 썩 좋지 않았다. 배비지는 1833년 차이 기계 일부를 완성했으나 그가 처음부터 마음에 두고 있던 완벽한 기계 장치를 완성하진 못했다. 배비지의 실패는 예견된 것이기도 했다. 배비지의 설계도를 현실로 만들기에 당시 기술력으론 불가능했을 것이란 분석도 있다. 그의 설계에 따르면 차이 기계는 2만 5000개의 부품이 필요했다. 부품 대부분은 당시에는 널리 쓰이지 않았던 것들로 기계를 제작하기 위해선 별도로 제작해야만 했다. 톱니바퀴 하나도 처음부터 만들어야 했던 것이다. 차이 기계에 영국 정부가 투자한 금액은 당시 돈으로 1만 7000파운드에 이른다. 배비지는 사재 2만 파운드를 투자했다. 영국 정부는 기약이 없는 프로젝트에 더이상 투자할 수 없다면 자금 지원을 철회했다. 배비지는 생전에 자신이 설계한 차이 기계가 돌아가는 모습을 볼 수 없었다.
배비지의 꿈은 훗날 현실이 됐다. 런던 과학 박물관(London Science Museum)은 1985년 배비지의 디자인을 그대로 가져온 차이 기계를 만들기 시작했다. 차이 기계는 배비지 탄생 200주년이 되는 1991년 완성됐다. 이 장치는 4000개의 정교한 부품으로 조립됐고 무게는 2.5톤에 달했다. 그의 독창적인 계산 기계 장치는 한참 지나서야 현실이 된 것이다.
배비지가 여기서 멈췄다면 그가 컴퓨터의 아버지(*엄밀하게 표현하면 최초의 기계적 컴퓨터 제작자)로 기록되지 않았을 것이다. 그는 포기하지 않았다. 배비지의 차이 기계 제작은 실패했지만 그는 차이 기계를 개선한 차이 기계 2번을 설계했다. 1847년부터 1849년까지 작업한 차이 기계 2번은 31자리 숫자를 계산할 수 있다. 기계를 완성하는데 필요한 부품은 획기적으로 줄였다. 차이 기계 2번은 전작인 차이 기계 1번에 들어간 부품의 3분의 1만으로 비슷한 성능을 냈다. 런던 과학 박물관이 제작한 차이 기계는 배비지가 두 번째로 설계한 차이 기계 2번이다. 증기기관이 아니라 성인의 팔힘 만으로도 차이 기계는 작동한다.
배비지는 차이 기계를 만드는 프로젝트가 실패한 뒤 또 다른 계산 기계를 고안했다. 실패로 끝났음에도 배비지의 계산 기계에는 많은 이들이 관심을 가졌다. 그중에서도 빼놓을 수 없는 건 아다 러브레이스(1815-1852)다. 러브레이스는 영국 시인 조지 고든 바이런(1788-1824)의 딸로 태어났다. 바이런은 1815년 안네 이사벨라 밀반케(1792-1860)와 결혼했지만 1년 만에 헤어졌다. 밀반케는 홀로 러브레이스를 키웠다. 러브레이스는 단 한 번도 아버지를 만나지 못했다. 어머니는 딸이 과학과 수학에 관심을 가질 수 있도록 분위기를 이끌었는데 이는 아버지의 어두운 문학적 재능을 이어받길 원하지 않아서였다. 어머니의 노력 덕분에 러브레이스는 어려서부터 수학에 재능을 보였다. 그와 동시에 러브레이스는 아버지의 반항적인 기질도 이어받았다.
당시 수학계는 여성이 활동하기 쉽지 않은 분위기였으나 러브레이스는 이에 도전했다. 그녀가 지난 사회적 배경은 내노라하는 학자들과 교류할 수 있는 분위기를 만들었다. 여기엔 아버지에게 물려받은 기질도 상당한 역할을 했다. 러브레이스는 18살 무렵인 1833년 배비지와 처음으로 만났다.
이 무렵 배비지는 차이 기계의 실패를 뒤로하고 새로운 장치를 고안하고 있었다. 그가 분석 엔진(Analytical Engine)이라 부른 장치는 현대의 컴퓨터와 비슷했다. 원하는 명령을 입력하면 분석 엔진이 계산된 결과를 내놓았다. 당시 그의 상황을 말해준 일화가 있다. 1842년 11월 11일 배비지는 영국 총리 로버트 필을 만났다. 배비지는 총리를 앞에 두고 “정부가 느긋하게 기다리지 못한다”고 비판했다. 새로운 분석 엔진을 만들 수 있도록 지원해 달라는 요청도 잊어버렸다. 필 총리는 배비지에 대한 재정적 지원이 쓸모가 없다고 생각했다. 1843년 1월 5월, 배비지는 정국 정부로부터 차이 기계 프로토타입을 킹스 칼리지 박물관으로 전달하라는 요청을 받았다. 그러부터 두 달 뒤인 1843년 3월 영국 정부는 배비지에 대한 재정 지원을 공식적으로 중단했다.