En 1637 publicó su Discours de la Méthode, que contenía entre otros un ensayo de 106 páginas sobre geometría. Su Geometría no es de lectura fácil. Posteriormente apareció una edición con notas de su amigo De Beaune, destinadas a eliminar las dificultades.
Se afirma con frecuencia que Descartes fue el primero en aplicar el álgebra a la geometría. Esta afirmación es inexacta, pues Vieta y otros lo habían hecho antes que él. Incluso los árabes utilizaron a veces el álgebra en relación con la geometría.
El nuevo paso que sí dio Descartes fue la introducción en la geometría de un método analítico basado en la noción de variables y constantes, lo que le permitió representar curvas mediante ecuaciones algebraicas. En la geometría griega faltaba la idea de movimiento, pero con Descartes se convirtió en un concepto muy fructífero.
Mediante él, un punto en un plano quedaba determinado en su posición por sus distancias a dos líneas rectas o ejes fijos. Estas distancias variaban con cada cambio de posición del punto. Esta idea geométrica de representación de coordenadas, junto con la idea algebraica de dos variables en una ecuación que tienen un número indefinido de valores simultáneos, proporcionó un método para el estudio de los lugares geométricos, admirable por la generalidad de sus soluciones.
Así, la totalidad de las secciones cónicas de Apolonio se encuentra envuelta y contenida en una sola ecuación de segundo grado.
El término latino para «ordenada» utilizado por Descartes proviene de la expresión lineæ ordinatæ, empleada por los agrimensores romanos para las líneas paralelas. El término abscisa aparece por primera vez en una obra en latín de 1659, escrita por Stefano degli Angeli (1623–1697), profesor de matemáticas en Roma.3
La geometría de Descartes se llamó «geometría analítica», en parte porque, a diferencia de la geometría sintética de los antiguos, es verdaderamente analítica, en el sentido en que se usa la palabra en lógica; y en parte porque ya entonces se había introducido la costumbre de designar con el término análisis al cálculo con cantidades generales.
El primer ejemplo importante resuelto por Descartes en su geometría es el «problema de Pappus»; a saber: «Dadas varias líneas rectas en un plano, hallar el lugar geométrico de un punto tal que las perpendiculares, o más generalmente, líneas rectas trazadas desde el punto a las líneas dadas con ángulos dados, satisfagan la condición de que el producto de ciertas de ellas guarde una razón dada con el producto de las restantes».
De este célebre problema, los griegos resolvieron únicamente el caso especial en que el número de líneas dadas es cuatro, caso en el cual el lugar geométrico del punto resulta ser una sección cónica. Descartes lo resolvió por completo y ofreció un excelente ejemplo del uso que puede hacerse de su método analítico en el estudio de los lugares geométricos. Newton dio otra solución más tarde en los Principia.
Los métodos para trazar tangentes inventados por Roberval y Fermat ya se habían señalado antes. Descartes dio un tercer método. De todos los problemas que resolvió mediante su geometría, ninguno le produjo tanto placer como su modo de construir tangentes. Es profundo pero laborioso y, por esa razón, inferior al de Fermat.