Al mismo tiempo, quería demostrar a los filántropos que una organización popular era posible. Sentía que se verían muy influenciados por el desarrollo de un movimiento popular generalizado.
Fuera cuales fuesen sus pensamientos en aquel momento, su decisión de volverse hacia las masas judías, de abandonar la dependencia de los ricos, condujo a la organización del movimiento sionista moderno.
Organizó a sus seguidores en Viena. Era el centro de un círculo que incluía a los hombres que más tarde se convirtieron en los miembros del primer Comité de Acción Sionista.
En noviembre de 1896 se dirigió, por primera vez, a una reunión pública en Viena. En este discurso no utilizó el término «El Estado judío», ni lo empleó en la mayoría de sus declaraciones públicas de entonces. Se había vuelto cauto. No quería perjudicar su labor política en Constantinopla.
Aún pensaba en fundar un periódico, pero no había fondos para tal fin. La noticia de que tenía