او به پاریس رفت و با بارون ادموند گفتگو کرد. بارون ادموند از هرتسل مسنتر بود و در حضور منتقدی آرام که تمام اقدامات او برای اسکان یهودیان در فلسطین را زیر سؤال میبرد، احساس ناراحتی میکرد. هرتسل در نظر او فردی پرشور و بیانضباط جلوه میکرد. بارون ادموند باور نداشت که ایجاد شرایط سیاسی مساعد برای مهاجرت دستهجمعی یهودیان ممکن باشد. حتی اگر چنین چیزی ممکن میبود، مهاجرت کنترلنشدهی انبوه به فلسطین، پیامدش پیاده کردن دهها هزار یهودی بود که جامعهی کوچک یهودیان در فلسطین میبایست آنها را تغذیه و سرپرستی میکرد. او به ایدهی خود مبنی بر اسکان تدریجی، بدون جلب توجه و با احتیاط برای پرهیز از تحریک خصومت، پایبند بود. هر پاسخی که هرتسل میداد، به درِ بستهای میخورد. امتناع بارون ادموند از همکاری، قطعی بود.
این تصمیمی با اهمیت تاریخی بود. این تصمیم هرتصل را از این اندیشه که جنبش صهیونیستی باید بر پایه حمایت خیریه یهودیان بنا شود، بازگرداند. تمام امیدهای او در این پیوند، با ارتباطاتی که در لندن و پاریس برقرار کرده بود، رنگ باخت. امتناع بارون
ادموند از همکاری، به معنای امتناع «صندوق بارون دو هیرش» و حلقه یهودیان سرشناس لندن نیز بود.
هرتزل با بیمیلی به این نتیجه رسید که تنها یک پاسخ برای این وضعیت وجود دارد. تودههای یهودی باید برای حمایت از جنبش صهیونیستی سازماندهی شوند.
سازمانی که او در ذهن داشت، یک سازمان دموکراتیک مردمی نبود. منظور او گرد هم آوردن «کادرهای» بالادستی بود تا مسئولیت سازماندهی تودهها برای مهاجرت بزرگ را بر عهده بگیرند. در عین حال، او میخواست به نیکوکاران ثابت کند که ایجاد یک سازمان مردمی امکانپذیر است. او احساس میکرد که آنها بهشدت تحت تأثیر گسترش یک جنبش مردمی فراگیر قرار خواهند گرفت. فارغ از اینکه افکار او در آن زمان چه بود، تصمیمش برای روی آوردن به تودههای یهودی و دست کشیدن از اتکا به ثروتمندان، منجر به سازماندهی جنبش صهیونیسم مدرن شد.
او پیروانش را در وین سازماندهی کرد. او کانون حلقهای بود که شامل مردانی میشد که بعدها به عضویت نخستین «کمیته اقدامات صهیونیستی» درآمدند. در نوامبر ۱۸۹۶، او برای نخستین بار در یک جلسه عمومی در وین سخنرانی کرد. در این سخنرانی، او از اصطلاح «دولت یهود» استفاده نکرد و در بیشتر اظهارات عمومیاش در آن زمان نیز آن را به کار نبرد. او محتاط شده بود. او نمیخواست به فعالیتهای سیاسیاش در قسطنطنیه لطمهای وارد شود.