Harbin selbst hat im Gegensatz zu den meisten anderen chinesischen Städten keine lange Geschichte als Stadt. Das Gebiet hatte Fischerdörfer, bis die Russen 1897 mit dem Bau einer Eisenbahn in dieses Gebiet begannen. Die Russen wollten eine Abkürzung durch dieses Gebiet. 1896 erteilte das Qing-Reich Russland eine Baukonzession für den Bau der Chinesischen Ostbahn in der nördlichen Inneren Mandschurei. Dann bauten die Russen eine Stadt, um das Personal zu beherbergen, das beim Bau der Eisenbahn half. Als die Eisenbahn im Jahr 1901 eröffnet wurde, lebte Eisenbahnpersonal in der Stadt. Zu den Bewohnern gehörten viele russische Juden, die während der russischen Pogrome in diese Gegend flohen. Danach ließen sich viele tausend andere Juden dort nieder und übernahmen eine führende Rolle beim Bau der Gebäude, Geschäfte und Schulen der neuen Stadt. Eine Aufzeichnung zeigt, dass Harbin um das Jahr 1913 insgesamt etwa 70.000 Menschen hatte, die hauptsächlich Russen waren, aber auch viele Menschen Dutzender anderer Nationalitäten lebten dort. In den 1910er und 1920er Jahren zogen etwa 150.000 Russen dorthin, um aus Russland zu fliehen, und es gab einen Versuch von Weißrussen, die Stadt zu einem Stützpunkt im Osten Russlands zu machen. Tausende Juden und andere Menschen zogen in den 1930er und 1940er Jahren dorthin, um den Faschisten in Europa zu entkommen.
Die Hunderttausende von Europäern, die sich dort niederließen, verließen in den 1930er Jahren, während der japanischen Invasion und danach aus verschiedenen Gründen die Stadt. Japanische Truppen besetzten Harbin 1932, und die ehemalige Sowjetunion verkaufte die Chinesische Ostbahn an die Japaner. Es gab einen Exodus von Russen in die ehemalige Sowjetunion und an andere Orte. Während einer Besetzung Harbins durch die sowjetische Armee von August 1945 bis April 1946 wurden Tausende von Russen, die aus der ehemaligen Sowjetunion geflohen waren, zurückgedrängt. Andere Russen und die dort lebenden Europäer zogen zurück in ihre eigenen Länder oder in die USA, Australien, Brasilien oder Israel.