A comunidade judaica chinesa sempre fora pequena e sem força política e econômica, porém a história desta é antiga e rica em cultura. Especula-se que os primeiros judeus a entrarem na China eram comerciantes que utilizavam a famosa Rota da Seda como meio de vida. Oficialmente, existem documentos dos séculos XIV e XV afirmando a existência de judeus chineses no século IX a.c, porém o documento mais antigo que prova a existência de judeus na China é uma carta de negócios datada do século VIII.

A maior comunidade judaica na China é na antiga cidade de Pien-Liang (atual Kaifeng) onde os judeus foram oficialmente permitidos no ano de 960 E.C. Em 1163, com a vinda de cerca de mil judeus comerciantes, construiu-se na cidade a chamada Sinagoga da Pureza e da Verdade. A comunidade da cidade cresceu até o século XVII, quando atingiu cerca de 5 mil integrantes. Após isto, o número de judeus começou a decrescer, pois a pequena comunidade nada podia fazer contra a pobreza, as baixas das guerras e a isolação religiosa presentes na região. O declínio da população judaica em Kaifeng foi tanto que, com a morte do seu último rabino no início do século XIX, acabou sendo totalmente dispersada até deixar de existir oficialmente, com a demolição da sinagoga em 1860.

Historicamente, a segunda comunidade judaico-chinesa mais importante é a da cidade de Shangai. A história dos judeus nesta região é muito mais recente do que a comunidade de Kaifeng, datando de 1843. A migração de judeus para Shangai começou com a abertura dos portos após a Guerra do Ópio, quando o governo britânico forçou o governo chinês a abrir seus portos, o que permitiu que comerciantes estrangeiros se estabelecessem no local. Judeus sefaraditas de Bagdá e Bombaim (especialmente devido à influência inglesa no Iraque e na Índia) chegaram à cidade e começaram a construir a comunidade. Uma grande sinagoga fora erguida para que 700 judeus tivessem um local para rezar. Liderados pelas prósperas famílias Sasson, Kadoorie, Ezra, Baruch, Shamoon e Hardoon, a comunidade de Shangai abriu as portas para ondas migratórias de judeus russos oriundos da Sibéria em 1920 e judeus europeus que fugiam do nazismo na década de 30. A comunidade continuou crescendo até atingir o número de 24.000 judeus até o término da guerra em 1945, mas teve um período ruim durante a ocupação japonesa. Eles capturaram a cidade em 1937 e fecharam as portas para a imigração até 1941. Os japoneses colocaram a maioria dos judeus no pobre distrito de Hongkew, que não tinha boas condições sanitárias, além de serem mantidos, junto com judeus vindos do Japão, num regime de semi-.

Para a cidade de Harbin, na Manchúria, houve, após a Revolução Russa de 1917, uma grande emigração judaica. Em 1920, havia quase 20.000 judeus lá. Com a invasão da Manchúria pelos japoneses, esses números também decaíram.

Após o fim da guerra, muitos judeus foram para Israel, Estados Unidos, Grã-Bretanha, Austrália, entre outros. Sobraram apenas cerca de 250 pessoas na comunidade de Shangai após essa onda de emigrações, número que permanece semelhante hoje.

Com o estabelecimento do regime comunista maoísta na China continental, em 1949 (Chiang Kai-Shek, de orientação nacionalista, fugiu para a ilha de Taiwan), as religiões acabaram suprimidas pelo estado.

Hoje em dia, a população judaica na China, embora pequena, cresce 30% ao ano e, liderada pelo Rabi Shalom Greenberg, luta para permanecer ativa. A maioria se concentra em Hong Kong, antigamente um porto cedido aos ingleses. Estima-se que haja agora 2.000 judeus na região de Hong Kong. (dado não confiável)

O judaísmo está lentamente ressurgindo no país. Em 1999 e 2000, foi permitido aos judeus usarem uma sinagoga em Shangai para realizar Rosh Hashaná, Chanukah e Pessach. Compareceram 120,75 e 100 judeus, respectivamente. Era a primeira vez que a sinagoga era utilizada desde 1952.