Der Ort, einer von 17 in Deutschland mit diesem Namen, wurde wahrscheinlich im 13. Jahrhundert von fränkischen Siedlern als Waldhufendorf angelegt und bekam seinen Namen von einem Lehnsmann des Adelsgeschlechts derer von Kyaw aus der Herrschaft Hainewalde, namens Walter.

Seit 1419 ist Waltersdorf ein Ratsdorf der Stadt Zittau, die seine Geschicke bestimmte.

Landwirtschaft, Sandsteinabbau und die nach dem 17.Jahrhundert stark zunehmende Handweberei waren die Lebensgrundlage der Einwohner. Große Reichtümer blieben versagt,

aber die mehrfach umgebaute Dorfkirche erhielt 1766 dennoch eine Orgel des Zittauer Meisters Tamitius, ein Schüler des berühmten Orgelbaumeisters Gottfried Silbermann.