Svilės kaimo gyventoja Vera Eidėnienė apie „kryžių kalniuką“ kalba pagarbiai ir su baime. Ši vieta – stebuklinga, tad baugu kokį žodį ne taip pasakyti. Pasakojimuose minima, kad baudžiavos laikais buvo pakarta apie du šimtus sukilėlių, plėšikų, arkliavagių. Kita Kryžių kryžkelės atsiradimo versija – kadaise čia stovėjusi koplyčia, prie kurios pasimeldus, norai pildydavęsi. Koplyčios seniai neliko, bet žmonės, manydami, kad vieta yra šventa, pradėjo statyti kryžius. Kalbama, kad šioje vietoje pirmieji kryžiai buvo pastatyti pakaruokliams, o vėliau statyti žmonėms, nespėjusiems susitaikyti su Dievu. Iki praėjusio amžiaus vidurio čia stovėjęs kryžius su 1812-ųjų data.
