Največja pomanjkljivost varčevanja v srebru je njegovo shranjevanje. Po nekaj letih varčevanja v srebru se lahko namreč pojavijo resne težave z njegovim shranjevanjem, še posebej, če ga imamo doma. Čeprav je zelo priročno, da ga lahko dosežemo kadarkoli to želimo, shranjevanje srebra doma zahteva dokaj velik sef in dobro organizacijo prostora.

Poleg težav s shranjevanjem srebra se lahko pojavijo tudi težave pri njegovem premikanju, še posebej če želimo prenesti večje količine srebra naenkrat. Medtem ko denar ali par unč zlata z lahkoto damo v aktovko in se premikamo naokrog neopaženo, tega ne moremo z večjimi količinami srebra. Tako se lahko prednost varčevanja v srebru hitro spremeni v njegovo pomanjkljivost. Poleg tega je malo verjetno, da bomo lahko zamenjali na primer kilogramsko palico srebra za nekaj hrane po pošteni ceni, medtem ko je premikanje z večjimi količinami srebra v času vojne praktično nepredstavljivo. Da bi se izognili takim situacijam strokovnjaki priporočajo varčevanje v srebrnih naložbenih kovancih, čeprav težava s premikanjem pri večjih količinah naenkrat ostaja enaka.

Kot pomanjkljivost varčevanja v srebru v primerjavi z varčevanjem v zlatu je potrebno navesti tudi obdavčitev srebra, ki znaša 20% oziroma nekaj procentov več ali manj, odvisno od države do države.