É geralmente aquela questão de tradeoff entre cpu e memória, mas acho quase sempre valer a pena, até mesml nos pcs super fajutos que já usei, com escassez de ambos recursos, o zram deu uma ajuda boa. Normalmente a gente tem mais gargalo na memória e o cpu fica ocioso do que o contrário.

Como disseram, tem a questão da energia, que nunca parei lra observar, já que nunca parei pra medir a diferença.

Mas lembrando que o zram não é necessariamente usado o tempo todo, mas só quando o sistema faz swap, então se você tiver bastante memória, não vai ficar consumindo cpu à toa, o que é mais um ponto positivo.