Источник: Advanced Bash-Scripting Guide by Mendel Cooper

"Двойные кавычки" не экранируют:

1. Знак доллара $
2. Обратную кавычку `
3. Обратный слэш \

'Одиночные кавычки' экранируют все символы.
И потому называются строгими или полными кавычками.