SVG можно использовать в CSS через data URI, но вставку незакодированного SVG поддерживают только браузеры на Webkit. Если закодировать SVG с помощью encodeURIComponent() — SVG начинает отображаться во всех современных браузерах.
У тега SVG обязательно должен быть атрибут xmlns, вот такой: xmlns="http://www.w3.org/2000/svg". Если его нет, он будет добавлен автоматически.
Закодированный SVG можно использовать в background (демо) и border-image (демо).
Подробнее про использование SVG и разные способы вставки
можно почитать тут: SVG-иконки