今更なんですがWordPressってSVGファイルのアップロードに対応してないんですね・・・
プラグインでも対応できるようですが、今回はfunction.phpで対応する方法になります。

function.php

function add_file_types_to_uploads($file_types){
  $new_filetypes = array();
  $new_filetypes['svg'] = 'image/svg+xml';
  $file_types = array_merge($file_types, $new_filetypes );
  return $file_types;
}
add_action('upload_mimes', 'add_file_types_to_uploads');