O arquivo jquery.js é muito útil mas nem sempre necessário. As vezes um plugin o utiliza por cause de uma única função e isto obriga a carregar o js e deixar a sua página maior. Páginas maiores são mais lentas para o usuário. Nem sempre é possível e nem sempre vale a pena não usar o Jquery. Mas no caso em que não for, veja como tirar o javascript jquery.js da lista de scripts carregados em seu site Wordpress.