Authorize и AllowAnonymous asp.net core

Объясните пожалуйста, что я делаю не так.

Мне нужно чтобы весь контроллер был доступен только для определенной авторизованной роли, но один метод из контроллера был открыт для всех. Но при применении AllowAnonymous у меня открыто всё для всех.

Как сделать это правильно?

[Authorize(Roles = "admin")]
public class FilesDBController : Controller
{
    [AllowAnonymous]
    public FileResult DownloadFile(int id)
    {                
    }
}