Увеличить скорость парсинга
как можно увеличить скорость парсинга, чтобы он мог выполнять около 4000 запросов в минуту. Как это можно реализовать?
Код:
string[] pair1 = searchText.Split();
foreach (var pair in pair1)
{
var web = new HtmlAgilityPack.HtmlWeb();
var htmlDoc = new HtmlAgilityPack.HtmlDocument();
string url = $" + {pair}";
htmlDoc.LoadHtml(web.Load(url).Text);
var content = htmlDoc.DocumentNode.SelectSingleNode("//div[@id='']").InnerText;
richTextBox1.Invoke((MethodInvoker)delegate
{
richTextBox2.Text += string.Join(string.Empty, content.SkipWhile(x => !char.IsDigit(x)).TakeWhile(x => char.IsWhiteSpace(x) || char.IsDigit(x))).Replace(" ", string.Empty) + "\n";
});
}