Рекуррентные соотношения

Ваша задача - задать две переменные с начальными значениями

x = 1
y = 0

Затем запускаете цикл (бесконечный), в котором рассчитываете новые значения

tempx = x  //запомним старое значение
x = x + 2*y  
y = y - 2*tempx

и проверяете, не стали ли значения больше, чем K. Если да, то останавливаете цикл, и выводите то, что нужно

Можно и без временной переменной :)

static void Main(string[] args)
{
    int x = 1, y = 0;
    int K = Convert.ToInt32(Console.ReadLine());
    for(;;)
    {
        x += 2 * y;
        y = 5 * y - 2 * x;
        if (x > K || y > K) break;
    }
    Console.WriteLine("x = " + x + "  y = " + y);
}