[and.enk]

Хочу написать парсер ключевых слов из вордстата яндекса на Delphi, авторизовался, сохранил все куки, отправляю запрос с ключевым словом по которому хочу получить выборку и тут мне приходит JSON ответ в две строки, одна строка длинной 30+ тыс символов вот ее начало, небольшой кусочек:

PHP код:

{"data":"hX8L^^\u0002@[ZUN\\r[\\A\\6V\u0017\fq\u0012\u0004VLGD\\\\LdVVQD\u0003\u0003D\u0004opvStiPGkQ\rLt\u00074P;\u0003\u0018>\u0015Y /ktwrK/OEv`\u000eEWo\u0013g\u0005VMr<|\u0010nDJriwev\u0016'`.QG#]nush\u0006`o\u0017ZD.vT\u000b\\M\u0016qO)J\u001dwGcxg\u0012\u0016Cb\u000e#ki\u00014Dd1bm24\\\u0010Z\u0010%\biwbnoWT0J\u0010 !PshGuTG}V\u0014vq\u0013t\u0003\u001ctuJ>YI.T\n\u0006o\u0015\u0012\u0018dY@TYYA\u0010c\u0005\u0004\u0007\u001c\u0007u\u001c\u0000\nFRV]\u000e_BD\u0005\u001cpw `~PP|Qk[\u0005\u0010j\u000 


И вторая строка это какая то функция чтобы убрать все лишние символы и привести к нормальному виду, оно же должно быть такого вида, да?

PHP код:

\u0010c\u0005\u0004\u0007\u001c\u0007u\u001c 


Вот вся функция:

PHP код:

"key":"var f86 = function(v920){var t844=\"f6ae94e65\";var tv835=v920;return function(v920){return t844.concat(v920.concat(tv835))}(\"2bf\")};f86(\"426aa0d\".split('').reverse().join('').split('').reverse().join('').concat(13407^131027).substr(1))"} 


Смотрел снифером аналоги парсеров вордстата и видел что там точно такие же POST запросы и ответ приходит точно такой же, значит они как то переводят данные в читабельный вид, ковыряю эти две строчки второй день очень нужна помощь.

В приложении txt файл с полным JSON ответом от wordstat.yandex

[Alegun]

Если не ошибаюсь, очпохоже что ответ на питоне приходит, попробовал расшифровать немного с помощью

Код:

//Функция выполняет преобразование вида:
//'\u0421\u043a\u0430\u0439\u0440\u0438\u043c' -> WideString('Скайрим').
function UStrToWideStr(const aUStr : AnsiString) : WideString;
var
  i, j, Len : Integer;
begin
  Len := Length(aUStr) div 6;
  SetLength(Result, Len);
  j := 3;
  for i := 1 to Len do begin
    Result[i] := WideChar( StrToInt('$' + Copy(aUStr, j, 2)) shl 8
      + StrToInt('$' + Copy(aUStr, j + 2, 2)) );
    Inc(j, 6);
  end;
end;

на выходе псвевдографика вылазит

[and.enk]

Я вот думаю может тут и вовсе не нужно ничего декодировать...
Почему когда смотришь исходной код с результатами в нём нет ключевых фраз, а если сделать "исследовать элемент" и в инспекторе посмотреть, то в нём можно найти всю разметку и все ключевые фразы, правда русские символы прописаны вот в таком виде %D1%81 но это не беда, беда получить этот DOM код в Delphi

Код:

<a class="b-link b-phrase-link__link" href="/#!/?words=%D1%81%D0%BA%D0%B0%D1%87%D0%B0%D1%82%D1%8C">скачать</a>

[Bargest]

1) Заходим на страницу яндекс вордстата.
2) Открываем консоль (ctrl+shift+i в хроме).
3) Что-нибудь вводим в строке яндекса, чтоб инициировать запрос.
4) На вкладке консоли "Network" видим ответ примерно того вида, что в первом посте. Там JSON с полями data и key.
5) Находим в коде страницы люто обфусцированный Javascript. Впору бы загрустить (копать 20к строк обфусцированного кода на JS - то еще удовольствие), однако замечаем, что в этом коде только один раз встречается операция XOR (которая есть почти в любом шифровании).
6) Понимаем, что этот XOR - и есть расшифровка. Ручками деобфусцируем код и получаем что-то вроде этого:

PHP код:

var rkey = navigator.userAgent.substr(0, 25) + ($["cookie"]("fuid01") || "") + eval(response.key);
var result = "";
for (var i = 0; i < response.data.length; i++)
    result = result + String.fromCharCode(response.data.charCodeAt(i) ^ rkey.charCodeAt(i % rkey.length))
result = decodeURIComponent(result); 


7) Видно, что в расшифровке используется user-agent, cookie с названием fuid01 (если есть, иначе пустая строка) и eval от поля "key" в ответе сервера. А дальше банальный XOR с ключом.
8) Пишем в консоли var response = <ответ сервера>
9) Вставляем в консоль этот код расшифровки, нам печатается результат:

PHP код:

"{"content":{"currentPage":"1","lastUpdate":"Последнее обновление: 01.07.2017","regions":"","hasNextPage":"yes","includingPhrases":{"info":["  ... <И ТАК ДАЛЕЕ> 


10) ???
11) PROFIT

[and.enk]

Спасибо, мне это помогло, правда пришлось подставить response.key и response.data руками в переменные и заменить, почему то у меня в хроме response.length = 0, хотя куки находит... Или я что то с Response не то делал, первый раз с JS в консоле сталкиваюсь.

Главное увидел в браузере расшифрованный текст и это радует.

Вопрос теперь в другом, как лучше всего выполнить функцию которая приходит в ответе сервера из поля key? Я видел она генерирует какой то набор символов, который нужен чтобы дополнить ключ для расшифровки текста из поля data.

В гугле нашёл что функцию eval можно выполнить с помощью TEvaluator из JEDI Code Library или выполнить JS через TwebBrouser, но с TwebBrouser не хочется...

[Bargest]

Поискать примеры через какой-нибудь ScriptControl.
Предлагают так:

Код:

procedure TForm1.Button1Click(Sender: TObject);
var
  ScriptControl: Variant;
  Value: Variant;
begin
  ScriptControl := CreateOleObject('ScriptControl');
  ScriptControl.SitehWnd := Handle;
  ScriptControl.Language := 'JScript';

  Value := ScriptControl.Eval('new Date();'); // сюда впихать response.key
  ShowMessage(VarToStr(Value));
end;

(не проверял)