HTTP i podtrzymanie zadania

[japp4]

Witam

Mam pewien problem. Potrzebuje z poziomu aplikacji WWW (czy to PHP i funkcji do obslugi socketow, czy JavaScript i obiektu XMLHttpRequest) zasymulowac pelne wejscie na strone. Pelne - tzn. takie, ktore w logach bedzie identycznie prezentowane jak wejscie z normalnej przegladarki. Pomijam kwestie naglowkow User-Agent itd. Chodzi mi mianowicie o to, ze aktualnie wejscie w logach wyglada w nastepujacy sposob:

user1234.host.pl - - [24/Jul/2008:03:26:55 +0200] "GET / HTTP/1.1" 200 1320 "http://user1234.host.pl/index.php" "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.1.14) Gecko/20080404 Firefox/2.0.0.14"

Czyli prezentowanie jest pobranie tylko tresci strony glownej. A dla przykladu wejscie na ta sama strone z poziomu przegladarki wyglada nastepujaco:

user1234.host.pl - - [24/Jul/2008:01:20:47 +0200] "GET / HTTP/1.1" 200 1320 "-" "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.1.14) Gecko/20080404 Firefox/2.0.0.14"
user1234.host.pl - - [24/Jul/2008:01:20:48 +0200] "GET /style.css HTTP/1.1" 200 1316 "http://user1234.host.pl/index.php" "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.1.14) Gecko/20080404 Firefox/2.0.0.14"
user1234.host.pl - - [24/Jul/2008:01:20:48 +0200] "GET /images/welcome.gif HTTP/1.1" 200 522 "http://user1234.host.pl/index.php" "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.1.14) Gecko/20080404 Firefox/2.0.0.14"

A wiec przegladarka pobiera dodatkowo CSS, grafike, favico itd. Ale pobiera to tak sprytnie, ze wszedzie jest jako REFERER Page wpisana nazwa strony, na ktora nastapilo wejscie.

Teraz pytanie? Czy da sie zasymulowac z poziomu czystego wejscia na strone, nawet telnetujac port 80 i wysylajac naglowki w jakis sposob takie wejscie? Czy pobieranie tych wszystkich pozostalych elementow na stronie to jest jakas wewnetrzna funkcja przegladarki i zwiazane to jest z jej budowa i dzialaniem? A moze to kwestia wysylanych naglowkow i jakiejs opcji "podtrzymania" polaczenia i podazania za odnosnikami i ich pobierania?

Dodam tylko, ze w logach czasami mam wejscia Yahoo i innych robotow, i sa to wejscia prezentowane tak, jakby wejscie nastapilo z normalnej przegladarki (czyli opisana wersja 2ga) - pomijajac User-Agent, ktory wskazuje na to, ze jest to pajak.

Z gory dzieki za informacje!

[GSG-9]

Potrzebuje z poziomu aplikacji WWW (czy to PHP i funkcji do obslugi socketow, czy JavaScript i obiektu XMLHttpRequest) zasymulowac pelne wejscie na strone

//to jest perl, ale chyba nie ma problemu?

use strict;
use warnings;
use LWP::UserAgent;
my $ua = LWP::UserAgent->new;
$ua->agent('Mozilla/4.0 (compatible; MSIE 5.0; Windows 95)');
for (my $l=1;$l<999;$l++)
{
my $res = $ua->get('http://strona');
if ($res->is_success) {        
	print "Licznik podbity...\n";
        print "my $l\n";
               
} else {
	print "Blad: ", $res->status_line, "\n";
}

}

troche mi tqm pomogl

[japp4]

Dzieki za odpowiedz. Ten kod co podales oczywiscie powoduje wejscia na stronie, ale wejscie jest prezentowane w sposob, ktory opisalem jako pierwszy. Czyli puste wejscie, pobranie strony glownej i dalej nic.

[GSG-9]

pseudo kod[nawet nie wiem czy to dziala, chodzi o sama zasade dzialanie...]

<?php
      print "\nlaczenie ze strona...\n";
    $host = "jakistam host";

    //$packet ="GET ".$host."index.php HTTP/1.1\r\n";
    
    $fp = fsockopen("jakistam host", 80);
    if (!$fp) 
    {
    echo "$errstr ($errno)\n";
    } 
    else
    {
   // $out = "GET / HTTP/1.1\r\n";
    $out .= "GET ".$host."/dalszy/link.php HTTP/1.1\r\n";
    $out .= "GET /style.css";
    $out .= "GET /images/welcome.gif";
    $out .= "Host: costam.pl\r\n";
    $out .= "User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; pl; rv:1.9) 

Gecko/2008052906 Firefox/3.0";
    $out .= "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8";
    $out .= "Accept-Language: pl,en-us;q=0.7,en;q=0.3";
    $out .= "Accept-Encoding: gzip,deflate";
    $out .= "Accept-Charset: ISO-8859-2,utf-8;q=0.7,*;q=0.7";
    $out .= "Keep-Alive: 300";
    $out .= "Connection: keep-alive";
    $out .= "Set-Cookie: jakiestam expires=Sun, 99 Jul 9999 99:99:9 GMT";

    $out .= "Cache-Control: max-age=0";
    
   // $out .= "Connection: Close\r\n\r\n";
    }
?>

o to chodzi?

[japp4]

Ok zapuscilem sobie snifferka i juz wiem jak to wyglada po stronie przegladarki. Przegladarka laduje strone glowna, a reszte danych pobiera indywidualnie modyfikujac naglowek Referer.

[Nikow]

Nagłówek REFER nie powinien być obowiązkowy. Po załadowaniu strony, ciągniesz wszystkie style, skrypty i obrazki. Wszystko oprócz <a href= oraz linków nie otagowanych.

GSG-9: Od kiedy na jedno zapytanie HTTP można wpakować parę GET'ów? :P