使用Python爬取网页的时候，怎么看这个网页需要哪些头部信息呢？

Question

就是我用Python打开一个网页，返回的只是一个由js生成的时间戳。
和真实浏览器返回的不一样，
请问怎么知道这个网页需要知道哪些头部信息呢？

就是类似于 'user‐agent': 'Chrome/10' 这种信息

知道了我才好设置，

其实大家给我一个关键词一个链接我都会去搜，只是现在一头雾水，搜都不会搜，谢谢了。

Answer 1

打开chrome调试工具，点击network项，刷新网页。然后点开最上面的一条请求，里边request headers内就是请求头信息。一般user-agent和referer比较重要。然后如果需要传params，也要注意一下。