Scrapy splash προβλημα με ελληνικους χαρακτηρες

[georgekasa]

Καλησπερα σας,

εχω ενα πρόβλημα στο scrapy κάνω scrape ένα ελληνικό site και τους ελληνικούς χαρακτήρες μου τους βγάζει ως εξής: u03bf \u039d\u03 κλπ, διάβασα στο stackoverflow να ενεργοποιήσω FEED_EXPORT_ENCODING = 'utf-8' στα settings.py παρολο αυτά μου τα έβγαλε ως εξής : xa0\xce\.  Μήπως έχει αντιμετωπίσει αυτό το πρόβλημα;

ευχαριστώ

'Name':response.css('h2.title::text').extract_first().encode('utf-8'),

[n3a]

Μήπως το terminal που χρησιμοποιείς δεν καταλαβαίνει unicode? 

[georgekasa]

δοκιμασα να γραψω και σε excel, τιποτα το ιδιο με Selenium γραφω excel κανονικα στα Ελληνικα.

[virxen75]

ποιο είναι το site?

[georgekasa]

kritikos supermarket

[virxen75]

εμένα το δείχνει πάντως στα ελληνικά

[georgekasa]

Καλημερα,

επισης στο settings, FEED_EXPORT_ENCODING = 'UTF-8'. Με windows 

# -*- coding: utf-8 -*-
import scrapy
from scrapy_splash import SplashRequest

class LaptopSpider(scrapy.Spider):
    name = 'testme'
    def start_requests(self):
        url ='https://kritikos-sm.gr/products/turokomika/kremwdh/katiki-domokou-pop-oreines-plagies-200gr-864775/'
        headers = {"User-Agent":"Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36"}
        yield scrapy.Request(url, headers=headers, callback=self.parse)   

    def parse(self, response):
        yield{      
        'test':response.css('div.ProductDetails_middleContainer__oM5vA::text'),#.decode('utf-8')
    
        }

 

[virxen75]

 yield{      

        'test':response.css('h1.ProductDetails_productName__M3CcG::text').get(),

        }

Δοκίμασε το έτσι

[georgekasa]

{'test': 'ΟΡΕΙΝΕΣ ΠΛΑΓΙΕΣ Κατίκι Δομοκού !!!!!!!!!!!!!!!!!!!!! euxaristo poli, kai ta ekana ola se Selenium!!!