Недавно мы рассматривали создание приложения на платформе App Engine, которое позволяет IP телефонам Cisco получать информацию о прогнозе погоды, новостях и курсе валют.

К сожалению, пользователи, которые же в первые дни появились у этого сервиса, обнаружили в нем два существенных недостатка:

• Мы отображаем только погоду только по Москве, хотя сервис у нас глобальный
• Существуют проблемы на разных версиях прошивок для телефонов, которые ожидают данные на русском языке в кодировке cp-1251.

Первый недочет решено было исправить, добавив опциональный параметр city к URL сервиса, равный коду города на сайте ГисМетео, на котором мы берем данные погоды. Таким образом строка для телефонов Питера выглядит как http://xmlphones.appspot.com/?city=26063. Второй аналогично будет называться encode и содержать при необходимости задание кодировки windows-1251.

Перекодировка в Python делается элегантно. Допустим, у нас через URLFetch получены данные в UTF-8, а вывод требуется в windows-1251:

resp = unicode(result.content, 'utf-8')
resp = resp.encode("cp1251")

Ну и наоборот:

resp = unicode(result.content, 'cp1251')

В первом случае мы из байтового массива конструируем объект unicode, который затем кодируем с указанием кодека cp1251. Во втором случае одним действием из байтового массива конструируем также объект unicode с заданием кодека cp1251, но далее просто отдаем его в таком виде платформе App Engine (подразумевается что весь вывод по умолчанию в кодировке UTF-8).

Все кажется замечательным, но тут опять обнаруживается криворукость писателей прошивок некоторых моделей IP телефонов, заключающаяся в том, что телефоны сами добавляют к параметрам запросов дополнительные переменные вида ?locale=English_United_States&name=SEP001B541415EE, что приводит к проблемам обработке меню сами же телефонами.

Проведенный небольшой эксперимент показал, что если, например, параметры задавать с помощью многоуровневых URL, то все работает отлично. Допустим, кодировку windows-1251 мы будем задавать как http://xmlphones.appspot.com/windows-1251/ (подразумевая, по умолчанию корневой адрес аналогичный http://xmlphones.appspot.com/utf-8/), а город как http://xmlphones.appspot.com/utf-8/city/26063 (и опять это Питер).

Выкидываем из кода несколько обработчиков, привязанных к URL, и заменяем их одним Dispatcher, который будет решать куда направить тот или иной запрос. Так как нашим сервисом уже пользуются люди, старые параметры ?encode и ?city также оставляем для совместимости, но делаем их второстепенными по сравнению со схемой параметров, заданных через URL.

Вот что получилось в итоге:

# coding=UTF-8
# -*- coding: utf-8 -*-

import wsgiref.handlers
from google.appengine.ext import webapp
from google.appengine.api import urlfetch
import os
from google.appengine.ext.webapp import template
from xml.dom import minidom
import re
import time

WEATHER_URL = 'http://informer.gismeteo.ru/rss/%s.xml'

def get_city(self):
    city = self.request.get("city")
    if city == '':
        # Москва
        city = '27612'
    ccode = re.search('/.+/meteo/(.+)', self.request.path)
    if ccode != None:
        return ccode.group(1)
    else:
        return city

def get_encode_templ(self):
    encode = self.request.get("encode")
    if encode == 'windows-1251':
        return encode
    else:
        return 'utf-8'

def render_template(self, templ, template_values={}, encode='utf-8'):
    path = os.path.join(os.path.dirname(__file__), 'templates/'+templ)
    resp = template.render(path, template_values)
    if encode == 'windows-1251':
        # Перекодируем из UTF-8 в CP1251
        resp = unicode(resp, 'utf-8')
        resp = resp.encode("cp1251")
    self.response.out.write(resp)

def is_ipphone(self):
    if re.match('Allegro', self.request.headers.get('User-Agent', '')) == None:
        return False
    else:
        return True     

def parse_rss_data(content):
    result = ''
    dom = minidom.parseString(content)
    for item in dom.getElementsByTagName('item'):
        result = result + item.getElementsByTagName('title')[0].firstChild.nodeValue + '\n' + item.getElementsByTagName('description')[0].firstChild.nodeValue + '\n\n'
    return result

def rss_to_text(self, url):
    result = urlfetch.fetch(url)
    if result.status_code == 200:
        resp = parse_rss_data(result.content)
        charset = get_uri_encode(self)
        if charset == 'windows-1251':
            # Перекодируем из UTF-8 в CP1251
            resp = resp.encode("cp1251")
        self.response.headers['Content-type']='text/plain; charset='+charset
        self.response.out.write(resp)
    else:
        self.redirect('/error.xml')

def cbrf(self):
    charset = get_uri_encode(self)
    self.response.headers['Content-type']='text/plain; charset='+charset
    result = urlfetch.fetch('http://www.cbr.ru/currency_base/D_print.asp?date_req='+time.strftime('%d.%m.%Y', time.localtime()))
    if result.status_code == 200:
        content = unicode(result.content, 'windows-1251')
        data=re.split('<td align="right" >036</td>', content)[1]
        for block in re.split('<tr bgcolor="#ffffff">', data):
            block = re.sub('\r\n', '', block)
            cells = re.search('<td align="left" >&nbsp;&nbsp;(.*?)</td><td align="right" >(.*?)</td><td>&nbsp;&nbsp;(.*?)</td><td align="right">(.*?)</td>', block)
            if cells != None:
                resp = cells.group(2)+' '+cells.group(3)+' = '+cells.group(4)+'\n'
                if charset == 'windows-1251':
                    # Перекодируем из UTF-8 в CP1251
                    resp = resp.encode("cp1251")
                self.response.out.write(resp)
    else:
        self.redirect('/error.xml')

def error(self):
    self.response.headers['Content-type]']='text/plain'
    self.response.out.write('Произошла ошибка при работе сервиса')

def gismeteo(self):
    city = get_city(self)
    rss_to_text(self, WEATHER_URL % city)

def yandex_news(self):
    rss_to_text(self, 'http://news.yandex.ru/Russia/index.rss')

def get_uri_encode(self, default = 'utf-8'):
    urcode = re.search('/windows-1251/.*', self.request.url)
    if (urcode != None):
        return 'windows-1251'
    else:
        return default

def main_page(self):
    if is_ipphone(self):
        citytmpl = get_city(self)
        encode = get_encode_templ(self)
        urlcity = re.search('/(.+)/city/(.+)', self.request.path)
        if (urlcity != None):
            citytmpl = urlcity.group(2)
        encode = get_uri_encode(self, encode)
        self.response.headers['Content-type']='text/xml; charset='+encode
        render_template(self, 'main.xml', { 'city': citytmpl, 'encode': encode }, encode=encode)
    else:
        self.response.headers['Content-type']='text/html; charset=utf-8'
        render_template(self, 'main.html')   

class Dispatcher(webapp.RequestHandler):
    def get(self):
        # Анализируем только URI до знака ?
        url = self.request.url.split('?')[0]
        if re.search('/$', url):
            main_page(self)
            return
        if re.search('/.+/city/.+', url):
            main_page(self)
            return
        if re.search('/utf-8/$', url):
            main_page(self)
            return
        if re.search('/windows-1251/$', url):
            main_page(self)
            return
        if re.search('/(.+)/yandex_news.xml', url):
            yandex_news(self)
            return
        if re.search('/(.+)/meteo.+', url):
            gismeteo(self)
            return
        if re.search('/(.+)/cbrf.xml', url):
            cbrf(self)
            return
        error(self)

def main():
    application = webapp.WSGIApplication(
                                         [('/.*', Dispatcher)
                                         ],
                                         debug=True)
    wsgiref.handlers.CGIHandler().run(application)

if __name__ == '__main__':
    main()

Какие еще будут предложения по добавлению новых сервисов? Напишите комментарий к этой статье.

This entry was posted on Четверг, Август 28th, 2008 at 17:03 and is filed under Google App Engine. You can follow any responses to this entry through the RSS 2.0 feed. You can leave a response, or trackback from your own site.