python – 使用生成器的WSGI文件流

2019-06-13 10:42:41 阅读：202 来源： 互联网

我有以下代码：

def application(env, start_response):
    path = process(env)
    fh = open(path,'r')
    start_response('200 OK', [('Content-Type','application/octet-stream')])
    return fbuffer(fh,10000)


def fbuffer(f, chunk_size):
    '''Generator to buffer file chunks'''  
    while True:
        chunk = f.read(chunk_size)      
        if not chunk: break
        yield chunk

我不确定它是对的,但是我在互联网上找到的信息碎片让我认为它应该有效.基本上我想以块的形式流出一个文件,为此,我从我的应用程序函数传回一个生成器.然而,这只打印出标题,并没有实际发回任何数据,任何人都可以告诉我为什么这是？

或者,如果这是完全错误的,那么最好的方法是什么？我无法将整个文件缓冲在内存中,因为我将使用的文件可能是千兆字节.

第三个问题：一旦我输出文件,关闭文件的最佳方法是什么？在我发布的代码中,无论如何我都看不到实际关闭文件.

(我用uWSGI 1.2.4运行python 3.2.3)

解决方法:

没有一点小心,uwsgi小心不要让错误泄漏,但如果你在一个更严格的实现中运行你的应用程序,比如用python作为wsgiref.simple_server提供的那个,你可以更容易地看到问题.

Serving <function application at 0xb65848> http://0.0.0.0:8000
Traceback (most recent call last):
  File "/usr/lib64/python3.2/wsgiref/handlers.py", line 138, in run
    self.finish_response()
  File "/usr/lib64/python3.2/wsgiref/handlers.py", line 179, in finish_response
    self.write(data)
  File "/usr/lib64/python3.2/wsgiref/handlers.py", line 264, in write
    "write() argument must be a bytes instance"
AssertionError: write() argument must be a bytes instance
localhost.localdomain - - [04/Aug/2012 16:27:08] "GET / HTTP/1.1" 500 59

问题是wsgi要求传输到HTTP网关和从HTTP网关传输的数据必须作为字节提供,但是当你使用open(path,’r’)时,python 3可以方便地将读取的数据转换为unicode,python 3中的数据是str ,使用默认编码.

改变

fh = open(path, 'r')

至

fh = open(path, 'rb')
#                 ^

解决它.

标签：python,large-files,wsgi
来源： https://codeday.me/bug/20190613/1232309.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

python – 使用生成器的WSGI文件流