使用Django和Postgres进行全文搜索的实例代码

脚本专栏 2024/11/2 佚名

3 2 1

圆月山庄资源网 Design By www.vgjia.com

这些天，我需要全文搜索。这个区块中最酷的孩子们是Elastic Search和Sorl：他们快速，灵活，资源消耗沉重并且需要Java，这几乎是我想要的一个5美元的数字海洋飞车上运行的宠物项目所需的所有东西。

放弃这些选项后，我剩下了Xapian和postgres全文搜索的功能，而xapian似乎功能更丰富，我决定从postgres开始，因为它与django进行了本机集成，并且对这个特定项目的要求不高。

项目及其要求

您可能已经注意到，我正在运行工作板。 Voorjob基本上是从lever.co聚合工作，并让用户搜索它。目前，我在数据库中大约有25,000个工作，这个数字增长缓慢，每增加2或3个工作，就会关闭另一个工作。是的，如果我采用了弹性搜索路径，那将是一本教科书过度设计的情况。

实施

从9.4版开始，postgres添加了一些允许全文本搜索的功能。不久之后，Django在postgres特定功能中镜像了这些功能。

要开始使用此新功能，我基本上需要在模型中使用SearchVectorField，并需要使用矢量化的职位描述来更新此字段的方法：

from django.contrib.postgres.search import SearchVectorField, SearchVector
class Job(models.Model):
  title = models.CharField(max_length=200, blank=True)
  location = models.CharField(max_length=50, blank=True)
  body = models.TextField(null=True)
  body_vector = SearchVectorField(null=True)
 
  def make_search_vector():
    self.body_vector=SearchVector('body')
 
  def save(self, *args, **kwargs):
    self.make_search_vector()
    super(Model, self).save(*args, **kwargs)

这种方法适用于很少更新的工作，例如工作板，但是如果您的应用程序经常更新，则应避免使用此策略，并应定期执行一些任务来填充向量：

Job.objects.all().update(body_vector=SearchVector('body'))

甚至更好的是，您可以通过阅读本文档，使用postgres触发器直接进行操作。

查询工作

现在您已经准备好数据库，现在可以查询它了，让我们看一下voorjob搜索视图的教学版本：

from django.contrib.postgres.search import SearchQuery
 
class Index(ListView):
  model = Job
  paginate_by = 30
 
  def get_queryset(self):
    search = self.request.GET.get("search", None)
    queryset = Job.objects.all()
 
    if search:
      if '"' in search:
        query = SearchQuery(search.replace('"', ''), search_type='phrase')
      else:
        query = SearchQuery(search)
      queryset = queryset.filter(body_vector=query)
    else:
      queryset = queryset
 
    return queryset

我基本上在这里考虑两种查询：单词存在和“精确表达式”。是的，该逻辑中存在一些缺陷，请继续起诉我：D

还有很多可以改进的地方，django支持加权查询：

vector = SearchVector（'title'，weight ='A'）+ SearchVector（'body'，weight ='B'）
Job.objects.all（）。update（body_vector = vector）

这最终将以更好的顺序返回结果，其中标题中的匹配比正文中的匹配更重。

查询系统也更加灵活，允许进行逻辑运算OR / AND和NOT。在不久的将来，我将改善对工作板的搜索，并更新此帖子以描述所做的更改。

性能

在开发过程中，我使用了具有16GB内存和不错的NVMe的I5。对本地计算机中的25k作业运行查询基本上是瞬时的。

当我将项目转移到生产环境时（每滴5美元），事情变得越来越慢了。

运行密西西比基准测试，我得到以下结果：

在/ django rest framework上搜索（（1个密西西比州以扫描5K条目））

在/ full /上搜索“ django rest framework”（-3个密西西比州，扫描25K条目）

不是最好的性能，但现在可以使用。本文将进行更新以反映任何性能改进。

考虑到我的搜索需求不高-超过25k的条目，且字数过多的文章并不比本文大很多-使用postgres作为我的全文搜索的后端，对于此早期MVP来说效果很好。现在，我比每天给我20个用户提供最快的体验，对尝试事物和扩大董事会成员更感兴趣。

更新（2020年2月9日）

好消息！我了解到可以将索引添加到SearchVectorField中：

from django.contrib.postgres.indexes import GinIndex
 
class Job(models.Model):
  class Meta:
    indexes = (GinIndex(fields=["body_vector"]),)
  title = models.CharField(max_length=200, blank=True)
  location = models.CharField(max_length=50, blank=True)
  body = models.TextField(null=True)
  body_vector = SearchVectorField(null=True)
  def make_search_vector():
    self.body_vector=SearchVector('body')
  def save(self, *args, **kwargs):
    self.make_search_vector()
    super(Model, self).save(*args, **kwargs)

现在，所有情况下的搜索时间均降至1个密西西比州。由于我的数据很小，因此用于该索引的内存量可以忽略不计。

总结

以上所述是小编给大家介绍的使用Django和Postgres进行全文搜索的实例代码，希望对大家有所帮助！

django全文搜索,django,Postgres,搜索

标签：

django全文搜索,django,Postgres,搜索

圆月山庄资源网 Design By www.vgjia.com

广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com

圆月山庄资源网 Design By www.vgjia.com

评论“使用Django和Postgres进行全文搜索的实例代码”

暂无评论...

www.vgjia.com 圆月山庄资源网

139,976互联网资源

144,792高清电影

21,817无损音乐

631,128技术资源

使用Django和Postgres进行全文搜索的实例代码

django全文搜索,django,Postgres,搜索

解决pyCharm中 module 调用失败的问题

Python写出新冠状病毒确诊人数地图的方法

评论“使用Django和Postgres进行全文搜索的实例代码”

RTX 5090要首发性能要翻倍！三星展示GDDR7显存

更新日志

友情链接

使用Django和Postgres进行全文搜索的实例代码

django全文搜索,django,Postgres,搜索

解决pyCharm中 module 调用失败的问题

Python写出新冠状病毒确诊人数地图的方法

评论“使用Django和Postgres进行全文搜索的实例代码”

RTX 5090要首发 性能要翻倍！三星展示GDDR7显存

更新日志

友情链接

RTX 5090要首发性能要翻倍！三星展示GDDR7显存